최근 몇 년 동안 더 작은 오픈형 대규모 언어 모델의 능력과 성능이 크게 발전하였으며, 초기 GPT-2 모델에서 더 콤팩트하고 정확하며 효과적인 LLM 프레임워크로의 진행을 목격하였다. 이러한 프레임워크는 Chinchilla 스케일링 법칙에서 권장하는 “컴퓨팅 최적” 토큰 수보다 상당히 많은 토큰을 사용한다. 또한 개발자들은 이러한 작은 LLM 프레임워크를 독점 모델에 기반한 dSFT, 즉 증류 지도 미세 조정으로 추가 훈련할 수 있음을 보였다. 효과적인 교사 모델의 출력을 학생 모델의 지도 학습 데이터로 사용해 정확도를 높이는 방식이다.

이 기사에서는 Zephyr-7B 프레임워크에 대해 논의할 것이다. Zephyr-7B는 70억 개 파라미터 모델을 위한 최첨단 채팅 벤치마크이며, 인간 주석이 필요하지 않다. 이 프레임워크의 주요 목표는 개발자가 사용자의 의도와 더 가까운 작은 대규모 언어 모델을 생성할 수 있도록 하는 것이다. Zephyr-7B 프레임워크는 현재 접근 방식의 적용을 조사할 뿐만 아니라, 사용자의 의도와 더 잘 일치하는 채팅 모델을 학습하기 위한 다른 접근 방식을 탐색한다.

제피르-7B: 언어 모델의 직접 증류 정렬 소개

언어 모델은 초기 GPT-2에서 현재의 GPT-4 및 MiniGPT-5까지 빠르게 발전했다. 많은 토큰을 소비하지만 정확성과 효율성도 향상되었고, Chinchilla 스케일링 법칙에서 계산상 최적이라고 보던 양보다 훨씬 많은 토큰을 사용한다. 작은 LLM도 독점 모델 기반 dSFT로 더 훈련할 수 있다. 교사 모델의 출력을 학생의 지도 데이터로 삼는 증류는 다양한 작업에서 오픈 모델의 역량을 높이는 유용한 방법이지만 아직 교사 모델의 성능을 완전히 재현하지는 못한다. 사용자들은 이 모델들이 최종 사용자의 요구와 다르게 행동하는 “의도 불일치”를 보이며, 입력이나 질문에 적절하지 않은 출력을 내는 경우가 있다고 보고한다.

의도 정렬은 개발자의 주요 과제였으며 최근에는 불일치를 평가하는 AlpacaEval과 MT-Bench가 개발되었다. Zephyr는 작은 오픈 LLM을 증류만으로 정렬하는 문제를 다룬다. 먼저 교사 모델 앙상블의 AI 피드백(AIF)으로 선호 데이터를 얻고, 증류한 선호 최적화를 직접 학습 목표로 사용한다. 이 증류 직접 선호 최적화(dDPO) 방식은 PPO 같은 이전 방식과 달리 인간이 샘플링하거나 주석을 달 필요가 없어 훈련 시간을 줄인다. 전체 학습 과정에서 최종 출력의 보상을 높이는 데 초점을 둔다.

이 접근법을 검증하기 위해 만든 Zephyr-7B는 최첨단 Mistral-7B 프레임워크의 정렬된 버전이다. UltraChat 데이터로 dSFT를 수행하고 피드백 데이터에 dDPO를 적용한다. 실험에서 70억 개 파라미터의 Zephyr-7B는 인간 피드백으로 정렬한 700억 개 초과 파라미터의 채팅 모델과 비슷한 성능을 보였다. 대화 능력 평가와 표준 학술 벤치마크 모두에서 개선이 나타나며, 원하는 결과에 선호 학습이 중요함을 보여준다.

위의 그림은 다양한 언어 모델의 MT-Bench 벤치마크 성능을 보여준다. Zephyr-7B 프레임워크는 dDPO 접근 방식을 사용하여 훈련되었으며, 추가 강화 학습과 많은 인간 피드백으로 훈련한 GPT-3.5 turbo, Llama-2-70B 등 더 큰 독점 및 공개 모델과 비교된다. 파라미터 수가 크게 다른데도 대부분과 비슷한 결과를 내고 일부 영역에서는 여러 모델을 능가한다.

제피르-7B: 방법, 작동 및 아키텍처

Zephyr-7B의 주요 목표는 오픈 소스 대규모 언어 모델이 사용자 의도에 최대한 가깝게 정렬되도록 하는 것이다. 전체 과정에서 생성한 프롬프트로 질의할 수 있는 큰 교사 모델에 접근 가능하다고 가정한다. InstructGPT와 유사한 방식으로 효과적이고 정확한 학생 모델을 만든다.

다음 그림은 Zephyr-7B 프레임워크의 세 가지 주요 단계를 보여준다.

1. 자체 지시 스타일을 사용하여 대규모 데이터셋을 생성하는 dSFT.
2. 교사 모델의 앙상블을 사용하여 채팅 모델의 출력을 평가하고, 선호도 이진화 및 점수를 부여한다.
3. 피드백 데이터를 사용하여 dSFT 모델을 개선하는 dPO.

dSFT 또는 증류 지도 미세 조정

Zephyr-7B 프레임워크는 원시 언어 모델을 시작으로 사용자 프롬프트에 응답하도록 훈련한다. 전통적으로 이러한 언어 모델을 훈련하는 것은 지도 미세 조정을 사용하여 높은 품질의 지시와 해당 응답으로 구성된 데이터셋을 사용한다. Zephyr-7B 프레임워크는 교사 언어 모델에 접근할 수 있으므로, 지시와 응답을 생성하고, 모델을 직접 이러한 지시와 응답으로 훈련할 수 있다. 이를 dSFT 또는 증류 SFT라고 한다. 다음 그림에서 x는 다양한 주제 영역을 나타내는 초기 프롬프트 집합, y는 응답 샘플, x1은 이를 개선하는 새 지시 샘플이며 C는 최종 데이터셋을 나타낸다.

AI 피드백을 통한 선호도

인간 피드백은 언어 모델에 추가적인 신호를 제공할 수 있다. Zephyr 프레임워크는 인간 피드백 대신 교사 모델의 출력을 사용하여 다른 모델의 출력을 평가한다.

이는 교사 모델이 출력에 선호를 부여하는 UltraFeedback 접근법의 영향을 받았다. SFT와 마찬가지로 프롬프트 집합에서 시작한다. 각 프롬프트 x를 Llama, Falcon, Claude 등 네 모델에 전달하면 각 모델이 응답을 생성한다. 이를 GPT-3 또는 GPT-4 같은 교사에게 입력해 점수를 얻고 가장 높은 점수의 응답을 저장한다.

dDPO 또는 직접 선호도 최적화

dDPO는 Zephyr 프레임워크의 마지막 단계이며, 학생 언어 모델을 사용하여 선호도 모델에서 선호도 응답의 확률을 최대화하는 것을 목표로 한다. 이전 단계에서는 강화 학습 방법을 사용하여 최대 최적화를 달성하였다. 이 단계에서는 보상을 훈련하고, 현재 정책에서 샘플링하여 업데이트를 계산한다. 반면 DPO는 정적 데이터를 이용해 선호 모델을 직접 최적화한다. 보상 함수를 선호 모델에 대입한 목적식은 다음과 같다.

제피르-7B: 실험, 벤치마크 및 결과

Zephyr 프레임워크는 현재 상태의 Mistral-7B 프레임워크에서 미세 조정을 수행한다. 이 프레임워크는 자연어 처리 작업에서 더 큰 언어 모델과 비슷한 성능을 제공한다.

데이터셋

Zephyr 프레임워크는 두 개의 대화 데이터셋을 사용한다. 이러한 데이터셋은 이전에 효과적인 채팅 모델을 생성하는 데 사용된 프롭리터리 및 오픈 모델의 혼합으로 구성된다.

울트라 채팅

울트라 채팅은 30개 주제와 20개의 텍스트 자료로 구성된 약 150만 개의 다회 대화로 구성된 자체 정제 데이터셋이다. 이 데이터셋은 GPT-3.5-Turbo로 생성되었다. 잘못된 대소문자 사용을 교정하기 위해 truecasing 휴리스틱을 적용한다.

울트라 피드백

울트라 피드백은 64,000개의 프롬프트로 구성된 프롬프트 데이터셋이다. 각 프롬프트에는 4개의 개별 LLM 응답이 있다. Zephyr 프레임워크는 울트라 피드백 데이터셋에서 얻은 가장 높은 평균 점수의 응답을 선택하고 나머지 세 응답 중 하나를 무작위로 거부 응답으로 골라 이진 선호를 구성한다.

평가

Zephyr 프레임워크의 성능을 평가하기 위해 개발자들은 두 개의 채팅 벤치마크를 사용한다. 하나는 싱글 턴 벤치마크이고, 다른 하나는 멀티 턴 벤치마크이다.

MT-Bench

MT-Bench 벤치마크는 8개의 고유한 지식 영역으로 구성된 160개의 질문으로 구성된다. 이 벤치마크에서 모델은 초기 질문에 답변하고, 후속 질문에 대한 응답을 제공해야 한다.

알파카 이벌

AlpacaEval은 여러 주제에 걸친 800개 초과 질문에 답하는 단일 턴 벤치마크로, 유용성에 중점을 둔다.

Zephyr-7B 프레임워크는 또한 오픈 LLM 리더보드, 멀티 클래스 분류 작업, ARC, HellaSwag, MMLU 등에서 평가된다. 어떤 벤치마크에서든 다양한 독점 및 공개 모델과 비교하며 이 비교에서 구별하는 요소는 정렬 절차이다.

결과

Zephyr-7B 프레임워크의 성능을 살펴보겠다.

dDPO 접근 방식이 채팅 능력 향상

다음 표는 Zephyr-7B 프레임워크와 최신 언어 모델의 AlpacaEval 및 MT-Bench 벤치마크 성능을 비교한다.

Zephyr-7B 프레임워크는 dSFT 모델을 상회하며, 오픈 7B 모델과 비교하여 새로운 상태의 아트 표준을 설정한다. 또한 Zephyr-7B 프레임워크는 dPPO 또는 증류 PPO 접근 방식을 사용하여 훈련된 XWIN-LM-7B 프레임워크를 능가한다. 또한 700억 개 초과 파라미터를 가진 Llama2-Chat 같은 훨씬 큰 언어 모델과 비슷한 성능을 낸다.

dDPO가 학술 작업 성능 향상

다음 그림은 Zephyr-7B 프레임워크와 다양한 오픈 소스 및 프롭리터리 LLM 프레임워크의 성능을 비교한다.

Zephyr-7B 프레임워크는 7B 파라미터를 사용하는 LLM 프레임워크를 상회하며, dSFT 모델과 비교하여 성능 차이가 있다. 그러나 파라미터 수가 증가함에 따라 Zephyr-7B 프레임워크는 더 큰 모델에는 미치지 못하지만 400억 개 파라미터 모델과 비슷한 성능을 보인다.

선호도 최적화

다음 그림은 정렬 프로세스의 각 단계가 성능에 미치는 영향을 평가한다. dDPO 접근 방식은 dSFT와 결합하여 MT-Bench 및 AlpacaEval 데이터셋에서 성능을 크게 향상시킨다.

마지막으로, 다음 그림은 DPO 구현 중 테스트 및 훈련 정확도를 보여준다. DPO 접근 방식은 다운스트림 작업의 성능에 영향을 미치지 않는다.

결론

이 기사에서는 Zephyr-7B 프레임워크에 대해 논의하였다. Zephyr-7B 프레임워크는 현재 상태의 Mistral-7B 프레임워크를 기반으로 하며, 사용자의 의도와 더 가까운 작은 대규모 언어 모델을 생성하는 것을 목표로 한다. Zephyr-7B 프레임워크는 dSFT 및 dDPO 접근 방식을 사용하여 사용자의 의도와 더 잘 일치하는 채팅 모델을 생성한다.

그러나 Zephyr-7B 프레임워크는 완벽하지 않으며, 아직 작업이 필요하다. 한 가지 뚜렷한 제한은 MT-Bench 및 AlpacaEval 벤치마크를 평가하기 위해 GPT-4를 평가자로 사용하는 것인데, 자신으로부터 증류된 모델을 선호하는 편향이 자주 나타난다는 점이다. Zephyr-7B 프레임워크는 사용자의 의도와 상호작용에 더 잘 일치하는 작은 오픈형 모델의 능력을 탐색하기 위한 길을 열어주기를 희망한다.