대규모 언어 모델을 사용하여 향상된 텍스트 임베딩 훈련

텍스트 임베딩은 의미론적 의미를 포착하는 단어, 문장, 단락 또는 문서를 벡터로 표현한 것입니다. 이는 정보 검색, 질문 답변, 의미 검색 등을 포함하여 오늘날 많은 자연어 처리(NLP) 애플리케이션에서 핵심 구성 요소 역할을 합니다.

벡터 임베딩

GPT-3와 같은 대규모 언어 모델(LLM)의 최근 발전은 몇 번의 학습과 자연어 생성에서 인상적인 기능을 보여주었습니다. LLM을 활용하여 텍스트 임베딩 상태를 향상시킬 수 있습니까? 그들의 논문에서 “대규모 언어 모델로 텍스트 임베딩 개선"라고 Microsoft 연구원들은 LLM을 사용하여 합성 훈련 데이터를 생성하고 이를 미세 조정하여 우수한 결과를 달성하는 새로운 방법을 제안합니다.

기존 방법의 과제

단어 벡터의 가중 평균이나 TF-IDF와 같은 전통적인 텍스트 임베딩 기술은 텍스트의 풍부한 문맥 정보를 적절하게 캡처하지 못합니다. BERT와 같은 사전 훈련된 언어 모델을 기반으로 하는 최신 방법은 훨씬 더 나은 상황 인식 임베딩을 얻습니다.

그러나 복잡한 다단계 학습 파이프라인이 필요합니다.

• 약하게 라벨이 지정되거나 인공적인 텍스트 쌍 수십억 개에 대한 사전 훈련
• 제한된 수작업으로 선별된 데이터 세트를 미세 조정

이를 위해서는 데이터 수집을 위한 막대한 컴퓨팅 리소스와 인간의 노력이 필요합니다. 훈련 데이터는 다양성과 언어 적용 범위도 제한됩니다. 예를 들어, BEIR 벤치마크는 영어로 된 15개의 검색 작업에 대한 데이터 세트로 구성됩니다.

기존 방법은 주로 더 작은 BERT 스타일 아키텍처를 백본 모델로 사용합니다. 그들은 고급 LLM 및 관련 기술을 활용할 수 없습니다.

방법론: LLM을 사용한 합성 데이터 생성

이러한 한계를 극복하기 위해 연구원들은 GPT-3 및 GPT-4와 같은 LLM을 활용하여 다양한 합성 훈련 데이터를 생성하는 새로운 단일 단계 훈련 접근 방식을 제안합니다.

주요 단계는 다음과 같습니다.

1. 작업 분류: 텍스트 포함 작업을 다음과 같이 분류하는 분류를 정의합니다.
   • 비대칭 작업(예: 검색과 같이 의역이 아닌 쿼리 및 문서)
   • 대칭 작업(쿼리 및 문서는 의미론적 유사성과 같은 의역임)
2. 프롬프트 디자인: LLM이 관련 교육 사례를 생성하도록 안내하는 각 작업 유형에 맞는 프롬프트 템플릿을 만듭니다.
3. 합성 데이터 생성: 93개 언어에 걸쳐 다양한 의미 체계 작업을 포괄하는 수십만 개의 (쿼리, 문서) 쌍을 생성하도록 설계된 프롬프트로 LLM을 프롬프트합니다.
4. 모델 교육 : 대조 손실을 사용하여 합성 데이터에 대해 Mistral과 같은 강력한 오픈 소스 LLM을 미세 조정합니다.

이 방법을 사용하면 사람이 레이블을 지정하지 않고도 다양한 작업에 대한 충분한 교육 데이터를 여러 언어로 생성할 수 있습니다. 웹 규모 말뭉치에 대한 사전 교육을 통해 LLM에 이미 포함된 지식을 활용함으로써 텍스트 임베딩에 정확하게 맞춰진 고품질 데이터를 합성할 수 있습니다.

연구자들은 2단계 프롬프트 전략을 통해 이를 입증합니다.

• 잠재적인 검색 작업을 제안하도록 GPT-4에 메시지 표시

• 제안된 작업을 기반으로 샘플을 생성(쿼리, 문서)하라는 메시지를 다시 표시합니다.

프롬프트 디자인의 몇 가지 주요 측면:

• 인간과 같은 직관적인 지시를 위한 자연어 프롬프트
• 다양성을 장려하는 자리 표시자(예: 쿼리 길이, 명확성, 문서 길이)
• 동일한 작업 유형에 대해 여러 템플릿의 데이터 결합
• 자원 가용성에 따라 언어에 가중치 부여

전체적으로 500억 180천만 토큰의 컴퓨팅 비용으로 43만 개의 텍스트 삽입 예제를 생성할 수 있었습니다. 지배적인 언어는 영어(XNUMX%)였으며 폴란드어, 일본어, 이탈리아어 등이 그 뒤를 이었습니다.

모델 훈련을 위해 오픈 소스 7B 매개변수를 미세 조정하기로 선택했습니다. 한랭 한 북서풍 더 작은 BERT 스타일 아키텍처 대신 모델. Mistral은 이미 대규모 텍스트 말뭉치를 사전 훈련했기 때문에 추가적인 대조 사전 훈련이 필요하지 않았습니다. 이를 추가하면 미미한 개선이 이루어졌습니다.

전체 미세 조정에는 합성 데이터와 사람이 라벨을 붙인 데이터를 혼합하여 사용하여 1단계 미만이 소요되었습니다. 이는 제안된 접근 방식의 샘플 효율성을 보여줍니다.

결과

연구원들은 분류, 클러스터링, 의미 유사성, 요약 및 정보 검색 전반에 걸쳐 다양한 작업을 다루는 MTEB 벤치마크에서 모델을 평가했습니다.

그들의 모델 평균 점수에서 이전 최첨단 기술보다 2.4점 더 뛰어났습니다., 거의 모든 카테고리에서 새로운 기록을 수립했습니다.

놀랍게도, 레이블이 지정된 데이터를 사용하지 않고 합성 데이터에만 교육을 실시하더라도 완전히 감독되는 모델보다 불과 3.5포인트 뒤처지는 경쟁력 있는 정확도를 달성했습니다. 이는 사람의 주석 작업 없이 LLM을 사용하여 텍스트 임베딩을 생성할 수 있는 가능성을 보여줍니다.

연구원들은 또한 18개 언어를 다루는 다국어 MIRACL 벤치마크를 평가했습니다. 그들의 모델은 고자원 언어에서는 이전 최고 성능을 능가했지만 저자원 언어에서는 약했습니다. 그들은 자원이 적은 언어에 대해 LLM을 보다 광범위하게 사전 훈련함으로써 이것이 완화될 수 있다고 가정합니다.

요약하면, LLM에서 생성된 합성 데이터에 대해 훈련된 텍스트 임베딩은 이전의 다단계 접근 방식에 비해 더 간단하고 효율적인 훈련을 사용하면서 새로운 최첨단 결과를 확립합니다. 신속한 엔지니어링 및 합성 데이터 품질에 대한 추가 연구를 통해 이 방법론은 다국어 텍스트 임베딩을 크게 발전시킬 수 있습니다.

분석

이 작업은 다음과 같은 몇 가지 귀중한 내용을 제공합니다.

• GPT-3 및 GPT-4와 같은 LLM은 적절한 메시지가 표시될 때 다양한 NLP 작업을 위한 고품질 합성 교육 데이터를 생성하는 인상적인 기능을 갖추고 있습니다. 이렇게 하면 사람이 레이블을 지정한 데이터에 대한 의존도를 줄일 수 있습니다.
• 텍스트 임베딩의 경우 대조 사전 학습은 이미 수조 규모의 사전 학습을 갖춘 Mistral과 같은 미세 조정 모델에 비해 미미한 이득을 제공합니다. 이는 훈련 효율성에 대한 중요한 통찰력입니다.
• 검색 증강 생성 방법을 통해 LLM은 외부 지식에 동적으로 액세스할 수 있습니다. 따라서 텍스트 임베딩을 개선하는 것은 이러한 LLM을 향상시키는 데 중요합니다.
• 자원이 적은 언어에는 개선의 여지가 상당히 있습니다. 보다 대표적인 데이터에 대해 사전 훈련된 다국어 LLM은 이러한 격차를 줄이는 데 도움이 될 수 있습니다.
• 개념적으로 언어 모델링과 텍스트 임베딩은 언어 의미론을 이해한다는 동전의 양면입니다. 합성 데이터 프롬프트를 통해 LLM은 복잡한 파이프라인 없이 유기적으로 임베더로 미세 조정될 수 있습니다.

향후 작업에 대한 몇 가지 유망한 방향은 다음과 같습니다.

• GPT-NeoX와 같은 오픈 소스 LLM을 활용하여 합성 데이터 생성
• 더 긴 컨텍스트에 임베더를 적용하기 위한 경량 사후 학습 탐색
• 품질 및 작업 범위를 제어하기 위한 신속한 엔지니어링 기술 개발
• 산업용으로 추론 지연 시간과 스토리지 비용을 개선하는 방법

벤치마크를 능가하는 것 외에도 대규모 언어 모델을 사용하여 텍스트 임베딩을 향상하면 미래에 대한 흥미로운 가능성이 열립니다. LLM이 자연어에 대한 숙달이 계속 발전함에 따라 충실도가 높은 합성 데이터를 생성하는 적성도 향상될 가능성이 높습니다.

그러나 이러한 잠재력을 실제 영향으로 전환하는 중요한 연구 방향이 남아 있습니다.

커스터마이제이션 및 제어

합성 데이터의 주요 이점은 특정 요구 사항에 맞는 예제를 프로그래밍 방식으로 생성할 수 있다는 것입니다. 논문에서 설명했듯이 프롬프트 엔지니어링을 통해 수십만 개의 임베딩 작업에 대한 교육 데이터를 생성할 수 있습니다.

그러나 현재의 신속한 디자인 관행은 과학이라기보다는 예술에 더 가깝습니다. 생성된 데이터의 속성을 정확하게 제어하기 위한 체계적이고 재현 가능한 방법을 개발하면 이 기술의 적용 가능성이 확대될 것입니다.

예를 들어, 예제의 복잡성, 모호함, 참신함과 같은 요소를 조정하는 기술은 다운스트림 작업의 견고성 문제를 해결하는 데 도움이 될 수 있습니다. 진화하는 실제 배포판에 맞는 동적 프롬프트 생성은 또 다른 공개 과제입니다.

대규모 교육

사전 훈련된 LLM은 이미 상당한 언어 지식을 인코딩하고 있지만 데이터 생성 기술은 추가 규모로 더욱 향상될 가능성이 높습니다. 수조 개의 인터넷 텍스트 토큰으로 훈련된 GPT-4와 같은 모델은 강력한 퓨샷 학습을 보여주지만 훈련 데이터 합성을 위해 특별히 최적화되지는 않았습니다.

웹 규모에서 자체 감독 데이터 생성을 부트스트래핑하도록 맞춤화된 아키텍처와 목표는 이 방법론의 품질과 효율성을 크게 향상시킬 수 있습니다. 학습된 지식을 보완하기 위해 검색된 지식을 효율적으로 통합하는 것은 또 다른 유망한 방향입니다.

멀티태스킹 및 다국어

논문에서 언급했듯이 자원이 적은 언어의 성능을 향상시키는 것은 여전히 ​​문제로 남아 있습니다. 하나의 대규모 LLM을 사전 교육하는 대신 특정 데이터 형식이나 언어 영역을 전문으로 하는 소규모 전문가 모델 집합을 교육하는 것이 대안입니다.

이러한 앙상블 접근 방식은 전문가 간에 학습된 표현을 공유함으로써 희귀한 작업 및 언어에 대한 적용 범위를 개선하는 데 도움이 될 수 있습니다. 시간이 지남에 따라 언어 및 업무 전문성을 확장하기 위한 지속적인 학습도 흥미로운 전망입니다.

결론적으로, 이 문서에서는 LLM의 학습 데이터를 합성하여 고성능 텍스트 임베딩을 생성하는 혁신적인 개념을 소개합니다. 그들의 결과는 이 방법론의 효율성을 입증하며 이전 벤치마크를 능가합니다. LLM 및 합성 데이터 기술이 발전함에 따라 해당 지식을 활용하여 임베더를 교육하는 것이 매우 유망한 방향이 될 수 있습니다.