AI 모델 및 플랫폼
RAFT – 도메인별 질문 답변을 위한 미세조정 및 RAG 접근법
Unite.AI를 Google의 선호 소스에 추가
대규모 언어 모델의 적용이 전문 분야로 확장됨에 따라 효율적이고 효과적인 적응 기술의 필요성이 점점 더 중요해지고 있습니다. RAFT(Retrieval Augmented Fine Tuning)가 등장했습니다. RAFT는 RAG(Retrieval Augmented Generation)와 미세조정을 결합한 새로운 접근법으로, 도메인별 질문 답변 작업을 위해 특별히 설계되었습니다.
도메인 적응의 도전
대규모 언어 모델은大量의 데이터로 사전 학습되지만, 의료 연구, 법률 문서, 기업별 지식 베이스와 같은 전문 분야에서 잘 작동하지 않는 경우가 많습니다. 이는 사전 학습 데이터가 이러한 전문 분야의 세부 사항과 복잡성을 충분히 대표하지 못하기 때문입니다. 이 도전을 극복하기 위해 연구자들은 일반적으로 두 가지 주요 기술을 사용합니다. RAG와 미세조정입니다.
RAG(검색 증강 생성)
RAG
RAG는 대규모 언어 모델이 외부 지식源을 이용하여 더 정확하고 최신의 출력을 생성할 수 있도록 하는 기술입니다.
RAG는 세 가지 핵심 단계로 구성됩니다. 검색, 생성, 및 보강입니다. 검색에서는 관련 문서를 수집하고, 생성에서는 모델이 검색된 데이터를 기반으로 출력을 생성하며, 보강에서는 출력을さらに 정제합니다.
RAG의 검색 과정은 사용자의 질의에서 시작합니다. 대규모 언어 모델은 질의를 분석하고 외부 데이터베이스에서 관련 정보를 가져옵니다. 생성 단계에서는 이 정보를 기반으로 출력을 생성합니다. 보강 단계에서는 출력을さらに 정제하여 관련성과 일관성을 높입니다.
RAG 모델은 다양한 지표를 사용하여 평가할 수 있습니다. 이러한 지표는 모델이 정확하고 최신의 정보를 제공하는能力을 평가합니다.
미세조정
supervised-fine-tuning
미세조정은 사전 학습된 모델을 특정 작업이나 도메인에 맞게 추가적으로 학습하는 것을 의미합니다. 이 접근법을 통해 모델은 작업이나 도메인에 대한 패턴을 학습하고 출력을 원하는 방식으로 조정할 수 있습니다. 그러나 미세조정만으로는 외부 지식源을 효과적으로 통합하거나 검색 오류를 고려하지 못하는 경우가 많습니다.
RAFT 접근법
RAFT
RAFT는 Retrieval-Aware Fine-Tuning의 약자로, 언어 모델을 도메인별 작업에 맞게 미세조정하는 새로운 방법입니다. RAFT는 표준 미세조정과 달리, 관련 문서와 관련이 없는 문서를 모두 포함하는 훈련 데이터를 준비합니다. 또한, 체인 오브 사고(Chain of Thought) 스타일의 답변을 생성하여 모델이 외부 지식源을 효과적으로 사용할 수 있도록 합니다.
RAFT는 언어 모델을 문서에서 정보를 추출하고 추론하는 작업에 더 잘 대처하도록 미세조정합니다. 관련 문서와 관련이 없는 문서를 모두 포함하는 훈련 데이터를 사용하여 모델이 관련 정보를 식별하고 사용할 수 있도록 합니다.
훈련 데이터 준비
RAFT의 훈련 과정에서는 일부 데이터가 관련 문서를 포함하고, 나머지 데이터는 관련이 없는 문서로 구성됩니다. 미세조정은 모델이 내부 지식과 외부 지식源을 모두 사용할 수 있도록 합니다.
RAFT의 훈련 과정에서는 체인 오브 사고(Chain of Thought) 스타일의 답변을 생성하여 모델이 외부 지식源을 효과적으로 사용할 수 있도록 합니다. 이 접근법은 모델이 문서에서 정보를 추출하고 추론하는 작업에 더 잘 대처하도록 합니다.
이 접근법은 여러 가지 목적을 달성합니다.
- 관련 정보를 식별하고 사용할 수 있도록 모델을 훈련합니다.
- 관련이 없는 정보를 무시할 수 있도록 모델을 훈련합니다.
- 관련 정보가 없을 때 모델이 내부 지식을 사용할 수 있도록 합니다.
RAFT의 또 다른 중요한 측면은 체인 오브 사고(Chain of Thought) 스타일의 답변을 생성하여 모델이 외부 지식源을 효과적으로 사용할 수 있도록 하는 것입니다.
체인 오브 사고(Chain of Thought) 스타일의 답변을 생성하여 모델이 외부 지식源을 사용하여 정보를 추출하고 추론하는 작업에 더 잘 대처하도록 합니다.
평가 및 결과
RAFT의 저자는 다양한 데이터셋을 사용하여 광범위한 평가를 수행했습니다. 결과는 RAFT가 기존의 미세조정 방법과 비교하여 더 높은 성능을 보였다는 것을 보여줍니다.
RAFT improves RAG performance
예를 들어, HuggingFace 데이터셋에서 RAFT는 74%의 정확도를 달성하여 기존의 미세조정 방법보다 31.41% 더 높은 성능을 보였습니다.
RAFT의 주요优势 중 하나는 검색 오류에 대한 강건성입니다. 관련 문서와 관련이 없는 문서를 모두 포함하는 훈련 데이터를 사용하여 모델이 관련 정보를 식별하고 사용할 수 있도록 합니다.
저자는 관련 문서만을 사용하여 미세조정하는 경우보다 관련 문서와 관련이 없는 문서를 모두 포함하는 경우가 더好的 성능을 보인다는 것을 보여줍니다.
실제 적용 및 미래 방향
RAFT 기술은 다양한 실제 적용에 중요한 의미를 가지고 있습니다.
- 질문 답변 시스템: RAFT를 사용하여 높은 정확도와 도메인별 질문 답변 시스템을 구축할 수 있습니다.
- 기업 지식 관리: 대규모 지식 베이스를 보유한 조직은 RAFT를 사용하여 맞춤형 질문 답변 시스템을 개발할 수 있습니다.
- 의료 및 과학 연구: RAFT는 의료 및 과학 연구와 같은 분야에서 최신 findings와 문헌에 접근하는 것이 중요할 때 특히 유용합니다.
- 법률 및 금융 서비스: RAFT는 법률 및 금융 서비스와 같은 분야에서 정확하고 관련성이 높은 답변을 제공할 수 있습니다.
이 분야의 연구가 계속 진행됨에 따라 RAFT 기술의 추가적인 발전과 개선이 기대됩니다. 잠재적인 미래 방향에는 다음과 같은 것들이 포함될 수 있습니다.
- 보다 효율적이고 효과적인 검색 모듈의 탐색
- 다중 모달 정보의 통합
- 체인 오브 사고(Chain of Thought) 스타일의 답변을 생성하는 데 더 잘 대처하는 추론 아키텍처의 개발
- 질문 답변을 넘어 다른 자연어 작업에 대한 RAFT의 적용
결론
RAFT는 도메인별 질문 답변을 위한 대규모 언어 모델의 성능을 향상시키는 중요한 발전입니다. RAFT는 RAG와 미세조정을 결합하여 모델이 외부 지식源을 효과적으로 사용할 수 있도록 합니다.
RAFT는 훈련 데이터의 준비, 체인 오브 사고(Chain of Thought) 스타일의 답변의 생성, 및 검색 오류에 대한 강건성을 통해 모델이 도메인별 작업에 더 잘 대처하도록 합니다.
RAFT는 전문 분야에서 대규모 언어 모델의 잠재력을 최대한 발휘하기 위한 강력한 솔루션을 제공합니다. RAFT는 도메인별 자연어 처리 능력의需求이 계속 증가함에 따라 중요한 역할을 할 것입니다.
