RAFT – 도메인 특정 질문 답변을 위한 미세 조정 및 RAG 접근법

대규모 언어 모델의 적용이 전문 도메인으로 확장됨에 따라 효율적이고 효과적인 적응 기술의 필요성이 점점 더 중요해지고 있다. 여기서 RAFT(Retrieval Augmented Fine Tuning)가 등장한다. RAFT는 도메인 특정 질문 답변 태스크를 위해 Retrieval-Augmented Generation(RAG)와 미세 조정의 강점을 결합한 새로운 접근법이다.

도메인 적응의 도전

대규모 언어 모델(LLM)은大量의 데이터로 사전 학습되지만, 의료 연구, 법적 문서, 또는 기업 특정 지식 베이스와 같은 전문 도메인에서 잘 작동하는 능력은 종종 제한적이다. 이는 사전 학습 데이터가 이러한 전문 도메인의 세부 사항과 복잡성을 충분히 대표하지 못하기 때문이다. 이 도전을 해결하기 위해 연구자들은 전통적으로 두 가지 주요 기술을 사용해 왔다. 즉, RAG와 미세 조정이다.

Retrieval-Augmented Generation (RAG)

RAG

RAG는 대규모 언어 모델이 추론 시 외부 지식 소스를 접근하고 사용할 수 있게 해주는 기술이다.

이 기술은 실시간 데이터 검색을 생성 과정에 통합하여 모델의 출력을 더 정확하고 최신으로 만든다. RAG는 세 가지 핵심 단계로 구성된다. 검색, 관련 문서를 수집하는 단계; 생성, 모델이 검색된 데이터를 기반으로 출력을 생성하는 단계; 그리고 보강, 출력을 추가로 정제하는 단계.

RAG의 검색 과정은 사용자의 쿼리에서 시작한다. 대규모 언어 모델은 쿼리를 분석하고 외부 데이터베이스에서 관련 정보를 가져와 모델이 응답을 생성할 수 있는 데이터 풀을 제공한다. 생성 단계에서는 이 입력을 일관된 내러티브 또는 답변으로 합성한다. 보강 단계에서는 생성을 추가로 정제하여 문맥이나 일관성과 관련성을 조정한다.

RAG 모델은 다양한 지표를 사용하여 평가할 수 있다. 이는 모델이 정확하고 관련성이 높은 최신 정보를 제공하는 능력을 평가한다.

미세 조정

supervised-fine-tuning

미세 조정은 사전 학습된 대규모 언어 모델을 특정 태스크 또는 도메인에 맞게 작은 태스크 특정 데이터셋으로 추가 학습하는 것을涉한다. 이 접근법은 모델이 패턴을 학습하고 출력을 원하는 태스크 또는 도메인에 맞출 수 있게 한다. 미세 조정은 모델의 성능을 개선할 수 있지만, 외부 지식 소스를 효과적으로 통합하거나 추론 시 검색 오류를 고려하지 못하는 경우가 많다.

RAFT 접근법

RAFT

RAFT는 Retrieval-Aware Fine-Tuning의 약자로, 언어 모델이 도메인 특정 태스크에서 성능을 향상시키기 위한 혁신적인 학습 방법이다. 특히, 오픈북 시험에서 RAFT는 표준 미세 조정과 달리, 질문과 관련 및 비관련 문서를 포함한 훈련 데이터를 준비한다. 또한, 관련 텍스트에서 파생된 사슬 想法 스타일의 답변을 생성한다. 이 방법은 모델이 정보를 회상하는 것뿐만 아니라, 제공된 내용에서 이유를 찾아 답변을 도출하는 능력을 향상시키는 것을 목표로 한다.

본질적으로, RAFT는 언어 모델을 문서 집합에서 읽기 이해와 지식 추출을 포함한 태스크에서 더熟練하게 만든다. “오라클” 문서(답변이 포함됨)와 “방해 문서”(답변이 포함되지 않음)를 모두 사용하여 모델을 학습시키므로, 모델은 관련 정보를 더 효과적으로 식별하고 사용할 수 있게 된다.

RAFT의 훈련 과정은 일부 데이터가 오라클 문서를 포함하도록 하고, 나머지 데이터는 방해 문서만 포함하도록 한다. 미세 조정은 모델이 내부 지식을 언제頼해야 하는지와 언제 컨텍스트에서 정보를 추출해야 하는지 학습하도록 한다.

RAFT의 훈련 과정은 또한 사슬 想法 이유를 생성하는 것을 강조한다. 이는 답변을 형성하는 데 도움이 되며, 사람이 읽은 자료를 인용하여 응답을 정당화하는 것과 유사하다. 이 접근법은 모델을 RAG 설정에서 최상위 검색 문서를 고려해야 하는 경우에도 준비시킨다. 또한, 모델의 훈련이 검색기를 사용하는 것과 독립적이므로, 다양한 검색 시스템에서 유연하게 적용할 수 있다.

이 접근법은 여러 목적을 수행한다:

1. 모델이 제공된 컨텍스트에서 관련 정보를 식별하고 사용하도록 훈련시킨다. 이는 오픈북 시험 환경을 모방한다.
2. 모델이 관련이 없는 정보를 무시하는 능력을 향상시킨다. 이는 효과적인 RAG에 중요한 기술이다.
3. 모델이 컨텍스트에 답변을 포함하지 않는 시나리오에 노출되도록 하여, 필요한 경우 모델이 자신의 지식을頼하게 한다.

RAFT의 또 다른 주요 측면은 훈련 과정에서 사슬 想法 이유를 통합하는 것이다. 질문과 답변 쌍을 단순히 제공하는 대신, RAFT는 관련 문서에서 직접 인용한 문구를 포함한詳細한 이유 설명을 생성한다. 이러한 설명은 사슬 想法 형식으로 제공되어, 모델이 올바른 답변에 도달하기 위한 논리적인 단계를 안내한다.

모델을 이러한 이유 체인으로 훈련시키면, 모델은 강력한 이유 능력과 외부 지식 소스를 효과적으로 활용하는 능력을 개발하도록 격励한다.

평가 및 결과

RAFT 논문의 저자들은 다양한 데이터셋, 즉 PubMed(의료 연구), HotpotQA(오픈 도메인 질문 답변), Gorilla APIBench(코드 생성)에서 광범위한 평가를 수행했다. 그 결과, RAFT는 일관되게 기준선, 즉 도메인 특정 미세 조정(RAG 포함 및 미포함)과 RAG를 사용한 더 큰 모델(GPT-3.5)을 능가하는 것으로 나타났다.

RAFT improves RAG performance

예를 들어, HuggingFace 데이터셋에서 RAFT는 74%의 정확도를 달성했으며, 이는 도메인 특정 미세 조정(DSF)보다 31.41%, RAG를 사용한 GPT-3.5보다 44.92% 더 높은 정확도였다. 마찬가지로, HotpotQA 데이터셋에서 RAFT는 DSF와 비교하여 28.9%의 정확도 향상을 보였다.

RAFT의 주요 장점 중 하나는 검색 오류에 대한 강건성이다. 관련 및 비관련 문서의 혼합으로 모델을 훈련시키면, 모델은 관련 정보를 식별하고 우선순위를 지정하는 능력을 향상시킬 수 있다. 즉, 검색 모듈이 최적이 아닌 결과를 반환하더라도 모델은 여전히 잘 작동한다.

저자들은 오라클 문서만으로 미세 조정을 수행하는 경우가 종종 검색기 사용과 관련없이 훈련 데이터에 방해 문서를 포함하는 구성보다 성능이 낮은 경우가 많음을 보여주었다. 이는 훈련 중에 모델을 다양한 검색 시나리오에 노출시키는 것이 실제 적용을 준비하는 데 중요함을 강조한다.

실제 적용 및 미래 방향

RAFT 기술은 다양한 실제 적용에重大한 영향을 미친다. 이러한 적용에는:

1. 질문 답변 시스템: RAFT는 높은 정확도와 도메인 특정 질문 답변 시스템을 구축하는 데 사용될 수 있다. 이는 모델이 학습한 지식과 외부 지식 소스를 모두 활용할 수 있게 한다.
2. 기업 지식 관리: 대규모 지식 베이스를 보유한 조직은 RAFT를 사용하여 맞춤형 질문 답변 시스템을 개발할 수 있다. 이는 직원이 관련 정보에 빠르게 접근하고 사용할 수 있게 한다.
3. 의료 및 과학 연구: RAFT는 의료 연구와 같은 분야에서 특히 유용하다. 여기서 최신 연구 결과와 문헌에 접근하는 것이 과학적 이해를 발전시키는 데 중요하다.
4. 법률 및 금융 서비스: RAFT는 법률 및 금융 전문가에게 관련 법적 문서 또는 금융 보고서를 기반으로 정확하고 컨텍스트에 맞는 응답을 제공하는 데 도움이 될 수 있다.

이 분야의 연구가 계속 진행됨에 따라, RAFT 기술의 추가적인 발전과 개선이 기대된다. 잠재적인 미래 방향에는:

1. 특정 도메인 또는 문서 구조를 위한 더 효율적이고 효과적인 검색 모듈의 탐색.
2. 이미지 또는 표와 같은 다중 모달 정보를 RAFT 프레임워크에 통합하여 컨텍스트 이해를 향상시키는 것.
3. 훈련 과정에서 생성된 사슬 想法 설명을 더 잘 활용할 수 있는 특수한 이유 아키텍처의 개발.
4. 질문 답변을 넘어서서 요약, 번역, 대화 시스템과 같은 다른 자연어 처리 태스크에 RAFT를 적용하는 것.

결론

RAFT는 도메인 특정 질문 답변에서 대규모 언어 모델의 성능을 향상시키는 분야에서重大한 발전을 나타낸다. RAFT는 RAG와 미세 조정의 강점을 조화롭게 결합하여, 대규모 언어 모델이 외부 지식 소스를 효과적으로 활용하고 출력을 도메인 특정 패턴과 선호도에 맞출 수 있게 한다.

RAFT의 혁신적인 훈련 데이터 구축, 사슬 想法 이유의 통합, 검색 오류에 대한 강건성으로 인해, RAFT는 전문 도메인에서 대규모 언어 모델의 잠재력을解放하는 강력한 솔루션을 제공한다.