ํ๋กฌํํธ ์์ง๋์ด๋ง
๋ํ ์ธ์ด ๋ชจ๋ธ์์ ํ๊ฐ ํ์์ ํด๊ฒฐํ๊ธฐ: ์ต์ ๊ธฐ์ ์ ์กฐ์ฌ
대형 언어 모델(Large Language Models, LLMs)인 GPT-4, PaLM, Llama는 자연어 생성 능력에서 놀라운 발전을 이루었습니다. 그러나 이러한 모델의 신뢰성과 안전한 배포를 제한하는 持續적인 도전은 그들이 환각을 일으키는 경향입니다. 즉, 입력 컨텍스트에서 사실적으로 정확하지 않거나 근거가 없는 내용을 생성하는 것입니다.
LLMs가 더 강력하고 유비쿼터스해짐에 따라, 환각을 해결하는 것이 중요합니다. 이 기사에서는 최근 연구자들이 제시한 환각을 감지, 정량화, 완화하는 최신 기술에 대한 종합적인 개요를 제공합니다.
LLMs에서 환각 이해
환각은 모델이 현실 또는 제공된 컨텍스트에 근거하지 않은 사실적으로 부정확하거나 허구의 내용을 생성하는 것을 말합니다. 일부 예로는 다음이 있습니다.
- 소스 자료에 증거되지 않은 생애 세부 사항이나 사건을 Personen에 대해 생성할 때.
- 사실과 다르게 약의 부작용이나 치료 절차를 제공하여 잘못된 의료 조언을 하는 경우.
- 주장의 지원을 위해 존재하지 않는 데이터, 연구 또는 출처를 조작하는 경우.
이 현상은 LLMs가大量의 온라인 텍스트 데이터에 의해 훈련되기 때문에 발생합니다. 이는 강력한 언어 모델링 능력을 얻을 수 있지만, 정보를 추론하고 논리적인 도약을 하고 빈칸을 채우는 방식이 설득력 있지만 잘못되거나 부정확할 수 있습니다.
환각을 일으키는 주요 요인에는 다음이 있습니다.
- 패턴 일반화 – LLMs는 훈련 데이터에서 패턴을 식별하고 확장하지만, 이는 잘 일반화되지 않을 수 있습니다.
- 陳旧한 지식 – 정적 사전 훈련으로 새로운 정보를 통합할 수 없습니다.
- 모호성 – 애매한 프롬프트로 인해 잘못된 가정의 여지가 있습니다.
- 편향 – 모델은 편향된 관점을 지속하고 증폭시킵니다.
- 부족한 근거 – 모델은 생성하는 내용을 완전히 이해하지 못하여 근거가 없는 내용을 생성할 수 있습니다.
환각을 해결하는 것은 의료, 법률, 금융, 교육 등에서 잘못된 정보를 생성할 수 있는 민감한 분야에서 신뢰할 수 있는 모델을 배포하는 데 중요합니다.
환각 완화 기술의 분류
연구자들은 LLMs에서 환각을 완화하는 다양한 기술을 제시했습니다. 이러한 기술은 다음으로 분류할 수 있습니다.
1. 프롬프트 엔지니어링
이 기술은 모델이 사실적이고 근거가 있는 응답을 생성하도록 프롬프트를 조심스럽게 설계하는 것을 포함합니다.
- 검색 증강 – 외부 증거를 검색하여 내용을 근거로 합니다.
- 피드백 루프 – 피드백을 반복적으로 제공하여 응답을 개선합니다.
- 프롬프트 튜닝 – 원하는 행동을 위해 프롬프트를 조정하는 것을 포함합니다.
2. 모델 개발
이 기술은 모델을 개발하여 환각을 덜 일으키는 방향으로 합니다.
- 디코딩 전략 – 텍스트를 생성하는 방식을 바꿔서 사실성을 증가시킵니다.
- 지식 근거 – 외부 지식 베이스를 통합합니다.
- 새로운 손실 함수 – 훈련 중에 사실성을 최적화합니다.
- 감독된 미세 조정 – 인간이 레이블링한 데이터를 사용하여 사실성을 향상시킵니다.
다음으로, 우리는 각 접근 방식下的 주요 기술을 조사합니다.
주목할 만한 환각 완화 기술
검색 증강 생성
검색 증강 생성은 모델이 외부 증거 문서를 검색하고 조건으로 텍스트 생성을 수행하도록 합니다. 이는 내용을 최신의 검증 가능한 정보에 근거하여 환각을 줄입니다.
주목할 만한 기술로는 다음이 있습니다.
- RAG – 검색 모듈이 관련된 구절을 제공하고 시퀀스-투-시퀀스 모델이 생성합니다.
- RARR – 모델이 생성한 텍스트의 주장을 조사하고 증거와 일치하도록 수정합니다.
- 지식 검색 – 생성된 텍스트의 사실性을 검증하기 위해 지식을 검색합니다.
- LLM-증강기 – 지식을 검색하여 증거 체인을 생성합니다.
피드백과 推論
피드백이나 自己推論을 통해 모델이 초기 출력을 개선하고 환각을 줄일 수 있습니다.
CoVe는 체인 오브 버리피케이션 기술을 사용합니다. 모델은 사용자의 질의에 대한 응답을 초안으로 생성합니다. 그런 다음 모델은 자신의 응답의 사실성을 검증하기 위해 질문을 생성합니다. 예를 들어, 새로운 의료 치료에 대한 응답에서 CoVe는 “이 치료의 효능은 무엇인가?”, “이 치료는 규제 승인을 받았는가?”, “이 치료의 잠재적인 부작용은 무엇인가?”와 같은 질문을 생성할 수 있습니다. 모델은 이러한 질문에 대한 답변을 독립적으로 시도합니다. 초기 응답과 모순되거나 초기 응답을 지원할 수 없는 답변일 경우, 모델은 이러한 부분을 환각으로 식별하고 응답을 개선합니다.
DRESS는 모델을 인간의 선호도에 따라 조정합니다. 모델은 사용자의 비평과 수정 지침을 수신하여 응답을 생성합니다. 예를 들어, “부작용은 과장된 것 같다” 또는 “비용 효율성에 대해서도 논의해 주세요”와 같은 피드백을 받을 수 있습니다. DRESS는 강화 학습을 통해 모델을 훈련하여 이러한 피드백을 고려하여 응답을 생성합니다.
MixAlign는 사용자의 질문과 검색된 증거 사이의 불일치를 다룹니다. 예를 들어, 사용자가 “중국의 오염은 더 심해질까?”라고 묻는 경우, 검색된 증거는 전 세계적인 오염 경향에 대해 논의합니다. MixAlign는 사용자와 상호 작용하여 증거를 올바르게 컨텍스트화하고 환각을 방지합니다.
자체 반성 기술은 모델이 자신의 응답을 평가하고 피드백을 제공하여 개선하는 것을 포함합니다. 예를 들어, 의료 질의에 대한 응답에서 모델은 사실性的을 점수화하고 모순되거나 지원되지 않는 문장을 식별하고 편집합니다.
프롬프트 튜닝
프롬프트 튜닝은 모델이 원하는 행동을 하도록 프롬프트를 조정하는 것을 포함합니다.
SynTra 방법은 합성 요약 작업을 사용하여 모델이 사실적인 요약을 생성하도록 합니다. 모델은 입력된 문장을 요약하여 검색된 내용만을 사용하여 요약합니다. 이는 모델이 근거가 있는 내용을 생성하도록 훈련합니다.
UPRISE는 모델이 다양한 작업에서 최적의 프롬프트를 검색하여 새로운 작업에 일반화하도록 합니다. 이는 모델이 새로운 작업에서 잘 수행하도록 합니다.
새로운 모델 아키텍처
FLEEK은 인간의 事実 확인을 지원하는 시스템입니다. 모델은 입력된 텍스트에서 事實을 확인할 수 있는 주장을 식별하고, 관련된 증거를 검색하여 인간의 검토자에게 제공합니다.
CAD 디코딩 접근 방식은 컨텍스트에 따라 디코딩을 조정하여 환각을 줄입니다. 모델은 컨텍스트에 따라 출력 분포를 조정하여 사실적인 생성을 증가시킵니다.
DoLA는 로짓을 대조하여 事實적인 지식을 강조합니다. 事實적인 지식은 일반적으로 중간 레이어에 집중되어 있으므로, 이러한 레이어의 로짓을 강조하여 사실적인 생성을 증가시킵니다.
THAM 프레임워크는 모델이 입력과 생성된 출력 사이의 상관관계를 최소화하도록 훈련합니다. 이는 모델이 입력 컨텍스트에 더 의존하도록 합니다.
지식 근거
지식 근거는 모델의 생성을 구조화된 지식에 근거하여 환각을 방지합니다.
RHO 모델은 대화 컨텍스트에서 엔티티를 식별하고 지식 그래프에 연결합니다. 엔티티에 대한 관련된 사실과 관계를 검색하여 모델의 입력 컨텍스트에 제공합니다. 이는 모델의 응답을 事實에 근거하여 합니다.
HAR는 모델이 事實을 근거하여 생성하도록 합니다. 모델은 事實적인 문장을 생성하고, 이를 事實이 아닌 문장으로 수정하여 事實적인 지식을 강조합니다.
감독된 미세 조정
- 코치 – 사용자의 질의에 답변하고 수정을 요청하여 개선합니다.
- R-튜닝 – 지식 격차를 식별하여 지원되지 않는 질의를 거부합니다.
- TWEAK – 입력的事實을 지원하는 가설을 순위화하여 생성합니다.
도전과 한계
尽管 진행된 발전이 있지만, 환각을 완화하는 데 몇 가지 도전과 한계가 있습니다.
- 기술은 종종 품질, 일관성, 창의성을 사실성과 거래합니다.
- 도메인에 대한 엄격한 평가가 어려울 수 있습니다. 지표는 모든 뉴앙스를 포착하지 못합니다.
- 많은 방법은 계산적으로 비용이 많이 들고, 광범위한 검색 또는 自己推論을 필요로 합니다.
- 훈련 데이터의 품질과 외부 지식 소스에 크게 의존합니다.
- 도메인과 모달리티에 걸쳐 일반화하기 어렵습니다.
- 환각의 근본적인 원인인 과도한 추론은 여전히 해결되지 않았습니다.
이러한 도전을 해결하려면 다층적인 접근 방식이 필요할 것입니다. 훈련 데이터의 개선, 모델 아키텍처의 개선, 사실성을 향상시키는 손실 함수, 및 추론 시간 기술의 조합이 필요할 것입니다.
앞으로의 길
LLMs에서 환각을 완화하는 것은 여전히 열린 연구 문제입니다. 몇 가지 미래의 방향으로 다음이 있습니다.
- 하이브리드 기술 – 검색, 지식 근거, 피드백을 결합합니다.
- 인과 모델링 – 이해와 推論을增强합니다.
- 온라인 지식 통합 – 세계 지식을 최신으로 유지합니다.
- 형식적 검증 – 모델의 행동에 대한 수학적 보증을 제공합니다.
- 해석 가능성 – 완화 기술에 투명성을 제공합니다.
LLMs가 높은 위험 도메인에서 더욱 普及되면서, 환각을 완화하는 강력한 솔루션을 개발하는 것이 중요합니다. 이 기사에서 조사된 기술은 지금까지 제시된 기술의 개요를 제공합니다. 그러나 여전히 많은 도전과 한계가 있습니다. 모델의 사실성을 향상시키는 데는 계속적인 진행이 필요합니다.
