대규모 언어 모델의 환각 해결: 최첨단 기술 조사

GPT-4, PaLM, Llama와 같은 LLM(대형 언어 모델)은 자연어 생성 기능에서 놀라운 발전을 이루었습니다. 그러나 신뢰성과 안전한 배포를 제한하는 지속적인 문제는 환각 경향입니다. 즉, 일관적인 것처럼 보이지만 실제로는 부정확하거나 입력 맥락에서 근거가 없는 콘텐츠를 생성하는 것입니다.

LLM이 실제 응용 프로그램 전반에 걸쳐 점점 더 강력해지고 어디에나 존재하게 되면서 환각 문제를 해결하는 것이 필수적이 되었습니다. 이 기사에서는 LLM에서 환각을 감지, 정량화 및 완화하기 위해 연구자들이 도입한 최신 기술에 대한 포괄적인 개요를 제공합니다.

LLM의 환각 이해

환각은 현실이나 제공된 맥락에 근거하지 않은 LLM에 의해 생성된 사실적 부정확성 또는 조작을 의미합니다. 몇 가지 예는 다음과 같습니다.

• 개인에 대한 텍스트를 생성할 때 원본 자료에서 입증되지 않은 전기적 세부 사항이나 사건을 만들어냅니다.
• 약물의 부작용이나 치료 절차를 조작하여 잘못된 의학적 조언을 제공합니다.
• 주장을 뒷받침하기 위해 존재하지 않는 데이터, 연구 또는 출처를 조작합니다.

이러한 현상은 LLM이 방대한 양의 온라인 텍스트 데이터에 대해 교육을 받았기 때문에 발생합니다. 이를 통해 강력한 언어 모델링 기능을 얻을 수 있지만, 정보를 추정하고, 논리적으로 도약하고, 설득력 있는 것처럼 보이지만 오해의 소지가 있거나 오류가 있을 수 있는 방식으로 공백을 채우는 방법을 배운다는 의미이기도 합니다.

환각을 일으키는 주요 요인은 다음과 같습니다.

• 패턴 일반화 – LLM은 잘 일반화되지 않을 수 있는 교육 데이터의 패턴을 식별하고 확장합니다.
• 오래된 지식 – 정적 사전 훈련으로 인해 새로운 정보의 통합이 방지됩니다.
• 모호 – 모호한 프롬프트는 잘못된 가정의 여지를 허용합니다.
• 편견 – 모델은 왜곡된 관점을 지속시키고 증폭시킵니다.
• 접지 부족 – 이해력과 추론력이 부족하면 모델이 완전히 이해하지 못하는 콘텐츠를 생성하게 됩니다.

잘못된 정보를 생성하면 해를 끼칠 수 있는 의학, 법률, 금융, 교육과 같은 민감한 영역에서 신뢰할 수 있는 배포를 위해서는 환각을 해결하는 것이 중요합니다.

환각 완화 기술의 분류

연구원들은 LLM에서 환각을 퇴치하기 위해 다음과 같이 분류할 수 있는 다양한 기술을 도입했습니다.

1. 신속한 엔지니어링

여기에는 맥락을 제공하고 LLM이 사실에 기초한 응답을 향해 안내하기 위한 프롬프트를 신중하게 작성하는 것이 포함됩니다.

• 검색 확대 – 근거 내용에 대한 외부 증거를 검색합니다.
• 피드백 루프 – 피드백을 반복적으로 제공하여 응답을 개선합니다.
• 신속한 튜닝 – 원하는 동작에 맞게 미세 조정하는 동안 프롬프트를 조정합니다.

2. 모델 개발

본질적으로 건축학적 변화를 통해 환각을 느끼는 경향이 적은 모델을 만듭니다.

• 디코딩 전략 – 충실도를 높이는 방식으로 텍스트를 생성합니다.
• 지식 접지 – 외부 지식 기반을 통합합니다.
• 새로운 손실 함수 – 훈련 중 충실도를 최적화합니다.
• 감독된 미세 조정 – 사실성을 높이기 위해 사람이 라벨을 붙인 데이터를 사용합니다.

다음으로 각 접근 방식에 따른 주요 기술을 조사합니다.

주목할만한 환각 완화 기술

검색 증강 생성

검색 증강 생성은 모델의 암묵적 지식에만 의존하는 대신, 외부 증거 문서를 검색하고 텍스트 생성을 조건화하여 LLM을 향상시킵니다. 이를 통해 최신의 검증 가능한 정보를 기반으로 콘텐츠를 생성하고 환각 현상을 줄입니다.

대표적인 기술은 다음과 같습니다.

• RAG – 생성할 seq2seq 모델에 대한 관련 구절을 제공하는 검색 모듈을 사용합니다. 두 구성 요소 모두 엔드 투 엔드로 학습됩니다.
• RRRR – LLM을 고용하여 생성된 텍스트에서 귀속되지 않은 주장을 조사하고 검색된 증거에 맞게 수정합니다.
• 지식 검색 – 텍스트를 생성하기 전에 검색된 지식을 사용하여 불확실한 세대를 검증합니다.
• LLM-증강기 – 지식을 반복적으로 검색하여 LLM 프롬프트에 대한 증거 체인을 구성합니다.

피드백과 추론

반복적인 자연어 피드백이나 자기 추론을 활용하면 LLM이 초기 결과를 개선하고 개선하여 환각을 줄일 수 있습니다.

후미 검증 체인 기법을 사용합니다. LLM은 먼저 사용자 질의에 대한 답변을 작성합니다. 그런 다음, 다양한 진술에 대한 신뢰도를 기반으로 자체 답변의 사실 확인을 위한 잠재적 검증 질문을 생성합니다. 예를 들어, 새로운 치료법을 설명하는 답변에 대해 CoVe는 "치료의 효능은 어느 정도입니까?", "규제 승인을 받았습니까?", "잠재적인 부작용은 무엇입니까?"와 같은 질문을 생성할 수 있습니다. 중요한 것은 LLM이 초기 답변에 편향되지 않고 이러한 검증 질문에 독립적으로 답변하려고 노력한다는 것입니다. 검증 질문에 대한 답변이 원래 답변의 진술과 모순되거나 이를 뒷받침할 수 없는 경우, 시스템은 해당 답변을 환각으로 식별하고 사용자에게 제시하기 전에 답변을 수정합니다.

드레스 자연어 피드백을 통해 인간의 선호도에 더 잘 부합하도록 LLM을 조정하는 데 중점을 둡니다. 이 접근 방식을 사용하면 전문가가 아닌 사용자가 "언급된 부작용이 과장된 것 같습니다" 또는 "비용 효율성도 논의해 주세요"와 같은 개선 지침과 같은 모델 생성에 대한 자유로운 형식의 비평을 제공할 수 있습니다. DRESS는 강화 학습을 사용하여 모델을 훈련하여 인간 선호도에 더 잘 맞는 피드백을 기반으로 한 반응을 생성합니다. 이는 비현실적이거나 지원되지 않는 진술을 줄이는 동시에 상호 작용성을 향상시킵니다.

혼합정렬 사용자가 시스템에서 검색한 증거 구절과 직접적으로 일치하지 않는 질문을 하는 상황을 다룹니다. 예를 들어, 사용자는 "중국에서 오염이 더 심해질까요?"라고 물을 수 있습니다. 검색된 구절은 전 세계적으로 오염 추세를 논의합니다. 불충분한 맥락으로 인한 환각을 피하기 위해 MixAlign은 사용자의 질문을 검색된 정보와 어떻게 연결해야 할지 확신할 수 없을 때 사용자에게 명시적으로 설명합니다. 이 인간 참여형 메커니즘을 통해 피드백을 획득하여 증거를 올바르게 근거화하고 맥락화하여 근거 없는 응답을 방지할 수 있습니다.

The 자기 반성 기술은 LLM이 다중 작업 접근 방식을 사용하여 자신의 응답을 평가하고, 피드백을 제공하고, 반복적으로 개선하도록 교육합니다. 예를 들어, 의학적 쿼리에 대해 생성된 응답이 주어지면 모델은 사실적 정확성을 평가하고, 모순되거나 뒷받침되지 않는 진술을 식별하고, 관련 지식을 검색하여 이를 편집하는 방법을 학습합니다. LLM에게 자신의 결과를 확인하고 비판하고 반복적으로 개선하는 피드백 루프를 교육함으로써 이 접근 방식은 맹목적인 환각을 줄입니다.

프롬프트 튜닝

프롬프트 조정을 통해 원하는 행동을 미세 조정하는 동안 LLM에 제공되는 지침 프롬프트를 조정할 수 있습니다.

The 신트라 이 방법은 모델을 실제 요약 데이터 세트로 전송하기 전에 환각을 최소화하기 위해 합성 요약 작업을 사용합니다. 합성 작업은 입력 구절을 제공하고 추상화 없이 검색만을 통해 이를 요약하도록 모델에 요청합니다. 이는 요약 중에 새로운 정보를 환각으로 보는 대신 소스 콘텐츠에 전적으로 의존하도록 모델을 교육합니다. SynTra는 미세 조정된 모델이 대상 작업에 배포될 때 환각 문제를 줄이는 것으로 나타났습니다.

치받이 보이지 않는 다운스트림 작업에 대한 몇 번의 학습을 위한 최적의 소프트 프롬프트를 제공하는 범용 프롬프트 검색기를 훈련합니다. 다양한 작업 세트에 맞춰 조정된 효과적인 프롬프트를 검색함으로써 모델은 훈련 사례가 부족한 새로운 작업에 일반화하고 적응하는 방법을 학습합니다. 이는 작업별 튜닝 없이도 성능을 향상시킵니다.

새로운 모델 아키텍처

플릭 인간의 사실 확인자와 검증자를 지원하는 데 초점을 맞춘 시스템입니다. 이는 특정 텍스트에서 잠재적으로 검증 가능한 사실적 주장을 자동으로 식별합니다. FLEEK는 이러한 확인 가능한 진술을 쿼리로 변환하고, 지식 기반에서 관련 증거를 검색하고, 이러한 상황별 정보를 검증자에게 제공하여 문서의 정확성과 개정 요구 사항을 효과적으로 검증합니다.

The CAD 디코딩 접근법은 맥락 인식 디코딩을 통해 언어 생성 시 환각을 감소시킵니다. 특히, CAD는 맥락에 따라 조건화된 LLM 출력 분포와 무조건적으로 생성된 LLM 출력 분포 간의 차이를 증폭시킵니다. 이는 모순되는 맥락적 증거를 억제하고, 모델을 근거 기반 생성(grounded generation)으로 유도합니다.

도라 변환기 네트워크의 여러 계층에서 로짓을 대조하여 사실적 환각을 완화합니다. 사실적 지식은 특정 중간 계층에 국한되는 경향이 있으므로, DoLA의 로짓 대조를 통해 해당 사실 계층의 신호를 증폭하면 잘못된 사실 생성을 줄일 수 있습니다.

The 탐 이 프레임워크는 학습 과정에서 입력과 환각 출력 간의 상호 정보(mutual information)를 최소화하기 위해 정규화 항을 도입합니다. 이를 통해 모델이 제약 없는 상상보다는 주어진 입력 맥락에 더 의존하게 되어 맹목적인 환각을 줄일 수 있습니다.

지식 접지

LLM 세대를 구조화된 지식에 기반을 두어 무분별한 추측과 조작을 방지합니다.

The 로 모델은 대화 맥락에서 엔터티를 식별하고 이를 지식 그래프(KG)에 연결합니다. 해당 엔터티에 대한 관련 사실과 관계는 KG에서 검색되어 LLM에 제공되는 컨텍스트 표현에 융합됩니다. 이러한 지식이 풍부한 맥락 조정은 언급된 개체/사건에 대한 근거 있는 사실에 대한 응답을 유지함으로써 대화 중 환각을 줄입니다.

HAR 접지를 더 잘 가르치기 위해 모델 생성 환각을 포함하는 반사실적 훈련 데이터 세트를 만듭니다. 사실적 전달이 주어지면 모델은 변경된 반사실적 버전을 생성하는 환각이나 왜곡을 도입하라는 메시지를 받습니다. 이 데이터를 미세 조정하면 모델이 원본 사실 소스의 콘텐츠를 더 잘 기반으로 삼아 임시변통을 줄일 수 있습니다.

감독된 미세 조정

• 코치 – 사용자 쿼리에 응답하고 개선을 위해 수정 사항도 요청하는 대화형 프레임워크입니다.
• R-튜닝 – 거부 인식 튜닝은 훈련 데이터 지식 격차를 통해 식별된 지원되지 않는 질문을 거부합니다.
• 비틀기 – 가설이 입력 사실을 얼마나 잘 뒷받침하는지에 따라 세대 순위를 매기는 디코딩 방법입니다.

도전과 한계

유망한 진전에도 불구하고 환각을 완화하는 데에는 몇 가지 주요 과제가 남아 있습니다.

• 기술은 종종 진실성을 위해 품질, 일관성 및 창의성을 희생합니다.
• 제한된 영역을 넘어서는 엄격한 평가가 어렵다. 측정항목은 모든 미묘한 차이를 포착하지 못합니다.
• 많은 방법은 계산 비용이 많이 들고 광범위한 검색이나 자체 추론이 필요합니다.
• 훈련 데이터 품질과 외부 지식 소스에 크게 의존합니다.
• 도메인과 양식 전반에 걸쳐 일반화 가능성을 보장하기 어렵습니다.
• 과도한 추정과 같은 환각의 근본 원인은 아직 해결되지 않은 상태로 남아 있습니다.

이러한 문제를 해결하려면 교육 데이터 향상, 모델 아키텍처 개선, 충실도 향상 손실 및 추론 시간 기술을 결합한 다층 접근 방식이 필요할 수 있습니다.

앞서가는 길

LLM에 대한 환각 완화는 활발한 진행을 통해 공개 연구 문제로 남아 있습니다. 유망한 미래 방향은 다음과 같습니다.

• 하이브리드 기술: 검색, 지식 기반 및 피드백과 같은 보완적인 접근 방식을 결합합니다.
• 인과관계 모델링: 이해력과 추론력을 향상시킵니다.
• 온라인 지식 통합: 세계 지식을 최신 상태로 유지하세요.
• 공식 검증: 모델 동작에 대한 수학적 보장을 제공합니다.
• 통역 성: 완화 기술에 투명성을 구축합니다.

LLM이 위험도가 높은 영역에 걸쳐 계속 확산됨에 따라 환각을 줄이기 위한 강력한 솔루션을 개발하는 것이 안전하고 윤리적이며 신뢰할 수 있는 배치를 보장하는 열쇠가 될 것입니다. 이 기사에서 조사한 기술은 더 많은 공개 연구 과제가 남아 있는 지금까지 제안된 기술에 대한 개요를 제공합니다. 전반적으로 모델의 사실성을 향상시키는 긍정적인 추세가 있지만 지속적인 발전을 위해서는 한계를 해결하고 인과성, 검증 및 하이브리드 방법과 같은 새로운 방향을 모색해야 합니다. 다양한 분야의 연구자들의 부지런한 노력을 통해 강력하면서도 신뢰할 수 있는 LLM의 꿈이 현실로 바뀔 수 있습니다.