인공지능

LLM 환각을 Retrieval Augmented Generation (RAG)으로 극복하기

Published March 5, 2024

Updated April 27, 2026

Haziqa Sajid

대규모 언어 모델(LLM)은 언어를 처리하고 생성하는 방식을 혁신하고 있지만, 완벽하지 않다. 인간이 구름에 모양을 보거나 달에 얼굴을 보는 것처럼, LLM도 ‘환각’을 일으킬 수 있다. 즉, 정확하지 않은 정보를 생성하는 현상이다. 이 현상은 LLM 환각으로 알려져 있으며, LLM의 사용이 확대됨에 따라 점점 더 큰 문제가 되고 있다.

오류는 사용자를 혼란하게 만들 수 있으며, 어떤 경우에는 회사에 법적 문제를 일으킬 수도 있다. 예를 들어, 2023년에 공군 베테랑 제프리 배틀(The Aerospace Professor)은 마이크로소프트를 상대로 소송을 제기했다. 이유는 마이크로소프트의 ChatGPT 기반의 Bing 검색이 그의 이름을 검색했을 때 사실과 다르고 유해한 정보를 제공했기 때문이다. 검색 엔진은 그를 유죄 판결を受킨 제프리 레온 배틀과 혼동했다.

환각을 해결하기 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG)이라는 기술이 등장했다. 이는 외부 데이터베이스의 지식을 통합하여 LLM의 출력 정확도와 신뢰성을 향상시키는 방법이다. 이제 RAG가 어떻게 LLM을 더 정확하고 신뢰성 있게 만드는지 자세히 살펴보자. 또한 RAG가 LLM 환각 문제를 효과적으로 대처할 수 있는지 обс论해보자.

LLM 환각 이해: 원인과 예시

LLM,包括 유명한 모델인 ChatGPT, ChatGLM, 및 Claude는 광범위한 텍스트 데이터셋에서 학습되지만, 사실적으로 부정확한 출력을 생성하는 현상, 즉 ‘환각’에免疫이 아니다. 환각은 LLM이 기본 언어 규칙에 따라 의미 있는 응답을 생성하도록 학습되기 때문이다. 사실적 정확성과는 상관없이 말이다.

Tidio 연구에 따르면, 72%의 사용자는 LLM이 신뢰할 수 있다고 믿지만, 75%의 사용자는 적어도 한 번은 AI에서 부정확한 정보를 받았다고 한다. 심지어 가장 유망한 LLM 모델인 GPT-3.5와 GPT-4도 때때로 부정확하거나 무의미한 내용을 생성할 수 있다.

여기에는 일반적인 LLM 환각 유형에 대한 간단한 개요가 있다:

일반적인 AI 환각 유형:

소스 혼합: 모델이 다양한 소스의 세부 정보를 결합하여 모순이나 허구의 소스를 생성할 수 있다.
사실적 오류: LLM은 사실적 근거가 부정확한 내용을 생성할 수 있다. 특히 인터넷의 내재된 부정확성으로 인해如此이다.
무의미한 정보: LLM은 다음 단어를 예측할 때 확률에 기반하여 무의미한 텍스트를 생성할 수 있다. 이는 사용자가 내용의 권위에 대해 잘못된 정보를 제공할 수 있다.

작년, 두 명의 변호사는 ChatGPT 생성 정보에 근거하여 실제로 존재하지 않는 6건의 사건을 법적 문서에 인용하여 가능성 있는 제재를 받았다. 이는 LLM 생성 내용에 대해 비판적 시각으로 접근하는 것이 중요함을 강조하며, 신뢰성을 보장하기 위해 검증의 필요성을 강조한다. 창의적 능력은 이야기 작성과 같은 응용 분야에서 이점이 될 수 있지만, 학술 연구, 의료 및 금융 분석 보고서 작성, 법률 자문과 같은 사실에 대한 엄격한 준수를 요구하는 작업에서는 도전이 된다.

LLM 환각 해결책: Retrieval Augmented Generation (RAG) 작동 방식

2020년에 LLM 연구자들은 LLM 환각을 완화하기 위해 외부 데이터 소스를 통합하는 기술인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 도입했다. 전통적인 LLM과 달리 오직 사전 학습된 지식에만 의존하는 것이 아니라, RAG 기반의 LLM 모델은 질문이나 텍스트 생성 전에 외부 데이터베이스에서 관련 정보를 동적으로 검색하여 사실적 정확성과 신뢰성을 향상시킨다.

RAG 과정 분해:

Steps of RAG

RAG 과정 단계: 소스

단계 1: 검색

시스템은 사용자의 질의와 관련된 정보를 특정 지식 베이스에서 검색한다. 예를 들어, 누군가가 마지막 축구 월드컵 우승자를 묻는 경우, 시스템은 가장 관련성이 높은 축구 정보를 찾는다.

단계 2: 증강

원래 질의는 검색된 정보로 강화된다. 축구의 예를 들어, “誰가 축구 월드컵을 이겼는가?”라는 질의는 “아르헨티나가 축구 월드컵을 이겼다”라는 구체적인 세부 정보로 업데이트된다.

단계 3: 생성

강화된 질의와 함께, LLM은詳細하고 정확한 응답을 생성한다. 우리의 경우, 시스템은 월드컵을 아르헨티나가 이겼다는 정보를 기반으로 응답을 작성한다.

이 방법은 부정확성을 줄이고 LLM의 응답이 더 신뢰성 있고 정확한 데이터에 기반한 것을 보장한다.

RAG의 장단점

RAG는 생성 과정을 수정하여 환각을 줄이는 데 약속을 보여주었다. 이 메커니즘은 RAG 모델이 더 정확하고 최신의 정보를 제공할 수 있도록 한다.

물론, RAG에 대한 일반적인 논의는 다양한 구현에서 그 장점과 한계를 더广泛하게 이해하는 것을 허용한다.

RAG의 장점:

더 나은 정보 검색: RAG는 큰 데이터 소스에서 빠르게 정확한 정보를 찾는다.
개선된 콘텐츠: 사용자가 필요로 하는 콘텐츠를 명확하게 일치시킨다.
유연한 사용: 사용자는 특정 요구 사항에 맞게 RAG를 조정할 수 있다. 예를 들어, 사용자 고유의 데이터 소스를 사용하여 효과성을 높일 수 있다.