적은 문서, 더 나은 답변: 왜 문서를 적게 검색하면 AI 답변을 개선할 수 있는가

검색 보강 생성(Retrieval-Augmented Generation, RAG)은 언어 모델과 외부 지식源을 결합하여 AI 시스템을 구축하는 접근 방식입니다. 간단히 말하면, AI는 먼저 사용자의 쿼리와 관련된 문서(예: 기사 또는 웹 페이지)를 검색한 다음 이러한 문서를 사용하여 더 정확한 답변을 생성합니다. 이 방법은 사실적인 답변을 제공하고 환상적인 답변을 줄이는 데 도움이 된다는 점에서 대규모 언어 모델(LLM)에ประโยชน을 제공한다는 점에서庆祝されて 왔습니다.

일반적으로, 더 많은 문서를 검색할수록 AI의 답변은 더 잘 알려질 것이라고 생각할 수 있습니다. 그러나 최근 연구에서는 의외의 결과를 보여주고 있습니다. 문서를 적게 검색하면 더 나은 답변을 얻을 수 있다는 것입니다.

더 적은 문서, 더 나은 답변

히브리 대학의 연구자들은 RAG 시스템의 성능에 문서의 수가 어떻게 영향을 미치는지 조사했습니다. 중요하게는, 총 텍스트 양을 일정하게 유지했습니다. 즉, 문서가 적게 제공되면, 각 문서의 길이가 약간 길어져 총 길이가 일정했습니다. 이렇게 하면 성능의 차이는 문서의 수에 의한 것이지, 단순히 입력 길이의 차이 때문이 아닙니다.

연구자들은 20개의 위키피디아 문단으로 구성된 질문-답변 데이터셋(MuSiQue)을 사용했습니다. 각 문단은 원래 20개의 위키피디아 문단과 연결되어 있었으며, 그 중 몇 개만 실제로 답변을 포함하고 나머지는 방해 요소였습니다. 문서의 수를 20개에서 2-4개의 관련 문서로 줄이고, 각 문서에 약간의 추가 컨텍스트를 추가하여 총 길이를 유지했습니다. 이렇게 하면 AI는 더 적은 수의 문서를 처리해야 하지만, 총 단어 수는 동일했습니다.

결과는 놀라웠습니다. 대부분의 경우, AI 모델은 더 적은 수의 문서를 제공받았을 때 더 정확한 답변을 제공했습니다. 성능은 약 10%까지 개선되었습니다. 이는 여러 개의 언어 모델에서 관찰되었으며, 이는 이 현상이 단일 AI 모델에만 국한되지 않음을 보여줍니다.

한 모델(Qwen-2)은 예외로, 여러 문서를 처리할 때 성능이 저하되지 않았습니다. 그러나 대부분의 테스트된 모델은 더 적은 수의 문서를 제공받았을 때 더 나은 성능을 보였습니다. 즉, 관련 문서를 넘어서 더 많은 참조 자료를 제공하는 것은 성능을 저하하는 경우가 더 많았습니다.

출처: Levy et al.

이 결과가 왜意外한가요? 일반적으로, RAG 시스템은 더 많은 정보를 검색할수록 AI의 답변은 더 잘 알려질 것이라고 가정합니다. 그러나 이 연구는 이 가정을 뒤집습니다. 더 많은 문서를 제공하는 것은 실제로 성능을 저하할 수 있습니다.

이 연구는 문서의 수가 많을수록, 각 문서는 자신의 컨텍스트와 특징을 가지고 있기 때문에, AI는 더 많은 노이즈를 처리해야 하므로 성능이 저하될 수 있음을 보여줍니다. 즉, 문서의 수가 많을수록, 관련 정보는 더 희박해지고, 방해 요소는 더 많아집니다.

RAG에서 적은 것이 더 많은가

이 “적은 것이 더 많은” 결과는 AI 언어 모델이 정보를 처리하는 방식을 고려하면 이해할 수 있습니다. AI가 관련 문서만 제공받을 때, 컨텍스트는 집중적이고 방해 요소가 없습니다. 이는 학생이 필요한 페이지만 받았을 때와 같습니다.

연구에서, 모델은 관련 문서만 제공받았을 때 성능이 더 좋았습니다. 남은 컨텍스트는 더 짧고 깨끗했습니다. 즉, 사실만 포함하고 방해 요소는 포함하지 않았습니다. 더 적은 수의 문서를 처리해야 했기 때문에, 모델은 관련 정보에만 집중할 수 있었습니다.

반면에, 많은 문서를 제공받았을 때, AI는 관련 및 방해 요소가 혼합된 컨텍스트를 처리해야 했습니다. 이러한 방해 요소는 모델을 혼란하게 만들 수 있습니다. 모델은 여러 문서에서 정보를 연결하려고 하거나, 여러 출처에서 정보를 잘못 병합할 수 있습니다. 이는 환상적인 답변의 위험을 증가시킵니다.

즉, 너무 많은 문서를 제공하는 것은 유용한 정보를 희석시키고, 충돌하는 세부 정보를 도입하여, AI가 무엇이จร인지 판단하기 더 어려워집니다.

또한, 연구자들은 불필요한 문서를 제거하면 시스템의 계산 오버헤드를 줄일 수 있음을 발견했습니다. 각 문서는 분석되어야 하므로, 더 적은 수의 문서를 처리하면 시스템이 더 효율적이고 빠르게 작동할 수 있습니다.

출처: Levy et al.

RAG의 미래 방향

이 새로운 증거는 외부 지식에 의존하는 AI 시스템의 미래에 중요한 의미를 가지고 있습니다. 이는 RAG 시스템의 설계자들이 문서의 양보다 질을 우선시해야 함을 시사합니다. 즉, 100개의 가능한 문단을 검색하는 대신, 최상위 몇 개의 관련 문서만 검색하는 것이 더 좋을 수 있습니다.

연구자들은 검색 방법이 관련성과 다양성 사이의 균형을 찾는 것이 중요하다고 강조합니다. 즉, 주제를 충분히 커버할 수 있지만, 핵심 사실을 淹没시키지 않는 수준의 정보를 제공해야 합니다.

향후 연구자들은 여러 문서를 더 잘 처리할 수 있는 기술을 개발할 것입니다. 하나의 접근 방식은 더 나은 검색 시스템이나 재정렬기를 개발하여, 어떤 문서가真正로 가치 있는지 판단하는 것입니다. 또 다른 접근 방식은 언어 모델 자체를 개선하는 것입니다. 예를 들어, Qwen-2 모델은 여러 문서를 처리할 때 성능이 저하되지 않았습니다. 이러한 모델을 분석하여, 다른 모델도 더 강력하게 만들 수 있습니다.

또한, 향후의 대규모 언어 모델은 여러 출처에서 정보를 병합하여, 더 나은 답변을 생성할 수 있는 메커니즘을 포함할 수 있습니다. 즉, 여러 출처에서 정보를 연결하여, 더 정확한 답변을 생성할 수 있습니다.

마지막으로, 이 연구는 우리의 가정을 재검토하도록鼓励합니다. 때때로, AI에 모든 데이터를 제공하는 것은 최선의 방법이 아닙니다. 더 관련 있는 정보만 제공함으로써, 우리는 더 나은 답변을 얻을 수 있을 뿐만 아니라, 시스템을 더 효율적이고 신뢰할 수 있게 만들 수 있습니다. 이는 반直覺的な 교훈이지만, 미래의 RAG 시스템이 더智能하고 더 효율적인 방향으로 발전할 수 있는 가능성을 제공합니다.