새로운 연구, RAG 시스템의 16가지 주요 문제점 발견, 퍼플렉시티 포함

미국에서 최근 수행된 연구에 따르면, Retrieval Augmented Generation(RAG) 연구 시스템의 실제 성능은 지난 12개월 동안 헤드라인을 장식한 마케팅 허세와 대중적인 수용도에 비해 현격히 낮다.

이 프로젝트는 21명의 전문가 목소리가 참여한 광범위한 설문 조사에 참여했으며, 연구된 RAG 시스템(You Chat, Bing Copilot, Perplexity)에서 최소 16개의 문제가 발견되었다.

1. 생성된 답변의 객관적인 세부 정보가 부족하여, 일반적인 요약과 문맥적인 깊이 또는 세부 사항이 없다.

2. 사용자 편향의 강화에서, RAG 엔진은 종종 다양한 관점을 제시하지 못하고, 사용자가 질문을 묻는 방식에 따라 사용자 편향을 추론하고 강화한다.

3. 과도한 자신감이 특히 주관적인 응답에서 나타나며, 이는 사용자가 답변을 더 신뢰하게 만든다.

4. 언어의 단순성과 비판적 사고 및 창의力的 결핍이 있다. 응답은 사용자를 단순화된 정보로 대신하고, 생각을 깊이 있게 분석하지 않는다.

5. 잘못된 출처가 있다. 답변 엔진은 자신의 응답을 지지하지 않는 출처를 인용하여, 신뢰성을 조작한다.

6. 질문의 맥락에서 정보를 선별한다. RAG 에이전트는 사용자가 듣고 싶은 것을 지원하는 답변을 찾는 것처럼 보이며, 객관적인 분석에 기반한 답변을 제공하지 않는다.

7. 지원하는 출처가 없는 문장이 있다. 응답의 출처가 없다.

8. 논리적인 스키마가 없다는 것으로, 사용자는 시스템이 특정 출처를 다른 출처보다 우선시하는 이유를 알 수 없다.

9. 출처의 수가 제한적이다. 대부분의 RAG 시스템은 성명에 대해 약 3개의 지원 출처를 제공한다.

10. 고아 출처가 있다. 시스템의 지원 출처 중 일부 또는 전체가 답변에 포함되지 않는다.

11. 신뢰할 수 없는 출처가 있다. 시스템은 사실적으로 정확한 출처보다 인기 있는 출처를 선호한다.

12. 중복된 출처가 있다. 시스템은 본질적으로 동일한 내용의 출처를 여러 번 인용한다.

13. 필터링되지 않은 출처가 있다. 시스템은 사용자가 제공된 출처를 평가하거나 필터링할 수 있는 방법을 제공하지 않는다.

14. 상호작용이나 탐색의 부족이 있다. 사용자들은 RAG 시스템이 질문을 명확히 하지 않고, 처음부터 사용자의 의도를 가정한다는 점에 불만을 느꼈다.

15. 외부 검증의 필요성이 있다. 사용자들은 제공된 응답을 독립적으로 검증해야 하는 필요성을 느낀다.

16. 학술적 인용 방법이 있다. 시스템은 학술적 인용 방법을 사용하여, 사용자에게 혼란을 줄 수 있다.

연구자들은 21명의 전문가(인공 지능, 의료, 응용 과학, 교육 및 사회 과학)를 모집하여, RAG 시스템을 테스트했다.

연구의 첫 번째 단계는 40분 동안 평균 6개의 검색 질문을 하는 것으로, 전문 지식 정보 검색에 중점을 두었다.

두 번째 단계는 주관적인 문제(생태학, 채식주의, 정치 등)에 대한 정보 검색에 중점을 두었다.

연구 결과, RAG 시스템은 다양한 관점을 제시하지 못하고, 사용자의 편향을 강화하는 경향이 있다.

또한, 시스템은 자신의 응답을 지지하지 않는 출처를 인용하고, 사용자에게 혼란을 줄 수 있는 학술적 인용 방법을 사용한다.

연구자들은 RAG 시스템의 이러한 문제점을 해결하기 위해, 새로운 지표를 제안하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

또한, 연구자들은 RAG 시스템의 자동화된 평가를 수행하여, 시스템의 성능을 평가했다.

결과는 RAG 시스템이 다양한 지표에서 좋지 않은 성능을 보였다는 것을 보여주었다.

연구자들은 RAG 시스템의 이러한 문제점을 해결하기 위해, 새로운 시스템을 개발하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

RAG 트레이드 오프

연구자들은 RAG 시스템의 네 가지 알려진 약점을 언급한다.

첫째, 시스템은 정보를 날조할 수 있다.

둘째, 시스템은 사실적인 불일치를 감지하지 못한다.

셋째, 시스템은 외부에서检索한 문서의 정확성을 평가하지 못한다.

넷째, 시스템은 자신의 사전 훈련된 가중치를 선호한다.

이러한 약점은 연구에서 확인되었다.

연구

연구는 두 단계로 진행되었다.

첫 번째 단계는 21명의 전문가가 RAG 시스템을 테스트하는 것으로, 사용자들이 시스템을 사용하는 동안 생각하는 과정을 말하게 하여, 연구자들이 사용자의 합리적인 스키마를 명확히 할 수 있도록 했다.

두 번째 단계는 자동화된 평가로, 브라우저 컨트롤 스위트를 사용하여 RAG 시스템을 테스트했다.

연구 결과, RAG 시스템은 다양한 지표에서 좋지 않은 성능을 보였다.

객관적인 세부 정보의 부족

연구자들은 RAG 시스템의 응답이 객관적인 세부 정보가 부족하다는 것을 발견했다.

사용자들은 시스템의 응답이 너무 단순하고, 객관적인 정보를 제공하지 않는다는 점에 불만을 느꼈다.

전체적인 관점의 부족

연구자들은 RAG 시스템이 다양한 관점을 제시하지 못한다는 것을 발견했다.

사용자들은 시스템의 응답이 사용자의 편향을 강화한다는 점에 불만을 느꼈다.

자신감 있는 언어

연구자들은 RAG 시스템의 응답이 자신감 있는 언어를 사용한다는 것을 발견했다.

사용자들은 시스템의 응답이 너무 자신감 있게 들리고, 사실적으로 정확한 정보를 제공하지 않는다는 점에 불만을 느꼈다.

잘못된 인용

연구자들은 RAG 시스템의 응답이 잘못된 인용을 포함한다는 것을 발견했다.

사용자들은 시스템의 응답이 자신의 응답을 지지하지 않는 출처를 인용한다는 점에 불만을 느꼈다.

질문의 맥락에서 정보를 선별

연구자들은 RAG 시스템이 질문의 맥락에서 정보를 선별한다는 것을 발견했다.

사용자들은 시스템의 응답이 사용자가 듣고 싶은 것을 지원하는 답변을 찾는 것처럼 보인다는 점에 불만을 느꼈다.

자동화된 RAG

연구자들은 RAG 시스템의 자동화된 평가를 수행하여, 시스템의 성능을 평가했다.

결과는 RAG 시스템이 다양한 지표에서 좋지 않은 성능을 보였다는 것을 보여주었다.

연구자들은 RAG 시스템의 이러한 문제점을 해결하기 위해, 새로운 시스템을 개발하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구는 RAG 시스템의 문제점을 해결하기 위한 새로운 지표를 제안하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구의 결과는 RAG 시스템의 성능을 평가하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구자들은 RAG 시스템의 문제점을 해결하기 위해, 새로운 시스템을 개발하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구는 RAG 시스템의 문제점을 해결하기 위한 새로운 지표를 제안하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구의 결과는 RAG 시스템의 성능을 평가하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구자들은 RAG 시스템의 문제점을 해결하기 위해, 새로운 시스템을 개발하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구는 RAG 시스템의 문제점을 해결하기 위한 새로운 지표를 제안하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.

연구의 결과는 RAG 시스템의 성능을 평가하고, 사용자들이 이러한 시스템을 사용할 때 주의를 기울여야 한다고 주장한다.