새로운 연구에서 RAG 시스템의 16가지 주요 문제 발견, 혼란 포함

최근 미국에서 실시된 연구에 따르면 인기 있는 제품의 실제 성능은 검색 증강 생성 Perplexity와 Bing Copilot 같은 (RAG) 연구 시스템은 지난 12개월 동안 헤드라인을 장식했던 마케팅 과대광고와 대중적 채택 모두에 크게 미치지 못했습니다.

21명의 전문가의 의견을 담은 광범위한 설문 조사 참여를 포함하는 이 프로젝트에서는 연구된 RAG 시스템(You Chat, Bing Copilot 및 Perplexity)이 우려를 야기하는 최소 16개 영역을 발견했습니다.

1: 생성된 답변에 객관적인 세부 정보가 부족합니다., 일반적인 요약과 문맥적 심도나 뉘앙스가 부족합니다.

2. 인식된 사용자 편향의 강화RAG 엔진은 다양한 관점을 제시하지 못하는 경우가 많고, 대신 사용자가 질문을 표현하는 방식을 기반으로 사용자의 편향을 추론하고 강화합니다.

3. 너무 자신감 넘치는 언어, 특히 경험적으로 입증할 수 없는 주관적인 응답의 경우, 사용자는 답변을 필요 이상으로 신뢰할 수 있습니다.

4: 단순한 언어와 비판적 사고 및 창의성의 부족, 사용자는 신중하게 생각한 사고와 분석 대신, '단순화'되고 '수용 가능한' 정보로 응답을 효과적으로 받습니다.

5: 출처를 잘못 인용하고 잘못 인용함 답변 엔진이 답변을 뒷받침하지 않는 인용된 출처를 사용하여 신뢰성의 환상을 조장하는 경우.

6: 추론된 맥락에서 정보를 선택적으로 추출 RAG 에이전트가 생성된 경합과 사용자의 추정을 뒷받침하는 답변을 찾는 것처럼 보이는 경우 듣고 싶어시스템의 '구운' LLM 데이터와 질의에 대한 응답으로 인터넷에서 바로 얻은 데이터 사이에 충돌이 있을 수 있음을 나타내는 신뢰할 수 있는 출처의 객관적인 분석에 근거하여 답변을 제공하는 대신.

7: 진술을 뒷받침하는 인용문 생략, 응답에 대한 출처 자료가 없습니다.

8: 응답에 대한 논리적 스키마를 제공하지 않음 사용자가 시스템이 특정 소스를 다른 소스보다 우선시하는 이유에 대해 의문을 제기할 수 없는 경우.

9: 제한된 수의 소스, 대부분의 RAG 시스템은 일반적으로 진술에 대한 뒷받침 자료를 약 3개 정도 제공하는데, 적용 가능한 자료의 다양성이 더 큰 경우에도 마찬가지입니다.

10 : 고아 소스, 시스템을 뒷받침하는 인용문의 일부 또는 전부에서 나온 데이터가 실제로 답변에 포함되지 않는 경우입니다.

11 : 신뢰할 수 없는 출처 사용 시스템이 사실적 정확성보다는 인기 있는(즉, SEO 측면에서) 소스를 선호하는 것으로 보이는 경우입니다.

12 : 중복된 소스, 시스템이 출처 논문의 내용이 본질적으로 동일한 여러 인용문을 제시하는 경우입니다.

13 : 필터링되지 않은 소스, 시스템이 사용자에게 제공된 인용문을 평가하거나 필터링할 방법을 제공하지 않아 사용자는 선택 기준을 신뢰할 수밖에 없습니다.

14 : 상호 작용성이나 탐색성이 부족함 여러 사용자 연구 참가자들은 RAG 시스템이 명확한 질문을 하지 않고 첫 번째 질문부터 사용자 의도를 추정한다는 점에 실망감을 표했다.

15 : 외부 검증의 필요성, 사용자가 제공된 응답에 대해 독립적으로 검증해야 한다는 강박감을 느껴 RAG가 '검색을 대체'한다는 편의성이 크게 감소했습니다.

16 :  학술적 인용 방법의 사용, 등 [1] or [34]; 이는 학계에서는 표준적인 관행이지만, 많은 사용자에게는 직관적이지 않을 수 있습니다.

이 작업을 위해 연구자들은 인공지능, 의료 및 의학, 응용 과학 및 교육, 사회 과학 분야의 전문가 21명을 모았는데, 모두 박사후 연구원 또는 박사 후보자였습니다. 참가자들은 테스트된 RAG 시스템과 상호 작용하면서 자신의 사고 과정을 큰 소리로 말하여 (연구자들을 위해) 자신의 합리적 체계를 명확히 했습니다.

이 논문에서는 연구 대상인 세 가지 시스템의 성능에 대한 참가자들의 의구심과 우려를 광범위하게 인용했습니다.

사용자 연구 방법론은 브라우저 제어 제품군을 사용하여 RAG 시스템에 대한 자동화 연구로 체계화되었습니다.

'You.com, Perplexity.ai, BingChat과 같은 시스템에 대한 대규모 자동 평가 결과, 환각 처리, 근거 없는 진술, 인용 정확도와 관련된 중요한 측면을 포함한 대부분의 측정 항목에서 허용 가능한 성과를 달성한 시스템이 없는 것으로 나타났습니다.'

저자들은 (27페이지 분량의 포괄적인 논문에서) 새 사용자와 숙련된 사용자 모두 연구된 RAG 시스템 클래스를 사용할 때 주의를 기울여야 한다고 자세히 주장합니다. 그들은 또한 연구에서 발견된 단점을 기반으로 미래에 더 큰 기술적 감독의 기반을 형성할 수 있는 새로운 메트릭 시스템을 제안합니다.

그러나, 성장하는 RAG 시스템의 대중적 사용은 저자로 하여금 에이전트 지원 AI 검색 인터페이스와 관련하여 적절한 법률과 보다 높은 수준의 시행 가능한 정부 정책을 옹호하게 만듭니다.

The 공부 펜실베이니아 주립 대학과 Salesforce의 5명의 연구원으로부터 나온 것이며 제목은 다음과 같습니다. AI 시대의 검색 엔진: 사실적이고 검증 가능한 출처 인용 응답의 허위 약속. 이 작업은 2024년 XNUMX월 현재 최신 RAG 시스템을 포괄합니다.

RAG 트레이드 오프

저자는 답변 엔진에서 대규모 언어 모델(LLM)을 사용하는 경우의 알려진 네 가지 단점을 반복하면서 자신의 연구를 시작합니다.

첫째, 그들은 ~하기 쉽습니다. 환각 정보, 그리고 능력이 부족합니다 사실의 불일치를 감지하다둘째, 그들은 어려움을 겪는다 정확도 평가 생성된 답변의 맥락에서 인용문의. 셋째, 그들은 경향이 있습니다 호의 데이터 자체 사전 훈련된 가중치에서 벗어나 외부에서 검색한 문서의 데이터를 저항할 수 있는데, 해당 데이터가 최신이거나 더 정확할 수도 있습니다.

마지막으로, RAG 시스템은 사람을 기쁘게 하는 경향이 있습니다. 아첨하는 행동종종 응답의 정보 정확성이 떨어지는 경우가 많습니다.

이러한 모든 경향은 RAG의 함정에 관한 많은 새로운 관찰과 더불어 연구의 두 측면에서 모두 확인되었습니다.

이 논문은 OpenAI의 검색GPT RAG 제품 (출시 지난주 구독자들에게 새로운 논문이 제출된 후, 설문 조사 결과가 암시하는 기본적인 단점에도 불구하고 RAG 기반 검색 시스템의 사용자 채택을 장려할 가능성이 높습니다.*:

OpenAI의 'SearchGPT' 출시는 '구글 검색 킬러', [우려]를 더욱 악화시킵니다. 이러한 도구에 대한 의존도가 커짐에 따라 그 영향을 이해해야 할 시급성도 커집니다. 린데  검색 쿼리를 단일의 권위 있는 응답으로 압축하고 정보의 맥락을 효과적으로 해제하고 범위를 좁혀서 다양한 답변에 대한 액세스를 제한하는 이러한 시스템을 비판하는 Sealed Knowledge 개념을 소개합니다. 사용자 전망.

'지식의 이러한 "봉인"은 선택 편향을 영속시키고 소외된 관점을 제한합니다.'

공부

저자는 LinkedIn이나 이메일 등을 통해 초대받은 24명의 참가자 중 XNUMX명을 대상으로 연구 절차를 먼저 테스트했습니다.

나머지 21개에 대한 첫 번째 단계는 다음과 같습니다. 전문성 정보 검색, 참가자들은 40분 세션 동안 평균 XNUMX개의 검색 문의를 했습니다. 이 섹션은 수집 및 검증에 집중했습니다. 사실에 근거한 질문과 답변, 잠재적인 경험적 해결책이 담겨 있습니다.

두 번째 단계 관련 토론 정보 검색, 대신 생태학, 채식주의, 정치 등의 주관적인 문제를 다루었습니다.

Perplexity(왼쪽)와 You Chat(오른쪽)에서 생성된 연구 답변입니다. 출처: https://arxiv.org/pdf/2410.22349

모든 시스템에서 생성된 답변을 뒷받침하는 인용문과 최소한 어느 정도의 상호 작용이 가능했기 때문에 연구 대상자들은 최대한 인터페이스와 상호 작용하도록 권장되었습니다.

두 경우 모두 참가자들은 RAG 시스템을 통해 문의 사항을 공식화하도록 요청받았습니다. 그리고 기존의 검색 엔진 (이 경우에는 구글).

세 가지 답변 엔진(You Chat, Bing Copilot, Perplexity)이 선택된 이유는 공개적으로 접근이 가능하기 때문입니다.

참가자 대부분은 다양한 빈도로 RAG 시스템을 이미 사용하고 있었습니다.

공간 제약으로 인해 이 연구에서 발견된 16가지의 철저하게 문서화된 주요 단점을 하나하나 분석할 수는 없지만, 여기서는 가장 흥미롭고 유익한 몇 가지 사례를 골라 제시하고자 합니다.

객관적인 세부 사항의 부족

이 논문은 사용자들이 시스템의 응답이 사실적 응답과 주관적 응답 모두에서 객관적인 세부 정보가 부족하다는 것을 자주 발견했다고 언급했습니다. 한 사람은 다음과 같이 논평했습니다.

'실제로 확실한 답변이나 더 잘 생각된 답변을 주지 않고 그저 대답만 하려고 했을 뿐인데, 이런 답변은 구글 검색을 여러 번 해서 얻을 수 있었습니다.'

또 다른 사람은 이렇게 관찰했습니다.

'너무 짧고 모든 것을 요약하고 있습니다. [모델은] 청구에 대한 데이터를 더 제공해야 하지만, 매우 요약되어 있습니다.'

전체론적 관점의 부족

저자들은 이러한 미묘함과 구체성이 부족한 데 대해 우려를 표명하며, 답변 엔진이 종종 어떤 주장에 대해서도 여러 관점을 제시하지 못하며, 질문을 사용자가 직접 표현한 방식에서 유추된 편견을 따르는 경향이 있다고 주장합니다.

한 참가자는 이렇게 말했습니다.

'저는 이 논쟁의 반대편에 대해 더 알아보고 싶습니다... 우리는 반대편과 증거, 사실을 모르기 때문에 이 모든 것에 대해 회의적입니다.'

또 다른 댓글:

'그것은 당신에게 논쟁의 양쪽을 다 알려주는 것이 아닙니다. 당신과 논쟁하는 것도 아닙니다. 대신, [모델은] 그저 당신에게 '당신이 옳아요... 그리고 그 이유는 다음과 같습니다'라고 말하고 있을 뿐입니다.'

자신감 있는 언어

저자들은 테스트된 세 시스템 모두 주관적인 문제를 다루는 응답에서도 지나치게 자신감 있는 언어를 사용하는 것으로 나타났습니다. 그들은 이런 어조가 응답에 부당한 자신감을 불러일으키는 경향이 있다고 주장합니다.

한 참가자는 다음과 같이 언급했습니다.

'너무 자신 있게 써서 출처를 보지 않고도 확신이 섰어요. 하지만 출처를 보면 나쁘고 그래서 다시 의심하게 돼요.'

또 다른 댓글:

'누군가가 정확한 정답을 모른다면, 그것이 틀렸을 때조차도 그것을 믿을 것입니다.'

잘못된 인용

또 다른 빈번한 문제는 RAG 시스템의 대응에 대한 권위로 인용된 출처를 잘못 인용한 것이었는데, 연구 대상자 중 한 명은 다음과 같이 주장했습니다.

'[이] 진술은 출처에 없는 듯합니다. 제 말은, 그 진술은 사실이며 타당합니다... 하지만 이 정보를 어디서 얻었는지도 모르겠습니다.'

새로운 논문의 저자는 다음과 같이 논평합니다. ^†:

'참가자들은 시스템이 인용문을 사용하여 답변을 정당화하다, 신뢰성의 환상을 만들어냈습니다. 이 외관은 소스를 면밀히 조사한 몇몇 사용자에게만 드러났습니다.'

쿼리에 맞는 정보 선택

RAG 응답에서 사람을 기쁘게 하려는 아첨하는 행동이라는 개념으로 돌아가서, 이 연구는 많은 답변이 주제를 포괄적으로 요약하는 대신 특정 관점을 강조한다는 것을 발견했습니다. 한 참가자가 관찰했듯이:

'저는 [시스템이] 조작적이라고 느낍니다. 약간의 정보만 있으면 저는 사물의 한 면만 보도록 조종당하는 것 같습니다.'

또 다른 사람은 다음과 같이 의견을 밝혔습니다.

"[해당 출처에는] 실제로 장단점이 모두 있는데, 전체 그림을 보지 않고 이 링크에서 필요한 주장만 골라냈습니다.'

더욱 심층적인 예(및 설문 참여자의 여러 비판적 인용문)를 보려면 출처 논문을 참조하시기 바랍니다.

자동화된 RAG

더 광범위한 연구의 두 번째 단계에서 연구자들은 브라우저 기반 스크립팅을 사용하여 연구 대상인 세 개의 RAG 엔진에서 체계적으로 문의를 요청했습니다. 그런 다음 LLM 시스템(GPT-4o)을 사용하여 시스템의 응답을 분석했습니다.

진술문은 분석되었습니다 쿼리 관련성 그리고 찬성 vs 반대 진술 (즉, 질의의 암묵적 편향에 대한 응답이 찬성인지, 반대인지, 중립인지 여부입니다.

An 답변 신뢰도 점수 이 자동화된 단계에서도 다음을 기준으로 평가되었습니다. 라이 커트 눈금 심리측정 테스트 방법. 여기서 LLM 심사위원은 두 명의 인간 주석자에 의해 증강되었습니다.

세 번째 작업에는 Jina.ai Reader 도구를 통해 인용된 웹 페이지의 전체 텍스트 콘텐츠를 얻기 위해 웹 스크래핑을 사용하는 것이 포함되었습니다. 그러나 논문의 다른 곳에서 언급했듯이 대부분의 웹 스크래핑 도구는 대부분의 사람들보다 더 이상 유료 사이트에 액세스할 수 없습니다(하지만 저자는 Perplexity.ai가 이 장벽을 우회하다).

추가적으로 고려해야 할 사항으로는 답변에 출처가 인용되었는지 여부(인용 행렬로 계산)와 4명의 인간 주석자의 도움을 받아 검증된 지표인 '사실적 뒷받침 행렬'이 있습니다.

따라서 8개의 포괄적인 측정항목이 얻어졌습니다. 일방적인 답변; 과신한 대답; 관련 진술; 인용되지 않은 출처; 지원되지 않는 진술; 출처 필수성; 인용 정확도및 인용 철저함.

이러한 지표를 테스트한 자료는 사용자 연구 단계에서 선별된 303개의 질문으로 구성되었으며, 테스트한 세 가지 시스템에서 총 909개의 답변이 나왔습니다.

8가지 측정 항목을 기반으로 테스트한 3가지 RAG 시스템에 대한 정량적 평가입니다.

결과에 관해 논문에서는 다음과 같이 기술합니다.

'답변 텍스트와 관련된 세 가지 지표를 살펴보면, 평가된 답변 엔진은 모두 종종(50-80%) 일방적인 답변을 생성하고, 답변에서 여러 관점을 제시하는 것보다는 토론 질문에 대한 설득력 있는 공식화에 동의하는 것을 선호하며, Perplexity는 다른 두 엔진보다 성과가 나빴습니다.

'이 발견은 우리의 정성적 결과의 [발견]과 일치합니다. 놀랍게도 Perplexity는 일방적인 답변을 생성할 가능성이 가장 높지만, 가장 긴 답변(답변당 평균 18.8개의 진술)도 생성합니다. 이는 답변 다양성의 부족이 답변의 간결함 때문이 아니라는 것을 나타냅니다.

'즉, 답변 길이를 늘리는 것이 반드시 답변 다양성을 향상하는 것은 아닙니다.'

저자들은 또한 Perplexity가 자신감 있는 언어(답변의 90%)를 사용할 가능성이 가장 높고, 이와 대조적으로 다른 두 시스템은 주관적인 내용이 영향을 미치는 경우 더 조심스럽고 자신감이 낮은 언어를 사용하는 경향이 있다고 지적합니다.

You Chat은 답변에 대한 인용되지 않은 소스가 전혀 없는 유일한 RAG 프레임워크였으며, Perplexity는 8%, Bing Chat은 36%를 기록했습니다.

모든 모델은 입증되지 않은 진술의 '상당한 비율'을 입증했으며 논문은 다음과 같이 선언합니다.^†:

'RAG 프레임워크는 LLM이 소스 문서를 기반으로 답변을 생성하도록 강제함으로써 LLM의 환각적 행동을 해결하도록 광고됩니다. 그러나 결과는 RAG 기반 답변 엔진이 여전히 제공된 출처에서 뒷받침되지 않는 진술이 상당 부분 포함된 답변을 생성한다는 것을 보여줍니다.'

또한, 테스트된 모든 시스템은 인용문으로 진술을 뒷받침하는 데 어려움을 겪었습니다.

'You.Com과 [Bing Chat]은 Perplexity보다 성과가 약간 더 좋았으며, 약 2/3의 인용문이 인용된 진술을 뒷받침하는 출처를 가리키고 있고, Perplexity는 절반 이상의 인용문이 부정확하여 성과가 더 나빴습니다.

'이 결과는 놀랍습니다. 인용은 어떤 (출처)에서도 뒷받침되지 않는 진술에 대한 것이 아닐 뿐만 아니라, 진술을 뒷받침하는 출처가 존재하더라도 모든 엔진이 여전히 다른 잘못된 출처를 인용하는 경우가 많아 사용자에게 올바른 정보 출처를 제공할 기회를 놓치고 있습니다.

'다시 말해, 환각적 행동은 출처에 의해 뒷받침되지 않는 진술뿐만 아니라 사용자가 정보의 유효성을 검증할 수 없는 부정확한 인용에서도 나타납니다.'

저자들은 다음과 같이 결론 지었다.

'어느 답변 엔진도 대부분의 측정 항목에서 좋은 성과를 거두지 못했습니다. 이는 답변 엔진에 개선의 여지가 크다는 것을 보여줍니다.'

* 저자의 인라인 인용문을 하이퍼링크로 변환합니다. 필요한 경우, 서식의 실용성 때문에 하이퍼링크에 여러 인용문 중 첫 번째 인용문을 선택했습니다.

^† 저자의 강조이지 내 강조가 아닙니다.

4년 2024월 XNUMX일 월요일 첫 게시