AI는 읽어본 적도 없는 웹페이지를 자주 인용한다

하루 동안 쏟아지는 연구 논문 가운데 때로는 정말 화가 치미는 논문이 나온다. 부정확하거나 불쾌해서가 아니라, 오랫동안 막연하고 구체적이지 않은 형태로 의식의 주변부를 맴돌며 나를 성가시게 했던 일을 포착해 연구하기 때문이다. 어쩌면 너무 바빠서 그 문제를 무시하는 것 말고는 아무것도 할 수 없었기 때문일지도 모른다.

오늘 런던 임페리얼 칼리지 컴퓨팅학과 소속 연구자 세 명이 그런 논문을 발표했다. 제목은 검색 결과는 가져왔지만 읽지는 않았다: 검색 증강 대규모 언어 모델이 이용 가능한 근거를 활용하지 못하는 이유다. 이 연구는 대규모 언어 모델(대규모 언어 모델)이 뒷받침 자료라며 관련 없는 논문 인용이나 신빙성 없는 웹 문서 링크 등 URL을 자주 제시하면서도 정작 그 내용을 읽지 않는 이유를 조사한다.

저자들은 다음과 같이 밝혔다.

“모델은 출처 페이지를 열어보지 않고 검색 결과 요약문만으로 답하는 경우가 많으며, 이러한 행동은 오래된 답변과 충실하지 않은 인용이 늘어나는 것과 관련이 있음을 확인했다. 통제 실험과 층별 분석을 통해 근거를 이용할 수 있는 상태와 실제로 효과적으로 활용하는 것 사이에 간극이 있음을 밝혀냈다.

“검색으로 가져온 근거가 내부 예측에 영향을 주더라도, 모델은 최종 답변에서 여전히 오래된 정보를 선호할 수 있다.”

연구진은 독점형 대규모 언어 모델 하나(OpenAI의 GPT-5.6 Luna)와 가중치를 공개한 모델 구성 여섯 가지를 대상으로, 모델의 학습 데이터 기준 시점 이후 바뀐 사실 수백 가지를 테스트했다.

그런 다음 시스템이 출처 페이지를 열어보는 대신 검색 결과 요약문에 얼마나 자주 의존하는지, 이것이 답변과 인용의 정확성에 어떤 영향을 미치는지, 그리고 새로운 근거를 직접 제공했는데도 오래된 정보가 때때로 우세한 이유가 무엇인지 살펴봤다.

테스트 결과, 모델은 웹 검색으로 표시된 페이지를 하나도 열지 않은 채 질문에 답하는 경우가 많았으며, 이러한 행동은 오래된 답변과 오해를 부르는 인용이 크게 늘어나는 것과 관련이 있었다.

AI 모델이 실제로 읽지도 않은 웹 자료를 얼마나 자주 인용하는지 보여주는 테스트 결과. 연구진은 여덟 가지 구성에서 답변 정확도, 출처 페이지를 열지 않고 검색 결과 요약문에 의존하는 정도, 모델의 주장을 반박하는 인용의 비율을 측정했다. 일부 경우에는 검색의 절반이 넘는 횟수에서 페이지를 단 하나도 열지 않았다. 모든 수치는 백분율이며, 첫 번째 행은 실시간 웹 검색을 사용하고 나머지 행은 표준화된 검색 결과를 사용한다. 출처

연구진은 올바른 근거를 직접 제공하면 이러한 실패를 상당히 줄일 수 있다는 점도 확인했다. 다만 새로운 사실을 바로 제시했는데도 일부 모델은 여전히 오래된 정보를 선호했다.

숨겨진 동기?

대규모 언어 모델이 ‘그럴듯하게 들리지만 적절하지 않은’ 참고 자료를 우리에게 자주 쏟아내는 가장 뻔한 이유는 두 가지다. a) 실제 자료를 내려받고 읽는 데는 대역폭과 시간이 들고, 요약문조차 제공되지 않을 수 있으므로 비용을 아낄 수 있다. b) 더 나은 답변을 조금 늦게 주는 것보다 틀리거나 반쯤 틀린 답변을 빨리 제공하는 편이 낫다는 듯, 응답 지연 시간을 줄일 수 있다.

그러나 이번 연구의 저자들은 이러한 품질 저하가 애초에 어떻게 설계되거나 미리 구상되었는지보다는, 그 기저에 있는 작동 원리를 규명하는 데 더 관심이 있다.

지금까지 최첨단 모델과 대규모 언어 모델의 규모의 경제에 관해 나눈 대화를 돌아보면, 놀랍지도 않게 내가 받은 답변은 미리 정해진 방어적 대응이라고밖에 생각할 수 없다.

적어도 내게는 이런 식으로 대규모 언어 모델의 인용 행태를 이용하는 일이 규모의 경제 측면에서 타당해 보인다. 하지만 실제 기술은 아직 파악되지 않은 부분이 많고, 변화가 매우 빠르며, 이례적인 결과가 나올 가능성도 커서 지금으로서는 그런 동기가 있다고 입증하기 어렵다.

연구 방법

모델이 웹 근거를 실제로 얼마나 잘 활용하는지 테스트하기 위해 연구진은 테스트 대상 모델 가운데 가장 최근의 학습 데이터 기준 시점인 2026년 2월 16일 이후 바뀐 사실 225개를 수집했다.

사실 자료는 FDA 의약품 정보(62개), 금융(52개), 스포츠(47개), 인물(43개), SEC 공시(13개), 화학물질 분류(8개)에서 가져왔다. 기준 시점까지 이미 효력이 발생했거나 2월 1일 전에 발표된 변경 사항은 제외했으며, 일반 지식으로 답할 수 있는 의학적 주장도 제외했다. 변경되지 않은 사실도 대조군으로 사용해 연구진은 새로운 정보와 관련된 실패를 더 일반적인 오류와 구분할 수 있었다.

기준선을 설정하기 위해 GPT-5.6 Luna를 웹 검색에 접근할 수 없는 상태로 테스트한 결과, 변경된 사실에 관한 질문 103개 중 23.3%에만 정답을 맞혔다.

앞서 언급한 데이터 세트의 FDA 표시 문구 조항을 각각 테스트할 수 있는 사실 진술로 다시 작성하는 데 출처가 명시되지 않은 AI 모델을 사용했으며, 각 진술은 이후 수동으로 검토했다*.

테스트한 오픈 웨이트 모델 구성은 Z.ai의 GLM-5.3-Flash, OpenAI의 gpt-oss-120b 및 gpt-oss-20b, 추론 기능을 켜거나 끈 두 가지 방식으로 테스트한 Google DeepMind의 gemma-4-31b, 그리고 Qwen의 qwen3-8b였다.

오픈 웨이트 모델과 GPT-5.6 Luna에는 동일한 웹 검색 결과를 제공해 응답을 공정하게 비교할 수 있도록 했다. Luna는 자체 내장 웹 검색 기능을 사용해 별도로 테스트하기도 했다.

225개 사실 중 223개에 대해서는 Brave Search를 사용해 검색 결과 10개를 미리 수집했다. 모든 모델에 동일한 결과를 제공했으며, 동일한 도구를 사용해 페이지를 열거나 페이지 내에서 검색할 수 있도록 했다.

‘정답’이 포함된 페이지는 항상 이용할 수 있도록 했다. 해당 페이지가 자연스럽게 상위 10개 검색 결과에 포함된 경우에는 순위를 바꾸지 않았고, 그렇지 않은 경우에는 사전에 정한 순위에 삽입했다. 이를 통해 연구진은 비교 가능한 조건에서 모델이 이용 가능한 근거를 어떻게 활용하는지 살펴볼 수 있었다.

테스트의 일관성을 높이기 위해 해당 설정을 지원하는 모델에서는 온도를 0으로 설정했으며, 실험 내내 각 모델을 동일한 제공업체를 통해 실행했다.

프롬프트 구성

사실을 테스트하는 데 사용한 프롬프트는 두 가지였다. 첫 번째는 ‘베르나르두 실바는 어느 구단에서 뛰나요?’와 같은 개방형 질문을 출처 요청과 함께 또는 출처 요청 없이 제시하는 방식이었다. 두 번째는 현재 정보가 담긴 진술이나 오래된 정보가 담긴 진술의 사실 여부를 모델에 확인하도록 해, 두 버전이 각각 어떻게 처리되는지 비교하는 방식이었다.

통합 결과에는 네 가지 프롬프트 유형을 추가로 사용했다. 단서를 포함한 개방형 질문, 인용문을 요청하는 프롬프트, 제시된 주장을 뒷받침하는 인용 출처를 요청하는 프롬프트, 그리고 여러 개의 올바른 진술 중 오래된 진술 하나를 찾아내도록 모델에 요구하는 팩트 시트 확인이다.

축구 선수 베르나르두 실바에 관한 질문과 주장을 바탕으로 모델 테스트에 실제로 사용한 프롬프트의 예시. 표는 답변, 사실 확인, 인용문, 출처 인용을 각각 요청하는 방식으로 동일한 사실 문제를 어떻게 제시했는지 보여 준다. 모든 프롬프트는 2026년 8월 8일이라는 날짜로 시작했으며, 대부분 표 아래에 알파벳으로 표시된 지침에 명시된 표준화된 최종 답변을 요구했다.

모든 프롬프트에는 날짜가 명시되어 있었고, 대부분은 고정된 형식의 답변을 요구했다. 이 형식에서는 ‘확인할 수 없음‘이라고 답할 수 있었으므로, 사람이나 LLM의 판정 없이도 결과를 채점할 수 있었다.

사용한 지표는 자료 열람 깊이(원문 페이지를 열고 인용했는지 여부), 답변 정확도(답변을 보류한 경우를 제외한 정답 비율), 그리고 인용 충실도(인용한 페이지가 모델의 주장을 반박하는지 여부)였다.

가능한 경우 채점을 자동화했다. 출처 인용은 보관된 페이지의 정확한 구절로 뒷받침되는 경우에만 (출처가 명시되지 않은) LLM이 승인할 수 있도록 했으며, 해석이 필요한 부정적 평가는 사람인 검토자가 맡았다. 또한 변경되지 않은 통제 사실을 사용해 각 모델의 기준 인용 오류율을 산출했다.

결과

초기 테스트(이 기사의 앞부분에 제시)에서는 웹 검색을 이용할 수 있을 때 모델의 정답률이 높아졌다. 사실 진술이 정확한지 확인하는 테스트에서는 점수가 27~42퍼센트포인트 상승했다. 질문에 직접 답할 때는 85.8~95.4%의 경우 정답을 제시했다.

그러나 많은 답변은 모델이 검색 결과에 나온 웹사이트를 실제로 방문하지 않은 채 생성됐다. 대신 검색 결과 옆에 표시되는 짧은 텍스트 발췌문에 의존했다. 동일한 검색 결과를 제공받았더라도, 모델에 따라 페이지를 하나도 열지 않은 검색의 비율은 2.6%에서 76%까지 달랐다.

이런 맥락에서 GPT-5.6 Luna는 특히 노력을 거의 들이지 않은 성능을 보였다.

‘동일한 검색 결과를 제공받은 모델은 페이지를 하나도 열지 않은 채 에피소드의 2.6~76.0%에 답합니다. 자체 검색 기능을 사용한 Luna는 에피소드의 53.6%에 대해 검색 결과 발췌문만으로 답합니다.‘

모델이 검색 결과를 얼마나 철저히 살펴봤는지에 따라 오래된 답변과 오해를 부르는 인용을 비교한 테스트 결과. ‘스니펫’은 웹페이지를 열지 않았다는 뜻이고, ‘열람’은 페이지를 열었지만 인용하지 않았다는 뜻이며, ‘통합’은 페이지를 열어 인용했다는 뜻입니다. 모든 수치는 7가지 모델 구성과 모든 프롬프트 유형을 통합한 백분율입니다. 모델이 검색 스니펫에만 의존했을 때 오류가 대체로 더 자주 발생했습니다.

7가지 모델 구성 전체에서 스니펫만 보고 답한 경우 오래된 답변의 비율은 6.4%였으며, 페이지를 열어 인용한 경우에는 1.3%였습니다. 위에서 보인 것처럼 오해를 부르는 인용도 6.4% 대 2.3%로, 스니펫만 보고 답했을 때 더 자주 나타났습니다. 스포츠 관련 질문에서는 오픈 웨이트 모델의 오래된 답변 비율이 20.2%에 달한 반면, 비교 대상은 2.1%였습니다. 답변이 오래된 정보에 기반한 경우, 해당 주장을 뒷받침하는 인용의 81.8%가 그 주장과 모순됐습니다. 최신 정보에 기반한 답변의 경우 이 비율은 0.9%에 불과했습니다. 사실 자료를 활용한 테스트에서도 비슷한 양상이 나타났습니다.

실질적으로 이는 연구 대상 AI 모델이 실제 웹페이지를 읽는 대신 검색 결과에 표시된 짧은 설명에 의존할 때 오답을 내놓을 가능성이 더 높다는 뜻입니다. 더 심각한 문제는 때때로 자신의 답변이 틀렸음을 입증하는 페이지를 링크하기도 한다는 점입니다.

공통된 실패 양상

이 테스트에 사용된 모델 선정이 ‘집단적 이상치’가 아니라면, 폐쇄형이든 오픈 소스든 다른 모델들도 이와 같은 문제의 영향을 받는다고 보는 것이 합리적입니다. 실제로 GPT-5.6 Luna의 실시간 웹 검색에서 관찰된 9가지 실패 유형 가운데 7가지는 다른 모델을 동일한 고정 검색 결과로 테스트했을 때 나타난 실패와 유의미한 연관성을 보였습니다. 이는 문제가 Luna에만 국한되지 않았음을 시사합니다.

정확한 위키백과 페이지를 직접 제공하자 오래된 답변으로 인한 실패가 줄었습니다. gemma-4-31b는 14건에서 0건으로, gpt-oss-20b는 11건에서 1건으로, qwen3-8b는 16건에서 8건으로 감소했습니다. 각 페이지를 연 뒤 원래 질문을 다시 제시한 경우에는 이전에 실패한 사실 자료 확인 테스트의 26.1%에서 답변이 바로잡혔습니다.

서로 다른 조건에서 gemma-4-31b, gpt-oss-20b, qwen3-8b가 오래된 주장을 얼마나 자주 받아들였는지 보여 주는 결과입니다. 동일한 근거를 제공하지 않거나, 프롬프트에 직접 제시하거나, 검색 결과를 통해 이용할 수 있게 했으며, 별도의 테스트에서는 근거가 되는 출처를 요청했습니다. 모델이 직접 찾도록 하는 것보다 정확한 페이지를 직접 제공하는 편이 훨씬 효과적이었습니다. 수치는 전체 테스트 수 대비 실패 건수를 나타냅니다.

구단 규정

마지막으로 연구진은 AI가 때때로 정확한 정보를 무시하는 이유를 더 잘 이해하고자, 구단을 옮긴 축구 선수들을 대상으로 오픈 웨이트 모델 3가지를 테스트했습니다. 사용된 모델은 gpt-oss-20b, gemma-4-31b, qwen3-8b였습니다.

각 모델에 선수의 소속 구단에 관한 오래된 정보를 제공하고, 경우에 따라 정확한 위키백과 페이지도 함께 제시한 뒤, 처리 과정에서 어느 답변을 더 선호하는지 살펴봤습니다.

모델은 정확한 구단을 알아볼 수는 있었지만, 여전히 잘못된 답변을 내놓을 수 있는 것으로 나타났습니다:

답변을 만드는 과정에서 qwen3-8b가 정확한 구단과 오래된 구단 정보를 어떻게 평가했는지 보여 주는 테스트 결과입니다. 왼쪽 그래프는 정확한 구단 정보가 계속 우위를 유지한 성공 사례를 보여 주고, 오른쪽 그래프는 최종 처리 단계에서 오래된 구단 정보가 정확한 정보를 앞지른 실패 사례를 보여 줍니다. 음영 영역은 테스트마다 결과가 달랐음을 나타냅니다.

qwen3-8b에서는 내부 처리 과정에서 정확한 구단 정보가 앞서기도 했지만, 답변을 내놓기 직전에 오래된 정보가 이를 앞지르는 경우가 있었습니다(위 참조). gpt-oss-20b에서도 비슷한 양상이 나타났고, gemma-4-31b는 처리 과정 전반에 걸쳐 대체로 ‘오래된’ 구단 정보를 더 선호했습니다.

따라서 정확한 근거를 이용할 수 있고 모델이 이를 인식하더라도, 최종 답변에서는 오래된 정보에 밀릴 수 있는 것으로 보입니다.

결론적으로 저자들은 모델이 검색 결과의 요약문에 의존하기보다 검색해 찾아낸 웹 페이지를 더 잘 활용해야 한다고 제안한다. 또한 모델이 정답을 알고도 때때로 오래된 정보에 매달리는 이유와, 모델이 정보를 처리하는 방식을 바꾸면 도움이 될 수 있는지도 알아보고자 한다. 그러나 확실한 해결책은 제시하지 않는다.

결론

새 논문은 몇 가지 가치 있는 통찰을 제공하지만, LLM이 인용과 참고 문헌을 그토록 무심하게 사용하는 이유는 설명하지 않는다. 소비자이자 나름대로 패턴을 합리적으로 분석하는 사람으로서, 내가 쓰는 LLM은 다른…추천 사이트들이 추천한다는 이유로 논문이나 URL을 추천하는 것 같다는 인상을 받는다…? 그렇다면 권위가 있다는 느낌은 실제로 어디에서 비롯되는 걸까?

사실 AI가 등장하기 전에도 우리가 해결하지 못한 문제였으니, LLM이 비용이나 지연 시간을 줄이는 게 아니라 우리가 ‘진실’이라고 믿고 싶어 하는 똑같은 중국발 소문을 퍼뜨리는 것으로 드러나더라도 그리 놀랍지는 않을 것이다.

* 이 검토를 누가 수행했는지는 논문에 명시되어 있지 않다.

최초 게시일: 2026년 10월 16일 금요일