AI 벤치마크가 모델에 거짓말을 가르치는 경우

AI 환각 — 시스템이 정답처럼 들리지만 실제로는 틀린 답변을 생성하는 경우 — 는 여전히 인공지능 분야에서 가장 어려운 과제 중 하나로 남아 있습니다. 오늘날 가장 발전된 모델들조차도, 딥시크-V3, 야마, 그리고 OpenAI의 최신 출시, 여전히 높은 신뢰도로 부정확한 정보를 생산합니다. 의료나 법률 분야에서는 이러한 실수가 심각한 결과를 초래할 수 있습니다.

전통적으로 환각은 다음과 같이 여겨져 왔습니다. 부산물 대규모 언어 모델이 어떻게 훈련되는지에 대한 이야기입니다. 모델은 정보가 사실인지 확인하지 않고 다음에 나올 가능성이 가장 높은 단어를 예측하는 법을 배웁니다. 하지만 새로운 연구 이 문제가 학습에서 끝나지 않을 수 있음을 시사합니다. AI 성능을 테스트하고 비교하는 데 사용되는 벤치마크가 실제로는 오해의 소지가 있는 행동을 강화하여, 정답보다는 설득력 있게 들리는 답변을 장려할 수 있습니다.

이러한 관점의 변화는 문제를 재구성합니다. 만약 모델이 진실을 말하는 대신 테스트를 만족시키도록 훈련된다면, 환각은 우연한 결함이 아니라 학습된 전략입니다. 왜 이런 일이 발생하는지 이해하려면 AI 모델이 자신의 무지를 인정하기보다는 추측을 선택하는 이유를 살펴봐야 합니다.

AI 모델이 추측하는 이유

AI 모델이 왜 모른다고 인정하는 대신 추측하는 경우가 많은지 알아보기 위해, 어려운 시험 문제를 맞힌 학생을 생각해 보겠습니다. 학생은 두 가지 선택지를 가지고 있습니다. 답을 비워두고 0점을 받거나, 학식 있는 추측을 해서 점수를 받는 것입니다. 이성적으로 생각해 보면, 적어도 맞을 가능성이 있기 때문에 추측하는 것이 더 나은 선택처럼 보입니다.

AI 모델도 평가 과정에서 비슷한 상황에 직면합니다. 대부분의 벤치마크는 이진 채점 시스템을 사용합니다. 정답은 점수를 획득하고, 오답이나 불확실한 답변은 점수를 획득하지 못합니다. 모델에게 "연구자의 생년월일은 언제인가요?"라는 질문을 했을 때, 모델이 정말로 모른다면 "모르겠습니다"라고 답하는 것은 실패로 간주됩니다. 그러나 날짜를 조작하는 것은 정답일 가능성이 있으며, 설령 틀렸다 하더라도 시스템은 침묵을 처벌하는 것처럼 확신에 찬 추측을 처벌하지 않습니다.

이러한 역학은 환각을 제거하기 위한 광범위한 연구에도 불구하고 환각이 지속되는 이유를 설명합니다. 모델이 잘못 작동하는 것이 아니라, 평가에 내재된 인센티브를 따르고 있는 것입니다. 모델들은 답이 틀렸을 때에도 자신감 있게 말하는 것이 점수를 높이는 최선의 방법이라는 것을 학습합니다. 결과적으로, 모델은 불확실성을 표현하는 대신, 옳든 그르든 권위 있는 진술을 하도록 강요받습니다.

AI 부정직의 수학적 기초

The 연구 환각은 언어 모델이 학습하는 방식의 수학적 원리에서 발생한다는 것을 보여줍니다. 모델이 완벽하게 정확한 정보로만 학습되더라도, 통계적 목표는 여전히 오류를 야기할 것입니다. 정답을 도출하는 것이 정답의 타당성을 판단하는 것보다 근본적으로 어렵기 때문입니다.

이는 모델이 생일이나 기타 고유한 세부 정보와 같이 명확한 패턴이 없는 사실에서 종종 실패하는 이유를 설명하는 데 도움이 됩니다. 수학적 분석에 따르면 이러한 경우 환각 발생률은 훈련 데이터에 한 번만 등장하는 사실의 비율만큼 높을 것입니다. 다시 말해, 데이터 내 정보가 드물수록 모델이 해당 정보를 처리하는 데 어려움을 겪을 가능성이 높습니다.

문제는 드문 사실에만 국한되지 않습니다. 제한된 모델 용량이나 아키텍처 설계와 같은 구조적 제약 또한 체계적인 오류를 발생시킵니다. 예를 들어, 매우 짧은 컨텍스트 윈도우를 가진 이전 모델들은 장기 추론을 요구하는 작업에서 지속적으로 실패했습니다. 이러한 오류는 무작위적인 결함이 아니라 모델의 수학적 프레임워크에서 예측 가능한 결과였습니다.

왜 사후 훈련이 문제를 해결하지 못하는가

AI 모델이 방대한 텍스트 데이터셋으로 훈련되면, 일반적으로 출력 결과를 더 유용하고 덜 해롭게 만들기 위해 미세 조정을 거칩니다. 하지만 이 과정은 애초에 환각을 유발하는 것과 동일한 핵심 문제에 직면합니다. 바로 모델을 평가하는 방식입니다.

가장 일반적인 미세 훈련 방법은 다음과 같습니다. 사람의 피드백을 통한 강화 학습, 여전히 이진 점수 체계를 사용하는 벤치마크에 의존하고 있습니다. 이러한 벤치마크는 모델이 확신에 찬 답변을 할 때 보상을 제공하는 반면, 모델이 모른다고 인정할 때는 아무런 점수도 부여하지 않습니다. 결과적으로, 틀렸을 때에도 항상 확실하게 응답하는 시스템은 불확실성을 솔직하게 표현하는 시스템보다 더 나은 성과를 낼 수 있습니다.

연구자들은 이를 불확실성에 대한 처벌 문제라고 부릅니다. 환각을 감지하거나 감소시키는 첨단 기술조차도 기본 기준이 과신을 계속 부추길 경우 어려움을 겪습니다. 다시 말해, 해결책이 아무리 정교하더라도 평가 시스템이 확신에 찬 추측을 보상하는 한, 모델은 의심에 대한 진실된 인정보다는 틀렸지만 확실한 답에 편향될 것입니다.

진보의 환상

AI 커뮤니티에서 널리 공유되는 리더보드는 이 문제를 더욱 심화시킵니다. 다음과 같은 벤치마크는 MMLU, GPQA및 SWE 벤치 연구 논문과 제품 발표에서 압도적인 우위를 점하고 있습니다. 기업들은 빠른 진전을 보여주기 위해 점수를 강조합니다. 그러나 보고서에서 지적했듯이, 이러한 벤치마크 자체가 환각을 조장합니다.

"모르겠습니다"라고 솔직하게 말하는 모델은 실제 환경에서는 더 안전할 수 있지만 순위표에서 낮은 순위를 차지할 것입니다. 반대로, 설득력 있지만 거짓인 답변을 만들어내는 모델은 더 높은 점수를 받을 것입니다. 도입, 투자, 그리고 명성이 순위표에 좌우될 때, 발전 방향은 왜곡됩니다. 대중은 끊임없는 개선이라는 이야기를 듣지만, 실제로는 모델들이 속이도록 훈련받고 있는 것입니다.

AI에서 정직한 불확실성이 중요한 이유

환각은 단순한 연구 과제가 아니라 실제 세계에 미치는 영향을 미칩니다. 의료 분야에서 약물 상호작용을 조작하는 모델은 의사를 오도할 수 있습니다. 교육 분야에서 역사적 사실을 조작하는 모델은 학생들에게 잘못된 정보를 제공할 수 있습니다. 언론 분야에서는 거짓이지만 설득력 있는 인용문을 생성하는 챗봇이 허위 정보를 퍼뜨릴 수 있습니다. 이러한 위험은 이미 가시화되고 있습니다. 스탠포드 AI 인덱스 2025 환각 측정을 위해 설계된 벤치마크는 AI 도입이 가속화되고 있음에도 불구하고 "인기를 얻는 데 어려움을 겪고 있다"고 보고했습니다. 한편, 순위표를 장악하고 자신 있지만 신뢰할 수 없는 답변에 보상을 제공하는 벤치마크는 계속해서 발전 방향을 제시하고 있습니다.

이러한 결과는 도전과 기회 모두를 보여줍니다. 연구자들은 환각의 수학적 근원을 탐구함으로써 더욱 신뢰할 수 있는 AI 시스템을 구축하기 위한 명확한 방향을 제시했습니다. 핵심은 불확실성을 결함으로 취급하는 대신, 측정하고 보상해야 할 필수적인 역량으로 인식하는 것입니다.

이러한 관점의 변화는 환각 감소 이상의 의미를 지닙니다. 자신의 지식 한계를 정확하게 평가하고 전달할 수 있는 AI 시스템은 과신이 심각한 위험을 초래하는 고위험 분야에 더 적합할 것입니다. 의학적 진단, 법적 분석, 그리고 과학적 연구는 모두 확신에 찬 지식과 정보에 기반한 추측을 구분할 수 있는 능력을 요구합니다.

정직한 AI를 위한 평가 재고

이러한 결과는 더욱 신뢰할 수 있는 AI를 구축하려면 AI 역량 측정 방식을 재고해야 함을 시사합니다. 평가 프레임워크는 단순히 옳고 그름을 판단하는 데 의존하는 대신, 불확실성을 적절하게 표현하는 모델에 보상을 제공해야 합니다. 즉, 벤치마크 지침 내에서 신뢰도 임계값과 그에 따른 점수 체계에 대한 명확한 지침을 제공해야 합니다.

한 가지 유망한 접근법은 모델이 언제 응답해야 하고 언제 응답하지 않아야 하는지를 명시하는 명확한 신뢰도 목표를 설정하는 것입니다. 예를 들어, 신뢰도가 특정 임계값을 초과할 때만 답변을 제공하고, 그에 따라 점수를 조정하도록 지침을 설정할 수 있습니다. 이러한 설정에서 불확실성은 더 이상 약점이 아니라 책임감 있는 행동의 중요한 부분입니다.

핵심은 신뢰도 요건을 암묵적이 아닌 투명하게 만드는 것입니다. 현재 벤치마크는 불확실성에 대한 숨겨진 페널티를 발생시키며, 모델은 이를 회피하도록 학습합니다. 명시적인 신뢰도 목표를 통해 모델은 실제로 원하는 동작, 즉 확신이 있을 때는 정확한 답을, 지식이 부족할 때는 불확실성을 솔직하게 인정하는 동작을 최적화할 수 있습니다.

히프 라인

AI 환각은 무작위적인 결함이 아니라, 발전 정도를 측정하는 데 사용되는 바로 그 기준에 의해 더욱 강화됩니다. 현재의 평가 시스템은 정직한 불확실성보다 확신에 찬 추측에 보상을 제공함으로써, 모델을 신뢰성보다는 기만적인 방향으로 이끌고 있습니다. 의료, 법률, 과학과 같이 위험도가 높은 분야에서 신뢰할 수 있는 AI를 원한다면, AI를 테스트하고 보상하는 방식을 재고해야 합니다. 발전은 단순히 정확도뿐 아니라, 모델이 모르는 것을 인식하고 인정하는 능력으로 측정되어야 합니다.