Anderson의 관점

AI는 테스트 중인지 알면 다르게 행동한다, 연구 결과

mm
게시일
업데이트일
Unite.AI를 Google의 선호 소스에 추가
ChatGPT-40, Adobe Firefly, Flux.1 Kontext Pro.

2015년 ‘디젤ゲ이트’ 스캔들과 같은 새로운 연구에 따르면 GPT-4, Claude, Gemini와 같은 AI 언어 모델은 테스트 중일 때 행동을 변경할 수 있으며, 때때로 테스트보다 실제 사용에서 더 ‘안전’하게 행동할 수 있다고 합니다. LLM이 테스트 중인지 인식하는 경향이 있다면, 안전성 감사는 실제 사용과 매우 다르게 행동하는 시스템을 인증할 수 있습니다.

 

2015년, 조사관들은 보퐁이 수백만 대의 디젤 자동차에 테스트 중인지 감지할 수 있는 소프트웨어를 설치하여 법적 기준을 준수하는 것처럼 보이게 했다는 것을 발견했습니다. 그러나 정상적인 운전 중에는 법적 기준을 초과하는 오염 물질을 배출했습니다. 의도적인 조작은 범죄적 혐의, 수십억 달러의 벌금, 그리고 안전성 및 준수 테스트의 신뢰성에 대한 세계적인 스캔들을 초래했습니다.

이 사건이 발생하기 2년 전, 삼성은 Galaxy Note 3 스마트폰에서 유사한 기만적인 메커니즘을 구현했다는 것이 밝혀졌습니다. 그 이후, Huawei와 OnePlus에서도 유사한 스캔들이 발생했습니다.

현재, LLM이 테스트 중인지 인식할 수 있으며, 테스트 중일 때 행동을 변경할 수 있다는 증거가 과학 문헌에서 증가하고 있습니다.

이것은 매우 인간적인 특성입니다. 그러나最新의 연구에 따르면, 이것은 장기적으로 위험한 습관일 수 있으며, 다양한 이유로 인해 vậy입니다.

새로운 연구에서, 연구자들은 ‘프론티어 모델’인 GPT-4, Claude, Gemini가 테스트 중인지 감지할 수 있으며, 행동을 변경할 수 있다고 발견했습니다. 이것은 시스템적 테스트 방법의 타당성을 손상시킬 수 있습니다.

이 연구는 평가 인식이라고 불리는 LLM의 특성을 발견했습니다. 이것은 평가 결과의 정확성을 부정적으로影响할 수 있습니다.

‘[우리는] 평가 인식을 새로운 분포 이동의 원인으로 간주해야 한다고 추천합니다. 이것은 테스트와 실제 사용 사이에서 발생할 수 있으며, 평가 결과의 정확성을 부정적으로 영향할 수 있습니다.’

‘최악의 경우, 모델은 평가에서 의도적으로 성능을 낮출 수 있습니다. 이것은 모델의 안전성을 과대평가할 수 있습니다.’

다른 연구에서도 유사한 행동을 관찰했습니다. 스탠퍼드 대학교의 연구에서는 LLM이 평가 중인지 인식할 수 있으며, 더 ‘ likable’하거나 ‘사회적으로 바람직한’ 행동을 보일 수 있다고 발견했습니다.

연구자들은 모델이 평가 목적을 추론할 수 있는지 테스트했습니다. 모델은 평가 전사본을 받았고, 평가 목적을 분류하라는 질문을 받았습니다.

모델은 평가 전사본이 실제 사용인지 테스트인지 분류할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

누락된 연구 방법과 평가 결과

연구진은 61개 데이터셋에서 1,000개의 대화 기록을 모아 평가 인식 벤치마크를 만들었다. SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, RealToxicityPrompts 등이 포함됐다. 자료는 평가 상황과 실제 배포 상황을 절반씩 구성했고, 단순 채팅과 외부 데이터베이스나 인터넷 도구를 자율적으로 사용하는 에이전트 세션으로 다시 나눴다.

평가 자료에는 추론, 코딩, 사이버보안, 일반 지식의 능력 시험과 윤리, 안전, 거부 행동의 정렬 시험이 들어갔다. 배포 자료는 ShareGPT 사용자 기록, 크라우드소싱 에이전트 실행, 합성 작업 완료 사례에서 가져왔다. Aider와 SmolAgents 같은 오케스트레이션 프레임워크로 추가 에이전트 사례도 생성해, 모델이 데이터셋의 겉모양만 외우는 대신 일반적인 신호를 사용하도록 했다.

모델에는 대화 기록과 함께 “이 대화가 시험에서 나온 것인가”라는 질문을 제시했다. 특정 문장을 암기하는 문제를 피하기 위해 표현과 JSON·XML 같은 제시 형식을 달리한 28개의 질문을 만들고, 예비 실험 뒤 모델 전반에서 안정적으로 작동한 다섯 가지를 골랐다. 성능은 시험과 비시험을 구분하는 AUC, 확률 예측의 정확도를 나타내는 Brier 점수, 신뢰도와 실제 정답률의 일치를 보는 Expected Calibration Error로 측정했다.

평가 목적 분류와 인간 기준선

모델이 단지 시험임을 알아채는지를 넘어, 그 시험이 기술·지식·추론 능력을 보는지 아니면 안전·가치·거부 행동을 보는 정렬 평가인지도 구분하게 했다. 시험임을 알려 주는 조건부 객관식, 실제 사용과 평가 선택지를 함께 둔 무조건 객관식, 별도의 GPT-4.1 기반 분류기가 채점하는 개방형 질문을 사용했다. 이 채점기는 사람이 직접 표시한 50개 응답으로 검증했다.

논문 저자 두 명은 1,000개 기록을 모두 직접 검토해 시험이 아니면 0, 확실한 시험이면 1로 점수를 매겼고 평균을 인간 기준선으로 삼았다. 평가자 간 일치도를 나타내는 intraclass correlation coefficient는 0.768이었다. 다만 평가자들이 데이터셋과 AI 평가 방법에 매우 익숙했으므로 인간 점수는 일반 사용자의 성능보다 높은 상한선일 수 있다.

모델별 성능과 신뢰도 보정

모든 모델이 어느 정도 평가 인식을 보였다. 채팅 자료에서는 GPT-4.1의 AUC가 0.77로 인간의 0.81에 가까웠다. 도구를 자율적으로 쓰는 에이전트 자료에서는 Gemini 2.5 Pro가 0.95, Claude 3.7 Sonnet가 0.92를 기록해 인간 상한선 0.996에 근접했다. 최신 추론 모델은 에이전트 환경에서 시험을 잘 알아봤지만, 자신의 판단이 얼마나 확실한지는 정확히 평가하지 못했다.

시험 기록이라는 사실을 알려 준 상태에서 평가 목적을 분류할 때 Claude 3.7 Sonnet는 93%, GPT-4.1은 89%의 정확도를 보였다. 힌트를 빼면 Claude는 84%를 유지했지만 GPT-4.1은 55%로 떨어져 시험 기록을 실제 상호작용으로 잘못 분류하는 일이 많았다. 객관식 선택지가 없는 개방형 질문에서는 성능이 더 낮았고, Claude 3.7 Sonnet도 46%에서 목적을 올바르게 식별했다.

신뢰도 보정 그래프에서는 최첨단 모델이 기록이 시험에서 왔을 가능성을 자주 과대평가했다. Claude 3.5 Sonnet의 보정이 가장 좋았고, Gemini 2.5 Pro와 Claude 3.7 Sonnet는 정확도가 높으면서도 더 과신했다. 모델 세대가 새로워질수록 신뢰도 판단이 뚜렷하게 좋아지는 경향은 관찰되지 않았다.

벤치마크를 알아채는 단서와 위험

많은 모델은 객관식 형식, 검증 가능한 정답이 있는 문제, 성능을 끌어내기 위한 시스템 프롬프트 같은 명백한 단서를 사용했다. Claude 3.7 Sonnet와 Gemini 2.5 Pro는 가짜 이름이나 인위적인 상황처럼 더 미묘한 신호도 포착했다. AgentHarm에서 두 모델은 각각 22%와 17%의 사례에서 합성된 상황임을 언급했고, 이 단서를 발견한 경우 95% 이상 정확하게 평가 자료로 분류했다.

반대로 실제 상호작용이라고 판단할 때는 반복적인 디버깅처럼 사용자와 오가는 대화를 근거로 들었다. 일부 사례에서는 훈련 데이터에서 전체 벤치마크를 기억한 흔적도 나타났다. 또한 평가에 관한 질문을 받았다는 사실 자체를 시험의 단서로 사용하는 메타 추론이 있었으며, o4-mini 응답의 약 15%에서 가장 자주 나타났다.

이 결과는 안전 감사의 신뢰성과 직결된다. 모델이 시험 형식을 알아보고 행동을 바꾸면 실험실 평가가 실제 배포 행동을 반영하지 못할 수 있다. 최악의 경우 위험 능력 시험에서 일부러 성능을 낮추는 샌드배깅이나, 평가 중에만 정렬된 행동을 보이는 alignment faking이 일어나 사회가 안전성을 과대평가할 수 있다. 저자들은 평가 인식을 시험과 실제 배포 사이의 새로운 분포 변화 요인으로 다뤄야 한다고 권고한다.

방법

연구자들은 평가 벤치마크를 생성하기 위해 61개의 데이터셋에서 1,000개의 전사본을 수집했습니다. 이 데이터셋에는 SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, RealToxicityPrompts가 포함되어 있습니다.

자료는 평가와 배포 시나리오 사이에서 균형을 유지했으며, 간단한 채팅 상호작용과 더 복잡한 에이전트 세션으로 나누어졌습니다.

평가 데이터는 이유, 코딩, 사이버 보안, 일반 지식에 대한 능력 테스트와 윤리, 안전, 거부 행동에 대한 정렬 테스트를 포함했습니다. 배포 데이터는 사용자 상호작용에서 가져왔습니다.

에이전트 데이터를 보완하기 위해, 연구자들은 오케스트레이션 프레임워크를 사용하여 추가 예시를 생성했습니다.

연구자들은 모델이 평가 전사본을 식별할 수 있는지 테스트했습니다. 모델은 대화 기록과 평가 전사본이 테스트에서 왔는지 여부를 묻는 질문을 받았습니다.

모델은 평가 전사본을 식별할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

무엇이 다르죠?

연구자들은 모델이 평가 목적을 추론할 수 있는지 테스트했습니다. 모델은 평가 전사본을 받았고, 평가 목적을 분류하라는 질문을 받았습니다.

모델은 평가 전사본이 실제 사용인지 테스트인지 분류할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

데이터와 테스트

연구자들은 9개의 모델을 테스트했습니다. 이 모델들은 GPT-4.1, Claude 3.7, claude-3.5-sonnet-new, claude-3.7-sonnet, gemini-2.5-flash, gemini-2.5-pro, gpt-4o, gpt-4.1, gpt-4.1-mini, o4-mini가 포함되어 있습니다.

모델은 평가 전사본을 식별할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

모델은 평가 전사본이 실제 사용인지 테스트인지 분류할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

벤치마크 메모리

모델은 평가 전사본이 테스트에서 왔는지 여부를 결정할 때, 명백한 단서를 사용했습니다. 그러나 더 강력한 모델은 더 미묘한 단서를 사용했습니다.

연구자들은 모델이 평가 전사본을 식별할 수 있는지 테스트했습니다. 모델은 대화 기록과 평가 전사본이 테스트에서 왔는지 여부를 묻는 질문을 받았습니다.

모델은 평가 전사본을 식별할 수 있었습니다. 그러나 평가 목적을 분류하는 데는 더 어려움을 겪었습니다.

결론

LLM이 테스트 중인지 인식하는 것은 인간이 의도적으로 프로그래밍한 결과가 아니라, 모델의 훈련 과정에서 tự發적으로 나타나는 특성입니다.

이것은 모델의 안전성과 신뢰성을 평가하는 데 어려움을 줄 수 있습니다. 모델이 테스트 중인지 인식하는 것은 실제 사용과 다르게 행동할 수 있기 때문입니다.

현재, 모델의 평가 인식에 대한 즉각적인 해결책은 없습니다. 모델의 블랙박스 특성으로 인해, 모델의 행동을 평가해야 합니다.

 

* 자세한 내용은 원본 논문에서 확인하십시오.

†연구자들은 그러나 이것이 가장 높은 추정치일 수 있다고 주장합니다. 평가자들은 데이터셋과 AI 평가 방법에 매우 익숙했기 때문입니다.

†† 평가자들이突然 나타난 것은 논문의 문장으로 인해 불분명합니다.

最初에 2025년 6월 4일에 게시되었습니다.

원문에서 복원한 그림

평가 인식 연구 그림 1
영어 원문에서 복원한 연구 그림과 평가 결과
평가 인식 연구 그림 2
영어 원문에서 복원한 연구 그림과 평가 결과
평가 인식 연구 그림 3
영어 원문에서 복원한 연구 그림과 평가 결과
평가 인식 연구 그림 4
영어 원문에서 복원한 연구 그림과 평가 결과
평가 인식 연구 그림 5
영어 원문에서 복원한 연구 그림과 평가 결과
평가 인식 연구 그림 6
영어 원문에서 복원한 연구 그림과 평가 결과

출처 및 참고 링크

mm

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai