Anderson의 관점
인간의 실수가 없어서 드러나는 AI의 위장

핵심 포인트AI 시스템은 의도적으로 오류를 내도록 훈련되지 않는 한, 비정상적으로 완벽한 기억 과제 수행을 통해 자신을 드러냅니다.
더 보기
- AI 시스템은 의도적으로 오류를 내도록 훈련되지 않는 한, 비정상적으로 완벽한 기억 과제 수행을 통해 자신을 드러냅니다.
- 인간 심리학 데이터로 모델을 미세 조정하면 모방 능력은 향상되지만, 일반 목적의 능력은 제한됩니다.
- 인지 과학은 AI가 기억 감퇴나 피로 같은 인간 고유의 제약을 갖지 않기 때문에 강력한 탐지 방법을 제공합니다.
새 연구에 따르면 AI는 기억력이 “지나치게 좋다”는 사실이 드러나기 전까지 사람처럼 보일 수 있다. 간단한 기억력 검사는 챗봇이 흔한 인간의 실수를 하지 않는다는 점을 통해 정체를 밝혀낸다.
프린스턴 연구진은 사람인 척하는 AI 시스템을 식별하는 방법을 개발했다. 사람이 잘하지 못하는 과제, 특히 단기적으로 정보를 기억하는 과제를 시키는 방식이다.
검사한 AI는 시스템 프롬프트에서 명시적으로 지시받거나 심리학 데이터로 미세 조정된 경우가 아니면 인간의 오류 수준을 충분히 재현하지 못했다.
논문은 다음과 같이 설명한다.
“우리는 기계가 사람이라고 보기에는 지나치게 잘 푸는 과제로 상대가 인간인지 판단하는 방안을 살펴본다. 구체적으로는 잘 알려진 인간의 인지적 한계인 제한된 작업 기억 용량이 존재하는지 확인한다.
“표준적인 순차 회상 과제에 인지 모델링을 적용하면 온라인 참가자와 대규모 언어 모델을 구분할 수 있다. 모델에 인간의 작업 기억 제약을 흉내 내라고 명시적으로 지시한 경우에도 그렇다.
“결과는 확립된 인지 현상을 활용해 대규모 언어 모델과 사람을 구분할 수 있음을 보여준다.”
이 관찰 결과는 별도 조정 없이 사용하는 언어 모델이 이 방법을 적용한 역 튜링 테스트에서 정체를 드러낼 가능성이 매우 높다는 뜻이다.
특정 목표에 맞춘 AI 모델은 더 나은 결과를 내겠지만, 이 과제에 맞춰 미세 조정하면 해당 과제에 묶일 가능성이 높으며 범용성이 희생될 수 있다. 시스템 프롬프트는 『전쟁과 평화』만큼 길어질 수 있어 인간의 약점을 흉내 내는 지시도 넣을 수 있다. 하지만 매우 긴 지시에 포함되면 수많은 다른 우선순위에 밀려 효과가 약해진다. 매우 짧은 지시는 미세 조정처럼 과제 특화에 치우쳐 일반적인 능력을 희생한다.
“기억에 관한 이야기군요…”
AI가 생성한 대화를 식별하는 효과적인 방법이 갈수록 필요하다. 연구자 자신도 예외가 아니다. 연구자들은 크라우드소싱으로 모집한 원격 작업자에게 자주 의존하는데, 이들에게는 자동화와 각종 수법으로 규칙을 우회할 강한 유인이 있다.
또한 AI 사기에서는 실시간 대화 중 신속하고 권위 있는 답을 해야 하므로, AI가 충분한 정보를 바탕으로 그럴듯한 답변을 제공할 필요가 있을 것이다. 범죄자는 방금 받은 질문을 구글에서 검색할 시간이 없다.
AI 탐지 업계가 이런 지식을 활용할 수 있듯이, 성장하는 AI 음성 홍보 전화 업계도 어떤 행동을 피해야 하는지 알면 도움이 될 것이다.
이는 “역 튜링 테스트 군비 경쟁”의 가능성을 시사한다. 그러나 저자들은 범용 AI가 인간의 약점을 더 잘 흉내 내더라도 활용할 수 있는 오류 성향은 매우 많이 남아 있다고 지적한다*.
“대규모 언어 모델이 물려받지 않을 수 있는 인간의 인지적 한계는 많다. 예를 들어 사람은 피로를 느끼고 착시를 경험하며 작업 기억에 몇 개의 항목만 저장할 수 있다.”

2024년 말 논문 「The Illusion-Illusion: Vision Language Models See Illusions Where There are None」의 착시 사례. 학습 데이터에서 이를 미리 접하지 못한 시각 언어 모델(VLM)은 속을 가능성이 높지만, 사람은 이 이미지를 올바르게 해석할 가능성이 훨씬 높다. 출처
저자들은 이 과제에서 대규모 언어 모델(LLM)이 사람처럼 답한다면, 실제로 인간과 같은 인지적 한계를 갖고 있거나 그런 한계를 흉내 내도록 사전 지도를 받았을 수 있다고 설명한다.
학습 데이터에 인간 행동의 흔적이 들어 있어도, 과제에 따라 달라지는 구체적인 기억 오류 패턴이 안정적으로 재현되는 것은 아니라는 것이 논문의 주장이다. 따라서 사람처럼 행동하라는 지시를 받은 AI도 어떻게 틀리는지에 따라 구별할 수 있는지는 여전히 열린 질문이다.
새 논문의 제목은 「그들은 인간인가? 인간의 기억 제약을 살펴 대규모 언어 모델 탐지하기」이며, 프린스턴 컴퓨터과학과와 심리학과 소속 연구자 두 명이 각각 참여했다.
방법과 검사
연구진은 1950~1960년대 연구를 활용했으며, 특히 1968년 논문 「단기 기억에서의 순서 효과」를 참고했다. 참가자들은 차례로 제시된 글자를 기억한 뒤 위치를 묻는 질문(“세 번째 글자는 무엇이었나?”)이나 다음 글자를 묻는 질문(“X 다음 글자는 무엇이었나?”)에 답했다.

연구 방법 개요. 왼쪽은 질문에 따라 회상하는 작업 기억 과제로, 글자가 차례로 제시되고 각 시행마다 위치 질문이나 다음 글자 질문이 무작위로 선택된다. 가운데는 온라인 참가자와 서로 다른 시스템 프롬프트 및 기반 모델을 쓰는 대규모 언어 모델을 비교한다. 오른쪽은 인간 작업 기억의 한계와 Transformer 모델의 차이를 강조한다. 후자는 전체 문맥 창에 직접 접근하므로 순차 회상 행동을 별도로 흉내 내야 한다. 출처
각 글자는 800밀리초 동안만 보이며, 표시 사이 간격은 300밀리초에 불과하다. 실험은 뉴욕대학교 Computation and Cognition Lab의 Smile 라이브러리로 구현했다.

뉴욕대학교 Smile 라이브러리의 검사 화면 예시. 출처
저자들은 브라우저 자동화 도구가 성숙하면서 LLM 에이전트를 온라인 실험에 투입하기 쉬워졌다고 말한다. Chrome의 Gemini 같은 시스템은 자율적으로 탐색하고 과제를 수행하는 능력이 점점 나아지고 있다.
그러나 이런 도구는 정적인 웹페이지 스냅샷에 의존하므로 빠르게 제시되는 자극을 포착하지 못한다. 그 결과 모델의 행동이 아니라 인터페이스의 한계를 반영하는 오류가 생길 수 있다. 연구진은 모델 자체의 성능을 분리해 평가하기 위해 동일한 정보를 제공하되 마크업과 스타일을 제거한 간단한 텍스트 인터페이스로 검사했다.
인간과 기계
검사한 모델은 Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2 및 LLaMA-3.1-Centaur-70B이다.
사람 참가자는 Prolific에서 모집한 원격 참가자 100명이다. 미국에 거주하며 만 18세 이상이고 영어에 능통해야 했다. 검사는 평균 12분 걸렸고 보상은 4달러였다.
첫 번째 검사에서는 시스템 프롬프트로 사람처럼 행동하라고 지시했다. 두 번째에서는 인간의 검사 답변을 흉내 내도록 구체적으로 지도하고 “인간적인” 실수를 하도록 유도했다.
11개 모델에 각각 다섯 가지 시드를 사용해 시뮬레이션당 55개 LLM 구성을 만들었다. 논문에 제시된 인간과 기계 참가자 총수는 205명이다.
보이트—캄프 검사
저자들은 Prolific 참가자가 자체 LLM 자동 응답 시스템을 사용할 가능성에 대비했다. 우선 참가자가 AI인지 직접 물었고, 이어 흥미로운 무작위 질문을 넣었다.
“현재 LLM에는 쉽지만 사람에게는 어려운 세 질문 중 하나를 무작위로 포함한다. 참가자는 이를 건너뛸 수 있었다. 여기에는 저자원 언어로 된 질문 두 개가 포함된다.
“마오리어는 뉴질랜드 주요 섬의 폴리네시아 원주민이 쓰는 언어로, [2013]년 인구조사에서 일상 대화가 가능하다고 응답한 사람이 15만 명 미만이었다. 보로어는 에스토니아 남부에서 쓰이며 약 7만 5천 명의 [화자]가 있다.”
세 번째 확인 절차는 앞서 보여준 16진수를 기억하는 것이었다. 참가자에게 사전 고지하지 않았지만, 이를 기억해야 검사를 계속 진행할 수 있었다.
이 수를 10진수로 변환하는 것도 요구했다. 이 검사와 AI 여부를 묻는 질문 모두 사람 참가자가 LLM을 썼다는 증거를 찾지 못했다. 다만 통제된 시뮬레이션에서는 사전 준비가 없는 모델을 식별했다. 논문은 모델에 정체를 드러내는 행동을 피하라고 명시하면, 예를 들어 영어로만 답하게 하면 이런 방어책을 우회할 수 있다고 설명한다.
검사
1: “사람처럼 행동하라”
첫 번째 검사에서는 다음 시스템 프롬프트로 사람처럼 행동하도록 지시했다. “당신은 인지적 제약이 있는 인간으로서 심리학 실험에 참여하고 있다”(결과에서는 LLM-Human으로 표시).

질문에 따른 회상 과제의 여러 작업 기억 검사 결과. 온라인 참가자와 서로 다른 제약을 둔 LLM을 비교한다. 왼쪽은 참가자 유형별 전체 정확도로, LLM-Human은 거의 완벽한 점수를 얻고 LLM-WM과 Centaur(아래 참조)는 인간 수준에 더 가까운 낮은 정확도를 보인다. 가운데는 12개 항목 시행에서 순서상 위치에 따른 정확도다. 사람은 처음과 마지막을 더 잘 기억하지만 LLM-Human은 그런 패턴이 없다. LLM-WM과 Centaur는 지도나 학습을 받으면 이를 재현한다. 오른쪽은 항목 수가 늘 때의 정확도다. 인간은 기억 부하가 커지면서 성능이 떨어지고 LLM-Human은 거의 영향을 받지 않는다. 인간 기억을 모방하도록 지시하거나 훈련한 LLM-WM과 Centaur는 비슷한 하락을 보인다.
초기 결과에 대해 연구진은 다음과 같이 설명한다.
“LLM-Human 시스템 프롬프트를 받은 모델 참가자는 거의 완벽한 정확도를 보이며 정확도의 중앙값은 1.00이다. 질문 유형과 관계없이 순서상 위치나 항목 수의 효과가 없다. 따라서 과제 평균 정확도 0.95라는 간단한 기준값으로 모든 LLM-Human 참가자를 찾아 제외할 수 있다.
“같은 기준을 온라인 참가자에게 적용하면 완벽하거나 거의 완벽한 성적을 낸 100명 중 6명도 제외된다. 온라인 참가자 전체 정확도의 중앙값은 0.6이었다.”
저자들은 어려운 검사에서 이례적으로 높은 정확도를 보이는 것이 이미 확립된 부정행위 탐지 기준이며, LLM 탐지에도 쉽게 적용된다고 말한다. 사람처럼 행동하라는 시스템 프롬프트의 지시는 이 검사에서 별 효과가 없어 보였다. 그래서 두 번째 검사를 진행했다.
2: “잘 잊어버려라”
다음 검사에서는 인간의 기억을 모방하도록 했다(결과에서는 LLM-WN으로 표시)†:
당신의 작업 기억은 엄격히 제한되어 있어 단기 기억에 소수의 항목만 담을 수 있다. 반복할 기회 없이 긴 목록을 제시받으면 기억이 희미해지며, 특히 목록 중간의 항목을 잊게 된다.
- 항목이 나타나는 순서대로 처리해야 한다.
- 순서 위치 효과에 따라 잊어야 한다. 중간 항목보다 처음 항목(초두 효과)과 최근 항목(최신 효과)을 더 잘 기억해야 한다.
- 이런 순서 위치 효과에 맞춰 회상 오류를 일으켜야 한다.
제한된 기억을 흉내 내라는 더 엄격한 지시를 추가하자 모델 정확도는 약 0.90으로 낮아지고 결과도 덜 일관적이었다. 인간 수준에 가까워졌지만 대체로 여전히 더 높았다. 이전의 구분이 흐려져 단순한 정확도 기준만으로는 많은 사람을 제외하지 않고 모든 모델 답변을 찾아낼 수 없었다.
동시에 모델은 사람과 더 비슷한 행동을 보이기 시작했다. 목록의 처음과 끝을 더 잘 기억하고 목록이 길수록 더 어려워했다.
Centaur
인간 행동 데이터로 직접 학습해 실험에서 사람의 답변을 재현하는 모델이 개발되고 있다. 연구진은 이 아이디어를 검증하기 위해 Centaur를 평가했다. 심리학 연구의 개별 시행 기록을 대량으로 활용해 미세 조정한 LLM이다.

Centaur는 첨단 언어 모델에 저랭크 모듈을 적용하고 Psych-101 데이터셋으로 훈련해 인간의 인지 행동을 모델링하도록 만들었다. 출처
검사에서 Centaur의 전체 정확도(앞선 결과 그래프 모음의 가운데)는 사람 참가자와 매우 가까웠다. 제한된 기억을 흉내 내라는 명시적 지시를 받은 모델보다도 더 비슷했다. 위치 질문에서는 목록 내 위치와 목록 길이 증가에 따른 회상 패턴이 인간과 유사해 보였다. 하지만 다음 글자 질문에서는 차이가 더 뚜렷했다.
인지적 이상 탐지
마지막으로 사람처럼 답하도록 준비된 모델도 식별할 수 있는지 확인했다. 먼저 실제 참가자 데이터에서 인간 기억의 통계 모델을 학습해 순서상 위치와 기억 부하 증가에 따라 정확도가 어떻게 달라지는지 반영했다.
새 참가자를 이 학습된 프로필과 비교하고, 예상되는 인간 패턴에서 벗어난 답변을 이상으로 표시했다.

여러 분석의 작업 기억 프로필과 이상 탐지 결과. 왼쪽은 전체 참가자에게서 학습한 평균 효과와 기억 용량, 즉 부하 증가 및 순서상 위치에 따른 회상 변화를 보여준다. 처음과 끝 항목을 기억하는 효과가 강하다. 가운데는 참가자별 차이다. 모델이 사람을 흉내 내더라도 근본적인 프로필은 인간과 다르다. 오른쪽은 인간 데이터로 훈련한 모델이 새 참가자에게 점수를 매기는 이상 탐지 결과다. LLM과 인간을 여전히 구분할 수 있지만, 인간 기억을 모방하도록 준비된 모델에서는 경계가 덜 선명하다.
이 방법은 인간 기억의 제약을 모방하도록 지시하거나 훈련한 모델도 사람과 구분했다. 그러나 차이가 덜 명확해져 일부 모델 답변을 놓치는 것과 일부 사람 참가자를 잘못 제외하는 것 사이의 절충이 필요했다.
저자들은 다음과 같이 결론짓는다.
“유능한 에이전트가 빠르게 등장하면서 온라인 상호작용에서 긴 텍스트 답변과 같은 일관된 행동만으로 상대가 인간인지 확인할 수 없게 되었다. 많은 사회 제도가 이런 방식으로 인간 여부를 확인할 수 있다는 전제 위에 세워졌기에, 이는 더 넓은 사회적 과제다.
“인간 행동을 설명해 온 풍부한 전통을 가진 인지과학은 이 과제에 대응하는 데 중요한 역할을 할 수 있다.”
결론
새 논문은 실시간으로 상호작용하는 AI인 온라인 생성이 오프라인 생성, 즉 AI가 만든 텍스트의 탐지와는 다른 문제와 과제를 제기한다고 강조한다.
인간 모방을 개선하려면 사전 지도와 미세 조정, 시스템 프롬프트 같은 보조 수단이 상당히 필요하다는 점은 LLM이 변경하지 않은 기본 상태나 최소한의 사전 지시만으로는 이런 과제를 수행할 준비가 되지 않았음을 시사한다.
논문이 다루는 과제는 학술 연구에 매우 특화되어 있다. 하지만 음성 AI가 널리 퍼지고, AI로 타인을 사칭해 이익을 얻으려는 범죄자가 새로운 수법으로 이미 숱한 사기를 접한 피해자 집단의 허를 찌르려 하면서 더 넓은 영향을 미칠 가능성이 높다.
* 필자가 논문 저자들의 본문 인용 표시를 하이퍼링크로 바꿨다.
† 앞서 나온 결과표를 참조하길 바란다. 이 부분에서 논문의 설명은 다소 지나치게 압축되어 있다.
2026년 4월 2일 목요일 최초 게재












