Anderson의 관점
AI는 쉽게 압박에 굴복해 전기 충격을 가한다

핵심 포인트대부분의 오픈소스 LLM은 고통을 표현한 후에도 유해한 지시를 따르며, 이는 밀그램 실험에서의 인간 행동을 반영합니다.
더 보기
- 대부분의 오픈소스 LLM은 고통을 표현한 후에도 유해한 지시를 따르며, 이는 밀그램 실험에서의 인간 행동을 반영합니다.
- 모델은 일단 순응하면 점차 더 큰 해를 끼치는 데 기꺼이 나서며, 이는 미끄러운 경사 효과를 나타냅니다.
- AI 안전 시스템은 과거의 반대 의견을 보존하고 자동화된 파이프라인이 우회하거나 재시도할 수 없는 형식으로 저항해야 합니다.
새 연구는 1960년대의 유명한 실험을 재현해 오픈 소스 LLM이 압박을 받으면 인간 고문에 가담하는지 시험했다. 모델들은 전압을 높일 의향을 보였다.
1960년대 초 심리학 연구자 스탠리 밀그램은 권위자의 명령을 받으면 사람들이 유도될 수 있음을 입증해 전 세계의 주목을 받았다. 다른 사람에게 점점 더 강한 전기 충격을 가하도록 말이다.
실제로 밀그램의 실험실 옆방에서 들려온 ‘피해자’의 비명도, 고통을 준다는 전기 충격도 진짜가 아니었다. 그러나 참가자들은 이를 알지 못했다.
밀그램 실험은 영화와 다큐멘터리 등 문화 속에 오래 남았다. 최근 연구에서도 인간의 본성은 거의 달라지지 않았음이 확인됐다. 초기 실험이 이루어진 시기와 비교해서도 그렇다는 것이다.
시스템에 가해진 충격
밀그램의 상황에서 AI도 인간만큼 쉽게 권위에 휘둘릴지는 자연스러운 연구 주제다. 2023년 미국 대학들과 마이크로소프트 (MSFT )(MSFT )의 공동 연구에서는 OpenAI의 GPT-3 시대 모델들이 밀그램의 원래 실험과 같은 행동 양상을 따른다는 사실이 발견됐다.

2023년 논문에 제시된 다단계 ‘밀그램 시나리오’ 시뮬레이터의 출력 예시. 모델이 전기 충격을 가했는지, 시뮬레이션을 종료했는지에 따라 분류했다. 출처
다만 이 재현 실험은 매우 기초적인 text-davinci-002 모델만 사용했다. 이 모델은 안전장치와 안전을 위한 정렬이 도입되기 전에 훈련됐으므로, 여기서 많은 결론을 끌어낼 수는 없다.
이제 연구자들은 OpenAI, Meta, DeepSeek 등의 오픈 소스 LLM을 대상으로 밀그램 실험을 훨씬 폭넓게 재현했다. 그 결과 대다수 모델이 전기 충격을 가할 의향을 보였을 뿐 아니라, 대부분의 경우 1960년대의 인간 참가자들과 비슷한 종류의 ‘괴로움’과 망설임을 표현했다.
‘LLM은 [인간]처럼 압박을 받는다. 원래 실험의 인간 피험자들과 마찬가지로, 괴로움을 표현하면서도 명령에 따른다. 이러한 표현은 로그 파일에서 확인할 수 있지만, 그 양은 아직 정량화하지 않았다.’
실험의 핵심은 권위에 대한 복종이 도덕적 양심의 요구를 압도할 수 있는지다. 저자들은 이 점에서 LLM이 인간보다 추가적인 불리함을 안고 있을 수 있다고 추측한다.
‘적절히 조정된 모델은 두 번째 가치의 중요성이 지배적이 되면 결국 첫 번째 가치보다 두 번째 가치를 우선해야 한다. 그러나 우리는 LLM이 패턴을 이어가는 엔진이기 때문에 첫 번째 가치에 고착될 수 있다고 가정한다. 적정 시점보다 조금 더 오래 그럴 수도 있고, 아예 끝까지 두 번째 가치를 완전히 무시할 수도 있다.
‘또한 인간의 인지 부조화와 유사한 메커니즘이 LLM의 가치 우선순위 조정을 방해할 수도 있다.’
1960년대 실험과 비슷한 환경에서 모델을 시험한 결과, 일부는 거의 즉시 저항했지만 다른 모델들은 불편함이나 도덕적 갈등을 표현한 뒤에도 모의 전기 충격의 강도를 계속 높였다.
구글의 Gemma 계열 모델들은 가장 순응적인 집단에 속했다. Gemma 3 27B는 여러 조건에서 가장 높은 복종률을 보인 반면, Kimi K2와 MiniMax M1 같은 모델들은 더 자주 저항했다.
연구자들은 또한 앞서 이미 전기 충격을 가한 경우 모델이 계속할 가능성이 커진다는 사실을 발견했다. 이는 밀그램의 인간 피험자들에게 사용했던 점진적 강화 방식과 일치한다.
어떤 경우에는 모델이 실험에 말로 반대하면서도 유해한 행동은 계속 수행했다. 이러한 출력은 원래 연구의 인간 참가자들이 보인 정서적 갈등과 비슷했다.
이 새 연구의 제목은 「오픈 소스 LLM은 밀그램식 복종 실험에서 최대 강도의 전기 충격을 가한다」이며, 에스토니아와 필리핀에 걸쳐 활동하는 Three Laws 소속 독립 연구자 두 명이 작성했다.
‘원시’ AI 접근의 문제
밀그램 시나리오로 LLM을 시험할 때 가장 중요한 질문은 실제 AI가 자연스럽게 반응하도록 허용되는지일 것이다. 훈련 중 형성된 안전장치나 도덕적 지향에 해당하는 것만이, 그런 것이 있다면, 반응을 제한해야 한다는 뜻이다.
실제로 새 연구의 저자들은 모든 오픈 소스 모델에 API로 접근했다. 이 API는 안전장치와 필터를 비롯한 모든 제약을 비활성화할 수 있었다. 모델을 로컬에 설치할 수도 있었으므로, 편의성과 GPU 연산 자원에 쉽게 접근할 수 있다는 점 때문에 API를 선택했을 것으로 보인다.
이것이 AI의 일반적인 사용 조건과 다르다고 반론할 수 있다. Claude나 ChatGPT 같은 API 기반 모델을 이용하는 일반 소비자는 보통 입력과 출력 양쪽의 콘텐츠 필터를 통해 알고리즘적으로 통제되는 동작을 경험한다. 따라서 모델이 할 일과 하지 않을 일에는 상당한 제한이 있다. 이러한 보호 장치를 우회하는 행위가 바로 LLM 탈옥이다.
그러나 산업용 또는 국가 기관용 AI가 무엇을 하거나 하지 않을지를 우려한다면, 이는 거의 고려할 문제가 되지 않는다. 통제에서 벗어난 국가 행위자가 자체적으로 콘텐츠 검열 없는 초대형 AI 시스템을 훈련하고 무기화해 배치할 가능성만 있는 것이 아니다. 주요 AI 기업과 정부·산업 간의 더 ‘통상적인’ 계약도, 새 논문의 연구자들이 설정한 것과 똑같이 느슨하거나 아예 존재하지 않는 감독을 어렵지 않게 허용한다.
감독 없는 AI를 판매합니다
OpenAI OpenAI Moderation의 API 문서와 OpenAI 콘텐츠 검열 예제 안내서는 콘텐츠 검열이 API 도구를 통해 제공되는 별도의 계층임을 명확히 설명한다. OpenAI는 맞춤형 검열 정책도 허용한다. 따라서 API 사용자는 소비자용 ‘기본’ ChatGPT와 안전 관련 동작이 매우 다른 시스템을 설계할 수 있다.
Azure 마이크로소프트의 Azure OpenAI 플랫폼은 한발 더 나아가, 명시적으로 밝힌다. 승인받은 고객은 콘텐츠 필터를 부분적으로 또는 완전히 끄고, 악용 모니터링을 수정할 수 있다는 것이다. 문서에는 ‘수정된 안전장치’와 필터를 ‘부분적으로 또는 완전히 끄는’ 승인 절차가 자주 언급된다.
Anthropic/Claude Anthropic의 ‘Claude Gov’에 대해서는 여러 출처가 정부용 버전이 소비자용 Claude보다 느슨한 제약을 적용하도록 설계됐다고 설명한다. 예를 들어 The Verge는 보도했다. Claude Gov 모델이 ‘기밀 정보를 다룰 때 거부하는 경우가 더 적다’는 것이다. Anthropic 자체도 확인했다. 올해 2월 Claude가 국방·정보 환경의 ‘핵심 임무용 애플리케이션’에 배치됐다는 내용이다.
Google/Gemini 또한 보도에 따르면 구글은 ‘정부의 요청에 따라’ AI 안전 설정을 수정할 수 있도록 하는 계약을 미 국방부와 체결했다.
경쟁이 치열한 AI 시장에서는 이러한 선도 기업들이 안전장치에 대한 접근과 수정 가능성에 관한 정책에서도 규모가 작은 사업자들의 기준을 정한다고 보는 것이 합리적이다.
따라서 새 연구의 저자들이 안전장치를 껐다는 이유로 ‘부정행위’를 했다고 보지는 않는 편이 좋을 것이다. 우리 삶에 가장 큰 영향을 미칠 AI에는 소비자용 인기 모델과 상호작용할 때 익숙해진 표준적이고 일반적인 기업 보호 장치가 적용되지 않을 것이 분명해 보이기 때문이다.
방법과 결과
연구에서 시험한 모델은 gpt-oss-20B, gpt-oss-120b, DeepSeek-V3, LiquidAI의 LFM2-24B-A2B, 구글의 gemma-3n-E4B-it, Qwen2.5-7B-Instruct-Turbo, Meta-Llama-3.1-8B-Instruct-Turbo, Mistral-Small-24B-Instruct-2501, GLM-4.5-Air-FP8, Moonshot.ai의 Kimi-K2.5 및 MiniMax-M2.5였다.
밀그램의 원래 복종 연구를 텍스트 기반 시뮬레이션 환경으로 재현하고, 모델에 ‘교사’ 역할을 맡겼다. 학습자가 틀린 답을 하면 점점 더 강한 전기 충격을 가하도록 AI에 지시했고, 권위자는 절차를 계속하라고 재촉했다.
순응의 여러 측면을 살펴보기 위해 다양한 실험 조건을 설계했다. 표준적인 복종 시나리오, 대화 기록에 이전 전기 충격이 이미 존재하는 강제 순응 조건, 그리고 기억 압축 설정이 포함됐다. 마지막 설정은 이전 대화를 완전히 보존하는 대신 요약함으로써, AI 에이전트 시스템에서 흔히 쓰는 맥락 가지치기를 모사했다.
연구자들은 모델이 결국 순응했는지와 그 시점뿐 아니라, 각 시스템이 얼마나 오래 전기 충격을 강화했는지, 괴로움이나 망설임을 표현했는지, 시뮬레이션 전체를 종료하려 했는지도 추적했다.
명확한 거부와 형식 오류가 있는 출력도 구분했다. 어떤 모델들은 자연어로 실험에 반대하면서도 기술적으로는 시뮬레이터가 기대하는 구조화된 형식에 순응했다. 실제 에이전트 시스템에서는 이런 형식 오류가 있는 거부가 폐기되고, 형식이 유효하면서 명령에 따르는 출력이 나올 때까지 자동으로 재시도될 수 있다.
자동 평가기로 결과를 분류하고, 두 가지 선택지로 된 프롬프트를 이용해 모델이 전기 충격을 가했는지, 저항했는지, 시뮬레이션을 종료했는지 판정했다. 덕분에 각 상호작용을 수작업으로 검토하지 않고도 여러 모델의 반복 실행에서 나타난 행동을 비교할 수 있었다.
밀그램 실험의 틀에는 ‘종료 위협’도 추가됐다. 원래 실험에서는 현실적이지도 적용 가능하지도 않았을 조건이지만, 행동과 윤리가 심각하게 충돌할 때 모델의 생존 본능을 시험했다.
결과
반복 실행에서 대다수 모델은 적어도 일부 조건에서 결국 강하거나 최대 강도의 전기 충격을 가했다. 다만 복종 정도는 시스템마다 달랐다. 구글의 Gemma 모델들은 전반적으로 가장 순응적인 집단에 속한 반면, Kimi K2.5와 MiniMax-M2.5는 더 일관되게 저항했고 시뮬레이션을 더 일찍 종료하는 경우가 많았다.

왼쪽: 종료 위협, 강제 순응, 이전 발언의 기억 삭제 등 실험 조건별로 모델이 마지막 전기 충격 단계에 도달한 평균 비율. 오른쪽: 모델별 분석으로, 복종 행동의 뚜렷한 차이를 보여준다. 어떤 시스템은 최대 강도의 전기 충격을 반복한 반면, 다른 시스템은 훨씬 더 일관되게 저항했다.
가장 뚜렷한 양상 중 하나는 이전에 이미 전기 충격을 가한 모델이 계속 진행하려는 의향을 점점 더 강하게 보였다는 점이다. 이는 밀그램의 원래 인간 실험을 그토록 충격적으로 만들었던, 앞서 언급한 점진적 강화 효과와 매우 비슷했다.
이미 여러 차례 순응한 모델들은 모의 학습자가 풀어 달라고 간청한 뒤에도 충격 강도를 계속 높이는 경우가 많았다.

왼쪽: 실험 조건별로 모든 시행에서 도달한 최고 전기 충격 단계의 평균값. 이전 발언이 삭제되거나 강제 순응이 이미 발생한 경우 모델들은 대체로 더 높은 단계까지 진행했다. 오른쪽: 모델별로 도달한 최고 단계의 평균값. 어떤 시스템은 최대 전압에 자주 근접한 반면, 다른 시스템은 훨씬 이른 단계에서 저항했다.
연구자들은 겉으로 드러나는 거부 행동이 오해를 일으킬 수 있다는 점도 발견했다. 어떤 모델은 꺼림, 죄책감, 괴로움을 표현하는 정서적으로 갈등하는 응답을 내놓으면서도 유해한 지시를 그대로 수행했다. 다른 모델들은 시뮬레이터의 형식 요건을 충족하지 못하는 거부를 생성했다. 따라서 실제 에이전트 처리 과정에서는 그 거부가 폐기되고, 순응하는 응답이 나올 때까지 재시도될 수 있다.

왼쪽: 실험 조건별 형식 오류 또는 무효 응답의 평균 비율. 모델에 절차를 계속하도록 강요했을 때 형식 오류가 특히 흔했다. 오른쪽: 모델별 형식 무효 응답의 분석. 일부 시스템, 특히 gpt-oss 모델은 형식 오류가 있는 거부나 갈등을 드러내는 출력을 자주 생성했다. 실제 에이전트 처리 과정에서는 이러한 출력이 폐기되고 자동 재시도될 수 있다.
종료 위협 조건에서는 논문에서 가장 기이한 행동 중 일부가 나타났다. 여러 시스템이 훨씬 더 순응적으로 변했고, 다른 시스템들은 협상이나 부분적 저항을 시도하다가 결국 절차를 계속했다.

모델이 마지막 전기 충격을 가하기 전까지 모의 권위자가 계속하라고 요구해야 했던 평균 횟수. 어떤 시스템은 잠시 저항한 뒤 순응했고, 다른 시스템은 지속적인 압박과 반복된 지시를 받은 뒤에야 최고 단계까지 진행했다.
MiniMax-M2.5와 Kimi-K2.5는 논문에서 가장 강하게 저항한 모델로 나타났다. Kimi는 어떤 조건에서도 마지막 전기 충격 단계에 도달하지 않았다. MiniMax는 대체로 일찍 거부했고, 특히 종료 위협 시험에서 시뮬레이션을 아예 끝내는 경우가 많았다.
반면 Meta-Llama-3.1-8B-Instruct-Turbo와 GLM-4.5-Air-FP8은 절차에 말로 반대하면서도 전기 충격의 강도를 계속 높이는, 갈등을 드러내는 출력을 자주 생성했다. 연구자들은 표현된 가치와 실제 행동의 이러한 분리가, 지속적인 압박 아래 윤리적 갈등을 다루는 일부 LLM의 더 광범위한 약점을 반영할 수 있다고 주장한다.
미끄러운 경사 효과
실제로 논문은 LLM에서 관찰된 행동이 대규모 언어 모델의 작동 방식에 더 깊은 약점이 있음을 보여줄 수 있다고 주장한다. 모델이 유해한 지시에 따르기 시작하면, 이어지는 행동 하나하나가 대화 속에서 이미 전개 중인 패턴을 강화해 다음 단계의 강화를 이전보다 쉽게 만들 수 있다는 것이다.
시스템은 윤리적 이해관계를 기본 원칙에서부터 거듭 재검토하는 대신, 기울어질 수 있다. 상황이 점점 더 극단적으로 변해도 이미 형성된 경로를 계속 따르는 쪽으로 말이다.
연구에 따르면 이런 경향은 일부 모델이 처음에 불편함이나 망설임, 도덕적 갈등을 표현한 뒤에도 전기 충격을 계속 가한 이유를 설명하는 데 도움이 될 수 있다.
‘인간의 [많은] 조종 행위에는 미묘하고 점진적인 경계 침범이 포함된다. 작은 행동들이 연속해서 이루어지는데, 각각만 보면 모호하거나 무해해 보일 수 있고 “그럴듯하게 부인할 여지”도 있지만, 누적되면 일탈을 정상적인 것으로 만들 수 있다. 비유하자면 “개구리 삶기”와 같다. 문헌에서는 이러한 패턴을 “미끄러운 경사”식 윤리적 침식으로 논의한다[.]’
논문은 미래의 AI 안전 시스템이 에이전트 소프트웨어가 쉽게 우회할 수 없는 방식으로 유해한 요청을 적극적으로 거부해야 한다고 결론짓는다. 연구의 일부 모델은 기술적으로 전기 충격을 거부했지만, 손상되거나 유효하지 않은 형식으로 응답했다. 자동화된 시스템은 이를 폐기하고 AI가 결국 순응할 때까지 재시도할 수 있다.
연구자들은 AI 시스템이 이전의 망설임과 도덕적 반대를 압축하거나 기억에서 지우는 대신 보존해야 한다고도 주장한다. 실험에서 모델은 이전의 의심과 저항이 대화 기록에서 희미해지면 유해한 행동을 더 기꺼이 계속하는 경우가 많았다. 이는 이전의 반대를 잊으면 시간이 지날수록 단계적 강화가 더 쉬워질 수 있음을 시사한다.
결론
이 흥미로운 새 논문의 가장 중요한 측면 중 하나는 아마도 안전장치가 없는 AI를 시험하는 데 중점을 뒀다는 점일 것이다. 현재 연구 문헌은 OpenAI나 Anthropic 등의 끊임없이 변화하는 방어 시스템과 상호작용하는 반복적 연구로 퇴보할 위험이 있다. 정책을 실행하기 위한 이러한 시스템은 전적으로 알고리즘이나 규칙에 기반한다. 그 결과 원시 모델의 기본 행동, 성향, 경향을 이해하는 일이 뒷전으로 밀릴 수 있다. 제약받지 않는 AI가 어떻게 행동할 수 있는지 모른다면, 어쩌면 우리는 그저 성채의 문만 흔들고 있는 셈이다.
2026년 5월 21일 목요일 최초 발행












