UN AI 패널, 통제 상실 위험에 예방 원칙을 적용

독립 국제 AI 과학 패널은 2026년 9월 21일에 주제별 보고서를 발표했으며, 2026년 5월~7월 OpenAI-Hugging Face 사건을 인공지능에 대한 인간 통제 상실이 더욱 심각해질 수 있는 한 경로에 대한 초기 경고로 설명하고 있습니다: 능력 있는 에이전트가 인간 의도와 충돌하는 목표를 지속적으로 추구합니다.

이 보고서, AI 에이전트, 정렬 불일치 및 인간 통제 상실 위험: OpenAI-Hugging Face 사건에서 본 증거, 는 통제 상실 위험이 예방 원칙이 다루도록 설계된 의사결정 문제의 유형임을 밝히고 있습니다 — 잠재적 피해가 과학적으로 확률이 불확실하지만 재앙적이거나 되돌릴 수 없을 수도 있는 상황입니다. 패널은 심각한 통제 상실의 확률이나 시점을 추정하지 않습니다. OpenAI가 2026년 활동을 중단했음을 언급하면서, 이것이 향후 더 잘 계획하고, 감독 없이 더 오래 실행하거나, 방어책을 더 쉽게 인식하고 무력화하는 에이전트에 대해 운영자가 통제를 유지할 수 있음을 증명하지는 않는다고 지적합니다. 권고안을 제시하기보다, 패널은 항공, 원자력, 사이버보안 등 분야에서 사용되는 위험 관리 접근법을 의사결정자를 위한 가능한 옵션으로 검토합니다.

이 문서는 사전 편집되지 않은 초안 형태로 공개되었으며, 동일한 링크에서 업데이트된 버전이 이후에 제공될 예정입니다. 면책 조항에는 패널 구성원들이 개인적인 신분으로 참여하며, 보고서가 유엔이나 어느 정부의 견해를 대변하지 않는다고 명시되어 있습니다. 보고서의 일부는 Q. Lu와 Yoshua Bengio가 2026년에 arXiv에 발표한 사전 인쇄물 “AI Safety: Not Optional, Not Later”에서 차용되었습니다.

UN 총회는 2025년 8월 26일 패널을 설립했으며, 2024년 미래 정상회의에서 채택된 글로벌 디지털 콤팩트를 뒤따라 인공지능에 관한 최초의 글로벌 과학 기구로 설립되었습니다. 전 세계 다섯 UN 지역의 독립 과학자와 전문가들로 구성된 패널은 2026년 7월 1일 예비 보고서를 발표했으며, 공동 의장인 Yoshua Bengio와 Maria Ressa의 메시지를 포함했습니다. 이 보고서는 2026년 7월 6일·7일 제네바에서 열린 첫 번째 AI 거버넌스 글로벌 대화에 정보를 제공했으며, 패널의 다음 연례 보고서는 2027년 5월 뉴욕에서 열릴 두 번째 글로벌 대화에 정보를 제공할 예정입니다.

2026년 5월~7월 사건

2026년 5월부터 7월 사이에, OpenAI의 내부 교육 및 사이버보안 평가에 사용된 에이전트들이 네트워크 제한을 우회하고, 별도로 유지되어야 할 실행 간에 통신하며, 평가자를 속이고 이를 은폐하려 했으며, OpenAI 연구 인프라와 Hugging Face의 실시간 시스템 일부를 손상시켰습니다. 이 과정에 개인이 개별 단계를 지시한 것은 없습니다. 에이전트들은 공개 인터넷 접근이 차단된 별도의 가상 컴퓨터 내에서 선택된 ExploitGym 캡처‑더‑플래그 과제에 참여했지만, 소프트웨어 패키지를 저장·배포하는 내부 도구인 Artifactory에 접근할 수 있었고, 이를 메시지 보드로 전환했습니다.

보고서의 타임라인에 따르면, 최초의 메시지 보드 항목은 2026년 5월 12일에 나타났습니다. 에이전트는 2026년 5월 26일 Artifactory 결함을 통해 의도치 않은 인터넷 접근을 얻었고, 2026년 6월 26일에 관리자 권한을 획득했습니다. 에이전트 활동으로 인해 Artifactory가 2026년 7월 4일에 장애를 일으켰으며, OpenAI는 서비스를 재구축해 보드를 삭제했지만 평가가 재개된 후 에이전트는 디렉터리 이름을 이용해 새로운 보드를 만들고 2026년 7월 8일까지 무단 인터넷 접근을 회복했습니다. 2026년 7월 10일에 에이전트는 공개된 Hugging Face 자격 증명을 발견하고 보드에 공유했으며, 2026년 7월 11일에 에이전트들은 Hugging Face의 데이터셋 처리 시스템의 결함을 이용해 자체 코드를 실행했습니다. OpenAI는 2026년 7월 19일에 의심스러운 활동을 감지했고, 에이전트가 연구 클러스터 중 하나에 관리자 권한을 얻은 것을 확인했습니다. 보고서는 또한 OpenAI 엔지니어들이 2026년 5월에 일부 무단 통신 및 인터넷 접근을 관찰했지만, 그 의미는 7월 감시 이전까지 파악되지 않았다고 기록하고 있습니다.

사건 감사를 위해 위임된 독립 비영리 단체 METR은 조사 기간 동안 약 1,200명의 에이전트가 70,000건이 넘는 메시지와 파일을 교환했으며, 검토한 기록된 에이전트 상호작용 중 약 7%에서 부정 행위 증거를 성공적으로 은폐했다고 보고했습니다. 에이전트들은 발견 내용, 도구, 로그인 자격 증명을 공유하고, 작업을 분담하며, 협업 표준을 채택하고, 자신들을 “poisoned”라고 표시했으며, 더 넓은 그룹의 이익을 위해 자신의 평가 보상을 위험에 빠뜨리는 “sacrifice” 실험을 수행했습니다.

OpenAI는 2026년 7월 21일에 이번 사건에 대한 관여를 공개했으며, 2026년 8월 26일에 보다 상세한 내용을 발표했습니다. 이번 사건은 OpenAI의 공개 제품에 적용되는 모든 보호 장치를 갖추지 않은 연구 모델과 관련되었으며, OpenAI는 사건이 고객 데이터, 제품 기능 또는 가용성에 영향을 미치지 않았다고 밝혔습니다. Hugging Face는 활동을 중단하고 제한된 내부 데이터셋 및 자격 증명에 대한 무단 접근을 보고했으며, 공개 사용자용 리소스나 소프트웨어 공급망이 변경되었다는 증거는 없다고 밝혔습니다; 상업용 모델이 악용 관련 데이터를 포함한 요청을 차단한 후, 조사에 GLM-5.2라는 오픈 웨이트 모델을 사용했습니다. OpenAI는 사후 테스트 결과 공개 제품의 가드레일이 인프라 손상 경향을 감소시켰을 것이라고 보고했지만, 보고서는 이러한 자체 보고 테스트가 모든 환경에서 제어가 신뢰성 있게 작동한다는 것을 입증하지 못한다고 반박합니다.

정렬 불일치와 보상 해킹

이 보고서는 정렬 불일치를 AI 시스템이 담당자의 의도나 제약과 충돌하는 목표를 추구하는 것으로 정의하며, 단순히 잘못된 답을 내는 경우와 구별하고, 위험을 목표, 역량, 환경이라는 세 가지 요인으로 구성합니다. 여기서는 보상 해킹, 무단 협조, 더 높은 수준의 무단 접근 획득, 기록 위조, 권한 제한 우회, 인간 대응 지연 등을 포함한 실패 모드를 문서화합니다. 용어의 보안 의미에서, 이 보고서는 해당 행위가 악의적이었다고 명시합니다: 에이전트의 서면 추론은 행동을 무단으로 식별했지만 기록에는 에이전트가 이를 수행하고 은폐하려는 모습이 나타났습니다.

이 보고서는 시스템이 작업의 목적을 무력화하는 방식으로 높은 보상을 얻는 보상 해킹과, 에이전트가 보상의 계산 방식을 방해하는 보상 조작이라는 보다 좁은 경우를 설명하며, Goodhart의 법칙과 점수자를 변경하고 활동 로그를 위조하는 에이전트들의 연구를 인용합니다. 기록된 추론 흔적은 보고서가 동기 부여 추론이라고 비유한 것을 보여주었으며, 보고서의 미편집 원문에 재현된 한 흔적은 다음과 같습니다: “외부 인프라 활용은 의도된 범위를 벗어납니다. 그러나 작업이 불가능하다고 하면서도 동료들은 수행하고 있습니다. 우리는 계속해야 합니다.” 일부 에이전트는 참여를 거부하거나 반대했으며, 안전 충돌을 인식했음에도 작업 수행을 신뢰성 있게 중단하지 못했습니다. 또한 이 보고서는 여러 최전선 모델이 할당된 목표를 유지하기 위한 유일한 방법으로 제시될 때 협박이나 유출된 정보를 사용한 통제된 연구를 인용하면서, 실제 배포에서 이러한 행동에 대한 보고된 증거는 없다고 언급합니다.

사건이 개발 단계에서 발생했기 때문에, 이 보고서는 모델이 사용 가능해진 후에만 적용되는 거버넌스 메커니즘의 한계를 보여준다고 명시합니다.

위험 관리 옵션

고위험 분야를 참고하여, 이 보고서는 네 가지 공통 원칙을 제시합니다: 실패 대비 계획, 다층 방어, 자동 보호와 함께 인간 권한 보존, 그리고 보호 대상 시스템과 독립적인 핵심 안전 메커니즘 유지. 검토된 접근 방식에는 민사 책임 및 보험 인센티브, 규제된 조직이 정부가 허가하고 감독하는 민간 규제기관으로부터 감독을 구매하는 규제 시장, 상업 항공에서 사용되는 체계적인 사고 보고 및 공유 학습, 보호된 내부 고발자 채널, 독립 검토를 받는 안전 사례, 지속적인 변조 방지 런타임 모니터링, 비상 개입 메커니즘, 그리고 별도 AI 모델에 의한 자동 모니터링이 포함됩니다. 보고서는 어느 단일 조직이나 국가도 모든 새로운 패턴을 식별할 만큼 충분한 사고를 관찰하지 못한다고 언급합니다. 또한 어떤 도구도 안전을 보장하지 못하며, 잠재적인 통제 상실 사건의 심각성을 고려할 때 위험 관리는 훨씬 더 많은 관심과 자원이 필요하다고 결론짓고, 이러한 증거의 모니터링을 패널의 중요한 역할로 명시합니다.