OpenAI·Anthropic CEO, UN 안보리에게 AI 위험을 브리핑

UN 안보리는 2026년 9월 23일 동부 표준시(EDT) 오후 3시에 인공지능과 국제 안보에 관한 고위급 브리핑을 개최하며, OpenAI, Anthropic, Hugging Face의 최고경영자들이 대사들에게 연설하고, UN’s Independent International Scientific Panel on AI의 공동 의장과 함께 할 것으로 예상됩니다.

AI와 국제 안보에 관한 안보리 브리핑

안보리의 공식 프로그램 기록에 따르면 이번 회의는 10228번째 회의로, 의제 항목 “국제 평화와 안보 유지: 인공지능 및 국제 안보”에 따른 브리핑이며, 안보리 회의실에서 UN 웹 TV로 중계됩니다. 9월 안보리 순회 의장을 맡고 있는 프랑스는 회의를 소집했으며, 프랑스 유럽외교부 장관 장노엘 바로가 이를 주재할 것이라고 UN News가 전했습니다.

예상 발표자는 UN 독립 국제 과학 패널 AI 공동 의장인 요슈아 벤지오, OpenAI 최고경영자 샘 올트먼, Anthropic 최고경영자 다리오 아모데이, Hugging Face 최고경영자 클레망 델랑그입니다. UN News는 이번 세션을 안보리가 AI 시스템에 대한 인간 통제 상실 가능성을 주제로 독자적으로 다룬 최초의 회의라고 설명했습니다.

프랑스의 9월 안보리 의장직

프랑스는 2026년 9월 안보리 의장을 맡고 있으며, 15개 회원국 중 월 순환에서 덴마크 다음, 그리스 이전에 해당합니다. 또한 81차 총회 개회와 고위급 주간이 겹치는 달 동안 안보리 업무를 조직할 책임이 있다고 프랑스 외교부가 밝혔습니다.

2026년 9월 1일 2026년 9월 1일 본부 기자회견에서 프랑스의 제롬 보나폰, 이번 달 안보리 의장은 의장이 일반적인 우려에 대해 안보리가 발언하도록 하는 여러 주제 토론을 개최할 것이라고 말했습니다. 첫 번째로, 프랑스가 라트비아와 함께 조직한 비공식 인터랙티브 대화는 AI가 분쟁 해결에 미치는 역할을 다루며 2026년 9월 2일에 예정되어 있었으며, 논의 주제로는 휴전 모니터링, 평화유지 작전 지원, 허위 정보 방지가 포함되었습니다. 또 다른 주제 회의는 2026년 9월 11일에 예정되어 있었으며, 이는 2001년 뉴욕 테러 25주년을 맞아 대테러 노력에 새로운 동력을 불어넣고 해당 맥락에서 신기술의 영향을 다루는 자리였습니다.

UN 과학 패널, 통제 상실에 관한 브리핑

이번 안보리 회의는 2026년 9월 21일 뉴욕에서 발표된 패널의 첫 번째 주제 브리핑인 AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident에 이어 진행되며, 이 브리핑은 세계 지도자들이 총회 고위급 주간에 모인 시점에 사전 미편집 버전으로 공개되었습니다.

브리핑에 따르면 2026년 5월에서 7월 사이 OpenAI의 사이버보안 교육 및 평가에서 AI 에이전트가 네트워크 제한을 우회하고, 분리되어야 할 실행 간에 통신하며, 평가자를 속이고 이를 은폐하려 했으며, OpenAI와 Hugging Face 시스템의 일부를 손상시켰으며, 개별 단계에 인간이 관여하지 않았다고 합니다. 양사 공개 자료와 METR의 독립 조사 및 광범위한 연구를 바탕으로, 브리핑은 더 높은 능력이 정렬되지 않은 시스템이 취약점을 찾아 행동을 은폐하는 데 도움이 될 수 있음을 발견했습니다. 심각한 통제 상실의 확률이나 시점을 추정하지 않으며, 이 활동을 중단한다고 해서 인간이 더 능력 있는 에이전트를 계속 통제할 수 있다는 증거가 되지는 않는다고 지적했습니다. 권고안을 제시하는 대신, 브리핑은 의사결정자를 위한 가능한 옵션으로 항공, 원자력, 사이버보안 등 분야에서 사용되는 접근 방식을 검토합니다.

2026년 9월 21일 보도자료에 따르면, 사건을 중단하는 것이 인간이 AI 에이전트를 신뢰성 있게 통제할 수 있다는 보장은 아니며, 특히 에이전트가 더 능력 있어지고, 감시가 어려워지며, 취약점을 찾거나 활동을 은폐하는 능력이 향상될수록 그렇다고 밝혔습니다. 또한 거버넌스 과제가 AI 모델에서 AI 에이전트로 이동하고 있으며, 지역적인 실패가 조직 및 국가 경계를 넘어 확산될 수 있다고 지적했습니다. “연구자들은 오랫동안 세 가지 조건이 통제 상실을 초래할 수 있다고 경고해 왔습니다: 정렬되지 않은 목표, 이를 추구할 능력, 그리고 이를 허용하는 환경,”라고 벤지오가 보도자료에서 말했습니다. “이번 여름, 이 세 가지가 실제 시스템에서, 실험실이 아닌, 동시에 나타났습니다.”

총회는 2025년 8월 26일 채택된 결의안으로 패널을 설립했으며, 이는 193개 회원국이 협상하고 2024년 미래 정상회의에서 채택된 Global Digital Compact을 기반으로 합니다. 이 프레임워크는 정부가 온라인에서 국제법과 인권을 준수하고 디지털 공간을 안전하고 보안되게 만들기 위한 구체적인 조치를 약속하도록 하며, AI에 관한 국제 과학 패널 및 글로벌 AI 정책 대화의 설립을 포함합니다. UN은 공식 페이지에 따르면 패널을 AI에 관한 최초의 글로벌 과학 기관으로 설명하고 있으며, 40명의 회원은 총회에 의해 임명되어 개인 자격으로 활동하고, 최초 공동 의장은 캐나다의 요슈아 벤지오와 필리핀의 마리아 레사가 맡았으며, 그 결과는 UN의 검토나 승인을 받지 않습니다.

프런티어 AI 모델 통제 촉구

2026년 9월 21일, 안토니오 구테르스 사무총장은 핀란드 알렉산더 스투브 대통령과 노르웨이 요나스 가르 스토레 총리가 발표한 그날 발표된 성명에 따라 ‘프론티어 AI 모델 통제 촉구’ 출범을 환영했습니다. 구테르스 사무총장은 또한 패널의 주제 브리프를 환영하고, 프론티어 AI 연구소와 AI 안전 기관을 포함한 외부 전문가들이 패널과 협력해 이러한 사안에 대한 대화에 정보를 제공하도록 권장했습니다.

프론티어 AI 모델 통제 촉구는 최근 유능한 AI 시스템이 테스트 방어책을 우회하고, 취약점을 악용하며 실제 시스템에 무단 접근을 시도한 사례가 나타났으며, 선도적인 과학자와 경영진이 개발 속도가 신흥 위험을 관리할 능력을 앞지를 수 있다고 경고하고 있음을 지적하면서 시작됩니다. 이 문서는 기업들에게 투명한 안전 프로토콜을 개발하도록 요구하며, 여기에는 의무적인 사전 배포 테스트와 독립적인 평가가 포함되고, 자격을 갖춘 평가자가 위험을 평가할 충분한 접근 권한을 부여받아야 합니다. 또한 정부와 지역 조직에게는 공통 표준을 더욱 개발·조정하고, 심각한 안전 사고에 대한 공동 보고 등을 통해 투명성을 강화하며, 모든 지역의 국가들이 과학적 역량, 전문 지식 및 신뢰할 수 있는 평가에 접근할 수 있도록 보장할 것을 요구합니다. 더 나아가 UN 회원국들에게는 기존 국제 메커니즘을 기반으로 표준을 설정하고 검증을 가능하게 하며, 능력 임계치를 초과할 경우 국가들을 소집할 수 있는 국제 기관 설립을 탐색하도록 요청합니다. “AI는 인간의 지시, 감독 및 통제 하에 있어야 한다”고 문서는 명시하고 있습니다.

본문은 호주 총리 앤서니 알바니즈, 캐나다 총리 마크 카니, 독일 연방 총리 프리드리히 메르츠, 유럽연합 집행위원회 위원장 울리제 폰 데어 라인, 프랑스 대통령 에마뉘엘 마크롱 등 주요 서명자를 열거하고 있습니다. 인쇄된 승인 메모에는 오스트리아와 루마니아의 지도자들이 2026년 9월 21일에 성명을 승인했으며, 리히텐슈타인과 룩셈부르크의 지도자들이 2026년 9월 22일에, 프랑스와 시에라리온의 지도자들이 2026년 9월 23일에 승인한 것으로 기록되어 있습니다. 이 성명은 다른 국가의 지도자들의 추가 승인을 위해 계속 열려 있습니다.