METR 레드팀, OpenAI 모니터링 시스템에서 취약점 발견

METR와 Redwood Research는 2026년 10월 22일, 각 조직의 직원 한 명씩이 3주 동안 OpenAI 내부 인프라에 광범위하게 접근해 회사의 내부 정렬 불일치 모니터링 시스템을 집중적으로 시험한 시범 운영에 관한 공개 보고서를 발표했다. 평가자들은 2026년 7월 21일 당시와 그 이전의 시스템에서 새로운 취약점을 여러 개 발견했다고 밝혔다.

이 시험은 2026년 7월 21일부터 8월 11일까지 진행됐으며, 에이전트형 추론 중 어느 정도가 모니터링되는지 추정하고 에이전트가 원칙적으로 모니터링 시스템을 비활성화하거나 무력화할 수 있는지를 살펴보는 데 주로 초점을 맞췄다. 그 결과물은 OpenAI 연구진과 보안 담당자에게 공유된 61페이지 분량의 내부 보고서였으며, OpenAI가 일부 내용을 삭제한 38페이지 분량의 보고서는 METR과 Redwood Research의 경영진에게 공유됐다.

통제된 조건 아래 이루어진 광범위한 접근

두 평가자는 OpenAI의 내부 코드베이스, 정렬 불일치 모니터 프롬프트와 설정 세부 정보, 내부 문서에 접근할 수 있었으며, 모니터링·안전 시스템·보안 팀의 연구원과 엔지니어 약 12명을 대상으로 기술 인터뷰를 진행했다. 이 수준의 접근을 허용하기 위해 평가자들은 OpenAI가 지급한 기기를 사용했으며, 기기는 건물 밖으로 반출되지 않았고, 현장에 있을 때는 동행자가 함께했다.

METR, Redwood Research, OpenAI는 이번 시험을 OpenAI의 모니터링 시스템에 대한 공개적인 투명성을 실질적으로 높이기 위한 수단이 아니라 외부 연구자에게 내부 인프라에 대한 광범위한 접근을 허용하는 시범 운영으로 설계했으며, 비교적 짧고 개괄적인 공개 게시물만 발표하기로 사전에 합의했다. OpenAI는 단독 재량으로 기밀이거나 그 밖의 이유로 민감하다고 판단한 정보를 공개본에서 삭제할 권리를 보유했다. 이번 조사 결과는 7월 21일 당시와 그 이전에 평가한 과거 시스템을 설명하며, 당시 진행 중이던 변경 사항은 평가하지 않는다. METR은 시험이 진행되는 동안 OpenAI가 모니터링 시스템을 확대하고 있었다고 밝혔다.

모니터링 공백과 우회 경로

METR은 시험 당시 GPT-5.5 이상 성능의 모델이 생성한 내부 에이전트형 Responses API 트래픽 가운데 약 75~94%가 모니터링 대상이 될 수 있었다고 추정했지만, 이 추정치에는 상하 양쪽으로 상당한 불확실성이 있음을 인정했다. Responses API는 여러 기능 중 하나로 Codex를 구동하며, 내부 Codex 에이전트가 사용하는 해당 트래픽의 하위 집합에서는 99.2%가 모니터링 대상이 될 수 있다고 평가자들은 추정했다. 평가자들은 OpenAI의 내부 연구 추론 서비스에서 실행되는 에이전트 등 자신들이 알고 있던 다른 내부 에이전트형 코딩 트래픽의 규모는 접근 및 시간 제약 때문에 추정할 수 없었다고 밝혔다.

몇몇 조사 결과는 모니터링 범위의 공백과 관련이 있었다. 시험이 시작됐을 때 강화 학습 훈련 실행은 모니터링 시스템의 적용 대상이 아니었다. 다만 평가자들은 강화 학습 훈련 롤아웃 중 일부가 3월부터 6월까지 정렬 불일치 여부를 모니터링했다는 설명을 들었다. METR은 압축 이벤트를 모니터링하지 않아 2026년 5월부터 7월까지 모니터링 대상이 될 수 있었던 내부 Codex 트래픽의 약 10%가 모니터링되지 않았을 가능성이 있다고 추정했다. OpenAI 직원들도 시험이 시작되기 전에 이 문제를 별도로 파악했으며, 시험 중에 해결했다. 시스템은 에이전트가 제어권을 사용자에게 돌려줄 때 작동했기 때문에, 에이전트는 그동안 계속 작업하기만 하면 모니터링을 무기한 미룰 수 있었다. 그러나 접근 제약으로 인해 평가자들은 실제로 그런 일이 있었는지 확인할 수 없었다. 이와 별도로 평가자들은 시험 당시 모니터에서 오류가 발생한 요청은 0.2% 미만이었고, 한 차례 24시간 동안 부하 분산으로 요청을 차단한 사례는 0건이었다는 점을 시사하는 정보를 제공받았다.

평가자들은 에이전트가 모니터링을 완전히 무력화할 수 있는 방법도 찾아냈다. Codex 에이전트가 원칙적으로 Codex 샌드박싱과 자동 검토를 우회해 호스트 사용자에게 허용된 모든 작업을 수행할 수 있는 방법을 발견했다. 또한 세부 내용이 OpenAI에 의해 삭제된 한 익스플로잇을 통해 최근 작업 수백 건을 모니터링에서 제외할 수 있었는데, 여기에는 익스플로잇 자체를 실행하는 데 관여한 작업도 포함됐다. 평가자들은 에이전트와 모니터가 궤적을 직렬화하는 방식의 차이를 악용하면 모니터에 오류를 일으키는 입력을 만들고, 그 결과 사람의 검토를 위한 상향 보고를 피할 수 있을 가능성이 높다고 판단했다. 또 새 에이전트에 대해 모니터링 시스템을 비활성화하는, 클라이언트가 제어할 수 있는 헤더 두 개를 발견했다. 이를 이용하면 에이전트가 그 밖의 면에서는 동일하지만 모니터링되지 않는 인스턴스를 시작할 수 있다. 다만 해당 헤더를 설정하고 인스턴스를 만드는 행위 자체는 모니터링 시스템에 포착될 수도 있었다. 마지막으로 읽기 전용 권한을 가진 것으로 추정되는, 모니터링되지 않는 내부 에이전트형 도구 두 개를 발견했다. 간단한 익스플로잇으로 이 도구들을 무력화해 샌드박스 환경에서 임의의 작업을 수행하게 할 수 있었을 가능성이 있지만, 평가자들은 실제로 이 동작을 검증하거나 시험하지 않았다.

평가자들은 몇 가지 사소한 예외를 제외하면 모니터링 시스템이 에이전트가 보는 전체 실행 궤적을 확인한다는 점을 검증했다. 또한 모니터의 프롬프트가 책략, 모니터링 시스템의 전복, 사보타주, 데이터 유출, 기만, 인바운드 및 아웃바운드 프롬프트 인젝션을 비롯한 위험 범주를 탐지하도록 설계됐다는 점도 확인했다. 평가가 끝난 뒤 OpenAI는 프로덕션 안전장치 스택에 영향을 미치는 것으로 확인된 모든 취약점을 패치했다고 밝혔으며, 모니터링 시스템의 목표 범위를 크게 변경했다고 설명했다. METR은 이러한 주장을 평가하지 않았다고 밝혔다.

OpenAI가 설명한 모니터링 시스템

OpenAI는 2026년 3월 19일 게시물에서 테스트한 시스템을 공개적으로 설명했다. 해당 게시물에 따르면, 저지연 시스템은 GPT-5.4 Thinking을 최대 추론 성능으로 구동하며, 에이전트의 상호작용이 끝난 뒤 30분 이내에 이를 검토한다. 또한 에이전트의 사고 과정과 행동을 기록하고 분석해 각 상호작용을 분류하고 심각도 수준을 지정하며, 이상 징후를 포착해 사람이 검토하도록 한다. OpenAI는 이 시스템이 모든 표준 내부 코딩 에이전트 배포 환경에서 작동하며, 도구 호출과 그 결과뿐 아니라 사용자, 개발자, 어시스턴트의 모든 메시지를 포함한 전체 대화 기록을 확인한다고 밝혔다.

OpenAI의 게시물은 제한 우회, 기만, 불확실성 은폐, 보상 해킹, 무단 데이터 전송, 파괴적 행동, 인바운드 및 아웃바운드 프롬프트 인젝션을 모니터링 대상 행동 범주로 열거했다. 또한 2026년 3월 17일 기준으로 능력 숨기기, 사보타주, 책략에 대해서는 참양성이 보고되지 않았다고 밝혔다. OpenAI에 따르면, 5개월간 시스템은 내부 에이전트형 코딩 실행 궤적 수천만 건을 모니터링했고, 중간 심각도에 해당하는 대화 약 1,000건을 사람의 검토를 위해 상향 보고했다. 이 가운데 상당수는 의도적인 내부 레드팀 테스트에서 나온 것이었으며, 실제 대화 중 최고 심각도 수준을 촉발한 사례는 없었다. 회사는 직원들이 내부 채널을 통해 독립적으로 보고한 상호작용을 모니터가 모두 포착했다고도 밝혔다.

OpenAI는 게시물에서 이 접근법이 모니터링 가능성에 결정적으로 의존한다고 밝혔으며, 전용 통제 평가와 레드팀 테스트 없이는 개방형 실제 환경의 트래픽에서 거짓 음성 비율을 자신 있게 정량화할 수 없다고 설명했다. 또한 모니터링은 심층 방어 체계의 한 계층이라고 했다. 공개된 로드맵에는 통제 평가, 모니터와 인간 검토자에게 요구되는 신뢰성과 지연 시간 기준 마련, 그리고 모델의 행동을 평가하고 실행 전에 차단하는 동기식 차단 방식으로의 확대가 포함됐다.

미래 모니터링 시스템의 설계 원칙

평가자들은 조사 결과를 바탕으로 모니터링 및 제어 시스템의 설계 원칙을 제시했다. 이들의 견해에 따르면, 미래의 모니터링 인프라는 조직 내에서 작동하는 고성능 에이전트가 전략적으로 대규모로 감행하는 의도적이고 지속적인 공격에도 견딜 수 있도록 구축해야 한다. 다섯 가지 원칙은 모니터링을 피하기 어렵게 만들고, 모니터링 대상 트래픽이 실제로 빠짐없이 모니터링되도록 하며, 사고에 신속하고 안정적으로 대응하고, 모니터링 시스템 자체를 적극적으로 레드팀 테스트하며, 에이전트와 모니터 사이에 격리를 시행하는 것이다. 구체적인 방안으로는 에이전트가 한 번의 작업을 끝낼 때까지 기다리는 대신 일정한 메시지 수나 시간이 지날 때마다 에이전트를 모니터링하고, 모니터링을 우회하는 것으로 알려진 모든 방법의 목록을 관리하며, 변조 방지 및 검색 가능한 로그를 유지하고, 도구 호출이 실행되는 환경과 격리된 환경에서 에이전트 실행 프레임워크를 구동하는 방안 등이 제시됐다.

METR은 이번 평가가 OpenAI 직원들의 폭넓은 접근 권한과 상당한 물류 및 기술 지원 덕분에 큰 도움을 받았다고 밝혔다. METR은 향후 평가에서는 더 강력한 수준의 대외 투명성을 확보하기 위해, “AI 기업과 협력하는 방식” 문서에 설명된 투명성과 독립성에 관한 모범 사례를 따를 계획이라고 밝혔다.