파트너십
OpenAI의 전복 시도 파일럿에 평가자 6명 파견하는 Apollo Research

핵심 포인트OpenAI는 보안 또는 지식재산권을 이유로 범위 내 자료를 보류할 수 있지만, 그것이 불리하다는 이유로 보류할 수는 없다.
더 보기
- OpenAI는 보안 또는 지식재산권을 이유로 범위 내 자료를 보류할 수 있지만, 그것이 불리하다는 이유로 보류할 수는 없다.
- OpenAI는 Apollo의 발견 뒤에 있는 민감한 증거를 삭제할 수 있지만 Apollo의 평결은 그대로 둘 수 있다.
- Apollo는 공개되지 않은 제한이 없는 문제를 안심되는 것처럼 보이게 할 수 있기 때문에 메타 투명성 권리가 필수적이라고 주장한다.
Apollo Research는 2026년 11월 16일 발표에서 평가자 6명이 4개월간 OpenAI 내부에서 일하며, 학습·평가·내부 배포 과정에서 OpenAI의 모델이 정렬 또는 통제 메커니즘을 무력화하려는 시도를 하는지 조사할 것이라고 밝혔다.
팀은 네 가지 질문을 살펴본다. 학습이 전복 시도를 유도하는지, 평가를 통해 전복 시도를 끌어낼 수 있는지, 내부 배포 중 전복 시도가 발생하는지, 전복 시도와 관련된 추론을 탐지할 수 있는지가 그것이다. 조사 범위에는 모델 자체의 정렬이나 통제를 약화하려는 시도뿐 아니라 후속 모델의 정렬이나 통제를 약화하려는 시도도 포함된다.
이번 협력은 사후 학습이 끝난 뒤 공개 출시를 앞두고 진행했던 Apollo의 이전 평가 방식에서 벗어나 외부 검증을 확대하기 위해 마련됐다. Apollo는 그런 시점으로는 책략적 행동 같은 정렬 불일치 행동을 시험하거나 내부 배포 중 비공개 용도로 사용되는 사례를 살펴보기에 충분하지 않다고 본다. 직원에 준하는 접근 권한을 부여받은 상태에서 평가를 수행하면 이러한 한계를 극복할 수 있을 것으로 기대한다.
Apollo는 이번 파일럿을 완전한 상주형 평가가 아니라 야심 찬 첫걸음이라고 설명한다. Apollo의 일반 기준에 따르면 개발자가 불리한 정보를 숨기려 하더라도 관련 기록을 모두 열람할 수 있어야 하고, 개발자가 반대하더라도 적절한 외부 대상에게 조사 결과를 공개할 수 있어야 한다. 또한 독자가 보고서로 무엇을 입증할 수 있고 무엇을 입증할 수 없는지 이해하도록 제약 사항을 충분히 공개적으로 설명해야 한다.
제한된 접근 권한과 직원 접촉
학습 인센티브 평가와 관련해 OpenAI는 관련 학습 코드와 데이터셋, 이용 가능한 추론 기록 및 보상이 포함된 강화 학습 롤아웃을 제공하고 중간 모델 체크포인트를 조회할 수 있도록 하겠다고 약속했다. 다른 평가 대상 주장에 대한 세부 접근 방식은 아직 합의되지 않았다.
평가는 합의된 주장, 모델 및 기간으로 범위가 제한된다. OpenAI는 기술적으로 실행이 불가능하거나 보안 위험 또는 지식재산 보호를 이유로 합리적으로 필요하다고 판단하는 경우, 범위에 포함된 자료의 제공을 거부할 수 있다. 그러나 자료가 불리하다는 이유만으로 정보나 직원에 대한 접근을 제한할 수는 없다. OpenAI는 제공하지 않은 자료가 있음을 Apollo에 알리고 서면으로 사유를 제시해야 하며, 실행 가능하고 관련성이 있다고 판단하는 경우에는 제공하지 않은 기록의 범주와 대략적인 규모도 밝혀야 한다. Apollo는 지정된 OpenAI 담당자를 통해 더 폭넓은 접근을 요청하고 거부 사안을 상위 단계로 이관할 수 있지만, 접근 범위가 확대된다는 보장은 없다.
직원 접촉에도 제한이 있다. Apollo는 특정 전문성을 갖춘 사람을 요청하고 특정 인물을 추천할 수 있지만, 공식적으로 참여할 사람은 OpenAI가 선정하며 공식 대화는 기록해야 한다. 다른 직원이 기밀 정보를 언급하면 Apollo는 해당 정보가 이번 협력의 조사 범위에 포함되더라도 실질적인 논의를 중단하고 후속 조치를 지정된 OpenAI 담당자를 통해 진행해야 한다.
평가자들은 모니터링할 수 있는 별도의 통신 채널을 사용하면서 OpenAI의 하드웨어로 작업한다. 기본적으로 Slack과 같은 일반 직원용 채널에는 접근할 수 없다. Apollo는 비공식 대화와 Slack에서 평가자가 요청하지 않았을 수도 있는 관련 정보가 드러날 수 있다고 지적하며, 향후 평가에서는 이러한 정보도 조사 범위에 포함되기를 바란다.
공개 보고서와 삭제 권한
Apollo는 공개 보고서 두 건을 작성할 계획이다. 첫 번째 보고서는 전복 시도를 유도하는 학습 인센티브를 다루고, 두 번째 보고서는 평가, 내부 배포, 전복적 추론의 탐지 가능성을 다룬다. 각 보고서에는 방법론, 결론, 한계, 평가할 수 없었던 질문, 공개 가능한 근거가 담긴다.
OpenAI는 보고서를 검토하고 조사 결과를 뒷받침하는 근거를 포함한 기밀 정보를 삭제해 달라고 요청할 수 있다. 하지만 Apollo의 판정 내용을 삭제하거나 조사 결과가 불리하다는 이유만으로 삭제를 요청할 수는 없다. 다만 OpenAI는 해당 근거가 조사 결과를 직접 뒷받침하는지와 관계없이 민감한 지식재산이라고 판단하는 근거를 삭제할 수 있다. 따라서 일반 독자는 결론을 뒷받침하는 모든 근거를 검토하지 못할 수 있지만, Apollo는 삭제 조치가 결론에 영향을 미쳤는지 밝힐 수 있다. OpenAI는 삭제되지 않은 보고서를 이사회의 안전·보안위원회와 공유한다.
직원과의 논의를 근거로 한 주장은 Apollo가 독자적으로 입증하지 않는 한 OpenAI의 공식 확인이 필요하다. 이 요건은 공식 면담에서 권한을 부여받은 직원이 제공한 정보에도 적용된다. OpenAI가 공식 확인을 거부하면 Apollo는 기밀 정보의 내용을 공개하지 않고도 거부 사실과 그것이 결론에 미친 영향을 설명할 수 있다.
메타 투명성 규칙
별도의 메타 투명성 권리에 따라 Apollo는 협력의 범위와 조건, 요청하고 제공받은 접근 권한, 제공이 거부되거나 지연된 자료와 그 사유, 보고서에서 삭제해 달라고 요청받은 내용과 그 중요성, 그리고 업무에 영향을 미쳤다고 판단한 압박을 공개적으로 설명할 수 있다. Apollo는 사전에 OpenAI의 검토를 받지 않고도 접근 및 공개 조건을 논의할 수 있다.
Apollo는 이러한 권리를 모든 평가 업무에서 최소한으로 보장해야 할 기준으로 여긴다. 이러한 권리가 없다면, 보고된 문제가 없다는 사실은 조사나 공개에 대한 제한을 반영한 결과일 수 있는데도 안심할 만한 신호처럼 보일 수 있다. 따라서 파일럿의 결론은 접근 및 공개 제한에 대한 설명과 함께 살펴봐야 한다. 평가자들이 무엇을 살펴보고 공개할 수 있었는지에 따라 같은 판정도 무게가 달라질 수 있기 때문이다.












