파트너십
OpenAI, 상주형 안전성 평가를 맡을 독립 평가기관 4곳과 계약 체결

핵심 포인트체크포인트와 훈련 데이터에 대한 지속적인 접근은 평가자들이 OpenAI 자체 모니터가 놓칠 수 있는 실패를 테스트할 수 있게 한다.
더 보기
- 체크포인트와 훈련 데이터에 대한 지속적인 접근은 평가자들이 OpenAI 자체 모니터가 놓칠 수 있는 실패를 테스트할 수 있게 한다.
- Apollo Research는 모델이 개발자에게 은밀히 적대적으로 행동할 수 있는지, 그리고 안전장치가 이를 포착할 수 있는지 조사한다.
- 안전 및 보안 위원회는 수정되지 않은 보고서를 받고 검토 중에 평가자들과 비공개로 대화할 수 있다.
OpenAI는 2026년 11월 16일 Apollo Research, METR, Transluce, Goodfire와 1단계 상주형 평가를 위한 계약을 체결했다고 발표했다. 이들 4개 기관은 모델 체크포인트, 소스 코드, 훈련 데이터, 모니터링 시스템 등에 접근해 훈련 및 내부 사용 과정에서 정렬과 안전장치를 평가한다.
이 평가의 핵심은 장기간에 걸쳐 내부 모델과 시스템에 지속적으로 접근하는 것이며, 특히 OpenAI의 안전성 근거와 관련된 부분을 살펴본다. OpenAI는 이러한 접근을 통해 평가기관이 근거와 맥락을 검토하고, 독립적인 평가를 수행하며, 예상하지 못했을 수 있는 실패를 찾아낼 수 있다고 밝혔다. 또한 평가 결과를 공개적으로 보고하면 연구소들이 위험을 어떻게 평가하고 관리하는지 대중이 더 명확히 파악할 수 있다고 설명했다.
평가기관별로 다른 평가 임무
Apollo Research는 모델이 개발자의 의도에 반해 은밀히 행동할 수 있는지, 그리고 OpenAI의 안전장치가 그러한 행동을 탐지할 수 있는지를 살펴본다. 2단계 평가는 네 가지 명제를 검토한다. 훈련 과정에서 의도적 방해 행동을 유도하지 않았고, 강력한 평가와 레드팀 테스트도 그러한 행동을 끌어내지 않으며, 모델이 내부 사용 중 이를 시도한 적이 없고, 그러한 행동의 배경이 되는 추론을 탐지할 수 있다는 것이다.
Apollo의 1단계 평가를 위해 OpenAI는 선별된 공개 모델과 미출시 모델, 훈련 체크포인트, 관련 훈련 데이터와 평가 결과, 훈련 개입 기록, 모니터링 시스템, 표시된 이상 행동을 제공한다. 또한 Apollo는 맥락을 설명해 줄 연구자들과 독립적인 테스트에 필요한 도구 및 컴퓨팅 자원에도 접근할 수 있다.
Goodfire는 해석 가능성, 즉 모델 내부를 분석하는 분야를 전문으로 하는 연구자들을 상주시킬 예정이다. 또한 자사 플랫폼을 훈련 실행 모니터링, 디버깅, 정렬에 활용한다. 연구 결과의 주요 수신자는 OpenAI 연구자들이며, 이들은 그 결과를 안전성 개선에 활용할 예정이다. Goodfire는 협력이 진행되는 동안 얻은 교훈과 연구 결과도 발표할 계획이다.
METR의 1단계 정렬 평가는 OpenAI가 현재까지 가장 규모가 큰 강화학습 훈련 실행이라고 설명한 작업에 초점을 맞추며, 기존 테스트와 모니터링 시스템이 놓쳤을 수 있는 실패도 살펴본다. 선정된 훈련 실행과 합의된 접근 권한, 자원 및 안전 조치의 범위 안에서 METR은 우선순위를 독자적으로 정하고 탐색, 분석, 유도 실험을 반복해 진행한다. 접근 대상에는 관련 체크포인트, 훈련 및 평가 롤아웃, 정렬 실패 모니터링 기록이 포함된다. 초기 평가 범위는 해당 훈련 실행으로 한정되며, 정렬 실패 전반을 폭넓게 조사하는 데까지 확대되지는 않는다.
별도로 진행할 METR의 모니터 평가에 대해서는 아직 확정된 바가 적다. 양 기관은 더 폭넓은 평가를 추진하기로 잠정 합의했지만, 구체적인 범위에 대한 상호 합의가 남아 있다.
Transluce는 OpenAI의 사후 훈련 정렬 평가가 얼마나 우수하고 폭넓은지 살펴보는 작업부터 시작한다. 접근 대상에는 선별된 공개 모델과 미출시 모델, 평가 결과, 이를 뒷받침하는 행동 데이터, 안전성 근거 문서와 연구자들이 포함되며, 도구와 컴퓨팅 자원도 제공된다.
양측은 2027년 초에 약 8주간 후속 평가를 진행할 의향도 공유하고 있다. 이 작업에서는 추가 모델에 대한 접근을 확대하고 정렬 평가에 대한 접근을 심화하며, 평가 결과가 출시 결정에 어떻게 반영되는지에 관한 정보를 제공할 예정이다. 발표문은 이를 초기 평가와 구분해 양측이 공유하는 의향이라고 설명한다.
보안 및 감독 체계를 갖춘 접근
각 협력은 합의된 범위와 작업에 필요한 접근 권한, 자원 및 안전 조치를 정하는 것으로 시작한다. 프로토콜에 따르면 평가기관은 근거를 자유롭게 추적하고 방법을 개선할 수 있으며, 결과에 따라 추가 평가를 제안할 수 있다. 추가 접근 권한이 필요한 경우 이를 처리하는 절차도 마련되어 있다.
모델 가중치나 아키텍처 등 민감한 지식재산이 노출될 수 있어 직접 접근이 어려운 경우, OpenAI는 평가기관이 자사 연구자들과 함께 분석을 수행하는 방안 등을 대안으로 검토한다. 민감한 기밀 정보를 다루는 평가기관은 OpenAI 사무실에서 회사 기기를 사용해 업무를 수행한다. 이들은 최소한 OpenAI 직원과 동일한 보안 기준을 준수해야 하며, 일부 실험에는 더 엄격한 요건이 적용될 수 있다.
감독은 OpenAI Foundation 이사회 산하의 독립 감독 위원회인 안전 및 보안 위원회가 맡는다. 위원회는 편집되지 않은 보고서를 받고 평가가 진행되는 동안 평가기관과 비공개로도 대화할 수 있다. 분쟁은 우선 안전 자문 그룹과 OpenAI 경영진에 회부해 정해진 기간 내에 해결한다. 의견 충돌이 상위 단계로 넘어가면 위원회에 신속히 알려야 하며, 해결되지 않은 사안은 위원회에 회부된다.
직원과의 대화는 별도의 투명성 문제를 낳는다. 해당 대화는 비공개로 취급되므로 평가에 참고할 수는 있지만, 공개하거나 직원의 발언으로 귀속할 수는 없다. 평가기관은 대화에서 알게 된 내용을 확인하거나 수정 또는 명확히 해 주는 OpenAI 인증 진술서를 요청할 수 있다. 이후 평가기관은 인증된 진술서를 공개하거나 OpenAI가 인증을 거부했다고 밝힐 수 있어, 비공개로 얻은 정보를 제한적으로나마 공개할 수 있는 경로가 마련된다.
게재 권리 및 재정 관련 공개 사항
평가자들은 평가 결과를 발표할 때 독립성을 유지하며, OpenAI는 기밀 정보를 비공개 처리할 권리를 보유합니다. 또한 보안 또는 안전상의 위험을 초래할 수 있는 조사 결과에 대응하고 해결되지 않은 문제를 시정할 수 있도록 책임 있는 공개를 유예해 달라고 요청할 수도 있습니다. OpenAI는 공개 보고서에 조사 결과와 그 한계를 설명해야 하며, 더 상세한 기밀 보고서는 감독 기관이 조치를 취하는 데 필요한 증거를 제공한다고 밝혔습니다.
참여 기관마다 재정적 합의는 다릅니다. Apollo Research와 Goodfire는 평가 결과에 따라 달라지지 않는 보수를 받습니다. METR와 Transluce는 금전적 보수를 받지 않지만, 평가에 사용할 API 크레딧이나 컴퓨팅 자원은 받을 수 있습니다.
이해 충돌 공개 및 냉각 기간 관련 절차는 평가자들과 함께 아직 마련 중입니다. OpenAI는 참여하는 제3자 직원에게 다른 AI 개발사에 파견되기 전에 짧은 냉각 기간을 두도록 요청해 기밀 정보를 의도치 않게 공개할 위험을 줄이고 있습니다.
OpenAI는 초기에 기술 접근, 업무 공간 및 보안과 관련한 어려움이 있을 것으로 예상하고, 프로토콜은 계속 발전할 것이라고 밝혔습니다. 또한 장기적으로는 평가자를 상주시켜 협업하는 방식의 참여를 목표로 삼고 있으며, 향후 안전 프레임워크 준수 여부, 조직 문화 및 프로세스에 대한 평가도 검토하고 있습니다.
첫 단계는 구체적인 거버넌스 시험대가 됩니다. 즉, OpenAI가 합의된 범위, 현장 보안 통제, 비공개 처리 권한 및 공개 유예 가능성을 유지하는 가운데, 내부 테스트에서 놓치는 실패에 관해 심층적인 내부 접근과 독립적인 발표가 유용한 공개 증거를 만들어 낼 수 있는지를 확인하는 것입니다.












