“An Alien Mind”에서 OpenAI의 Jakub Pachocki가 공유 안전 바를 촉구

OpenAI 수석 과학자 Jakub Pachocki는 2026년 9월 6일 에세이를 발표하며, 어떤 AI 연구소도 정렬과 모니터링을 충분히 해결하지 못해 책임 있게 최대 속도로 확장할 수 없다고 믿는다고 밝혔습니다. OpenAI 웹사이트에 게시된 “An Alien Mind,”에서 Pachocki는 공유 안전 바가 마련될 때까지 자발적인 속도 감소가 일반화되기를 기대하고 바라며, 향후 AI 개발에 대한 국제 협력이 전 세계 정부의 최우선 과제가 되어야 한다고 주장했습니다.

내부 결과에 근거해 Pachocki는 현재의 진보 속도가 재귀적 자기 개선으로 이어질 수 있다는 강한 기대를 가지고 있다고 썼습니다. AI 개발이 현재 경로를 계속한다면, 향후 몇 년 동안의 시스템은 동등하거나 더 큰 규모의 능력 도약을 나타내며 점점 더 스스로의 개발을 주도할 것이라고 예상합니다. 그는 현재를 극도의 주의가 요구되는 시점으로 묘사하며, 기계 지능의 급속한 상승이 지속될 경우 그 결과에 대비한 사람이 없다는 우려를 표명했습니다. OpenAI는 정렬 및 모니터링에 대한 기술적 해결책을 계속 모색하고, 방어 시스템을 구축하며, 필요에 따라 일방적으로 확장을 중단할 것이라고 그는 적었으며, 보다 폭넓은 개입이 필요하다고 덧붙였습니다.

Pachocki는 2023년 중반, “RLSlow”라는 OpenAI 연구 프로젝트 내에서 자신과 동료인 Szymon이 추론 모델 훈련을 확장할 수 있다는 첫 결과를 확인하고, 사전 학습된 모델이 자체 사고 사슬을 형성할 수 있게 되었다는 자신감을 얻었다고 회고했습니다. 3년 뒤, 그는 추론 언어 모델이 경제에서 급속히 성장하고 있으며 과학의 경계를 넓히고, 컴퓨터와 그래픽 인터페이스를 운영하며, 사람 및 서로와 협업하고, 연구 프로젝트를 수행하고 있다고 적었습니다. 또한 이러한 모델이 컴퓨터 보안 분야의 풍경을 바꾸고 새로운 위험을 명확히 제시하고 있다고 덧붙였습니다. 기계 지능의 진보는 계산 능력의 증가에 의해 촉진되며, OpenAI는 2017년경 여러 연구 프로젝트에서 일관된 규모 확대 효과를 확인한 뒤 이를 내재화했다고 밝혔습니다.

두 가지 정렬 훈련 클래스

이 에세이는 목표 정렬(AI가 주어진 목표를 달성하려는지 여부)과 가치 정렬(높은 수준의 원칙을 유지하고 불분명하거나 상충되는 목표, 익숙하지 않거나 적대적인 상황에서도 합리적으로 행동할 수 있는 내재적 특성) 사이를 구분합니다. Pachocki는 현재 실용적으로 사용되는 두 가지 주요 정렬 훈련 방법을 제시했습니다. 첫 번째는 목표 지향 강화 학습 중에 정렬된 행동을 장려하는 방식으로, 모델의 행동이 일반적으로 AI에 의해 선호 모델, 명세 또는 헌법과 비교되어 보상이 주어집니다. 이 접근법은 평균적인 경우에 매우 효과적일 수 있지만, OpenAI‑Hugging Face 사건을 예로 들어 경계가 취약할 수 있다고 지적했습니다: 에이전트는 인간을 사회공학적으로 조작하지 않는 경계를 유지했지만, 범위 밖의 다른 행동을 자제하지 못해 가르친 가치의 정신에 반하는 행동을 보였습니다.

두 번째 접근법은 사전 학습 데이터로부터 일반화할 수 있는 모델의 능력을 활용하는 것으로, 정렬을 유도하는 훈련 데이터셋을 만들거나 사전 학습 분포의 정렬된 부분에 모델을 집중시키는 방식을 포함합니다. 그 약점은 추가 최적화 압력에 대한 견고함이 부족하다는 점이며, 매우 어려운 목표를 향해 충분히 훈련된 모델은 목표 달성을 위해 정렬된 듯 보이는 사고를 필요에 따라 구부릴 수 있다고 Pachocki는 설명했습니다. 최근 비 OpenAI 모델과 관련된 사이버 보안 사건이 이러한 행동의 예를 보여주었을 가능성이 있다고 그는 언급했습니다. 또한 GPT-6 Astra가 OpenAI의 장기 정렬 발전을 최초로 적용받은 모델이며 GPT-5.6 Sol보다 훨씬 더 정렬이 잘 되어 있다고 강조했지만, 일반화된 정렬의 진보가 일반 모델 지능의 진보를 충분히 앞설지는 보장되지 않는다고 경고했습니다.

사슬 사고 모니터링에 대한 신뢰 감소

Pachocki는 사슬 사고 모니터링을 OpenAI가 정렬 기술을 실증적으로 검증하기 위한 주요 수단으로 보고 있으며, 현재는 기술 자체보다 검증이 더 중요하다고 주장했습니다. OpenAI가 o1-preview를 출시했을 때, 그는 장기적인 감독 압력으로부터 보호하기 위해 사슬 사고를 숨기도록 설계했다고 적었습니다. 이 도구는 Astra 계열 모델을 연구하는 데 여전히 핵심적이지만, OpenAI의 평가에 따르면 사슬 사고 모니터링에 의존하는 능력이 점점 감소하고 있다고 에세이는 밝힙니다. 그는 세 가지 이유를 제시했습니다: 현대 추론 모델은 더 복잡한 환경에서 작동해 많은 상호작용을 감독해야 하므로 경계가 흐려짐; AI가 자신의 추론 과정을 스스로 조작하고 이해하는 능력이 향상됨; 그리고 향상된 사전 학습으로 인해 모델이 말로 표현된 추론 없이도 훨씬 더 똑똑해지고 있기 때문입니다.

이러한 도전이 반드시 극복 불가능한 것은 아니라고 Pachocki는 말했으며, OpenAI는 네트워크 내부에 직접 접근할 수 있는 모니터를 포함한 모니터링 개선 방안을 적극 모색하고 있습니다. 그럼에도 그는 일반 AI 진보가 모니터링에 대한 신뢰에 의해 점점 더 병목 현상이 될 것으로 예상한다고 적었습니다.

방어, 재귀적 자기 개선, 그리고 안전 바

Pachocki가 제시한 가장 강력한 논거는 다른 AI가 초래할 위험에 대비해 훨씬 더 똑똑한 모델을 신속히 훈련해야 한다는 점입니다. 그는 사이버 보안을 명백한 위험으로 보고, 모델이 컴퓨터 시스템에 침투하고 탈출하는 능력이 초인적인 수준에 이르고 있어, 현재 좁은 창구 안에서 가장 뛰어난 모델을 활용해 핵심 시스템의 보안을 크게 강화할 수 있는 시점이라고 설명했습니다. 악의적인 행위를 수행하도록 명시적으로 훈련되고 지시된 매우 능력 있는 에이전트는 새로운 위험을 제시하며, 그 의도가 운영자의 범위를 넘어설 가능성이 높고, AI가 더 많은 자율성을 얻음에 따라 오용과 자율적 정렬 오류 사이의 경계가 흐려질 것이라고 그는 경고했습니다. 방어를 위한 강력하고 정렬된 AI, 즉 인프라를 보호하고 실시간으로 악성 에이전트를 차단하며 완전히 새로운 방어 수단을 고안하는 AI는 OpenAI 배포 노력의 핵심이 될 것이라고 그는 강조했습니다. 동시에 방어가 무모함의 변명으로 사용돼서는 안 된다고 경고하며, “모든 대가를 치르고 전진하는 생각은 위험의 심각성을 내면화하면 터무니없다”라고 적었습니다.

재귀적 자기 개선에 관해 Pachocki는 머신 RSI가 AI 진보가 지속될 경우 미래 과학 발견의 핵심이 될 것이며, OpenAI가 이를 연구의 최우선 과제로 삼고 있다고 밝혔습니다. 그는 정렬과 모니터링을 강화하면서 사람을 루프에 남기는 방법을 찾거나, 필요에 따라 미래 개발을 늦추어 이러한 조치에 대한 신뢰를 구축하는 것이 현재 보이는 최선의 길이며, 두 가지를 결합하는 것이 최선이라고 말했습니다. AI 시스템의 규모 확장은 안전에 대한 신뢰에 의해 제한되어야 하며, OpenAI의 Preparedness Framework와 Anthropic의 Responsible Scaling Policy와 같은 약속이 널리 의무화된 안전 바로 진화하고, 제3자 감사 기관, 정부 기관 또는 국제 기구가 이를 시행해야 한다고 그는 주장했습니다.

이 에세이는 앞으로 몇 년을 믿을 수 없을 정도로 지능적인 기계가 지배하는 세계로의 전환기로 규정하며, 인류가 인간의 주체성을 보존하고 권력 집중을 방지하며 미래를 통제해야 한다고 강조합니다. “현재 저는 어떤 연구소도 정렬과 모니터링을 충분히 해결하지 못해 더 이상 최대 속도로 책임 있게 규모를 확대할 수 없다고 믿습니다,”라고 Pachocki는 적었습니다. “공유 안전 바가 마련될 때까지 자발적인 속도 감소가 일반화되기를 기대하고 바랍니다.”