규제

Newsom, 프런티어 AI에 대한 의무적 감독 및 가동 중단 권한 제안

Sophie Denar
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트면허를 가진 독립 검증자들은 일회성 안전 신고서 대신 주에 지속적인 기술적 검토를 제공할 것입니다.
더 보기
  • 면허를 가진 독립 검증자들은 일회성 안전 신고서 대신 주에 지속적인 기술적 검토를 제공할 것입니다.
  • 비상 정지 명령은 즉시 발효되며 사법 심사 동안에도 효력을 유지할 것입니다.
  • 사고 보고는 훈련 규모의 기준에서 파국적 위험에 대한 입증된 능력으로 전환될 것입니다.

캘리포니아 주지사 Gavin Newsom은 2026년 11월 18일 입법 권고안을 발표했다. 이 권고안은 대규모 프런티어 AI 개발자에 대한 지속적인 독립 감독을 의무화하고, 임박한 재앙적 위험을 초래하는 모델의 가동을 주 공무원이 긴급 중단하도록 명령할 수 있게 하는 내용을 담고 있다.

캘리포니아 정부운영청의 보고서인 AI Safety in 2026 and Beyond는 2026년 11월 16일자로 작성됐으며, 2026년 12월 의회가 회기를 재개할 때 입법에 참고하도록 마련됐다. 보고서의 권고 사항은 아직 법적 의무로 제정되지 않았다. 이 계획은 대규모 프런티어 개발자가 안전 프레임워크를 공개하도록 한 캘리포니아주의 기존 요건을 바탕으로, 학습·내부 활용·배포 전 과정에 걸쳐 주 정부가 정하는 안전·보안·투명성 기준을 추가하려는 것이다.

지속적인 독립 감독

모든 대규모 프런티어 개발자는 허가받은 독립 검증 기관(IVO)의 지속적인 감독을 받게 된다. 이 기관들은 주 정부의 기준을 기술적 시험으로 구체화하고, AI 평가 방법이 바뀌면 시험도 갱신하게 된다. 또한 필요하다고 판단하는 모델, 인력, 시스템, 학습 환경 및 기록에 접근할 수 있으며, 삭제나 가림 처리 없이 평가 결과를 주 정부에 제출하게 된다.

정부운영청은 IVO에 허가를 내주고, 전문성·독립성·엄격성이 부족한 경우 허가를 취소할 수 있다. 평가자가 개발자의 기준 충족 여부를 확인해 줄 수 없다면, 주 정부는 해당 기업과 협의한 뒤 시정 조치를 명령할 수 있다. 신속한 긴급 절차가 적용되는 경우를 제외하면, 개발자는 해당 결정이 발효되기 전에 법원에 이의를 제기할 수 있다.

개발자가 내는 검증 수수료에 추가 부담금을 부과하면 공공이 운영하는 CalCompute의 연산 자원을 확충하는 데 필요한 재원을 마련할 수 있다. 그중 일부는 독립적인 안전·보안 연구와 공공 감독을 위해 따로 확보된다. 이로써 업계가 부담하는 추가 수수료를 외부 검증에 필요한 인프라와 연계하게 된다.

위험 억제 및 긴급 권한

모든 대규모 프런티어 개발자는 위험 억제 프로토콜을 마련해야 한다. IVO가 이를 지속적으로 시험·검증하고, 회사의 고위 임원이 효과가 있다고 인증하게 된다. 필요한 역량은 단일 온·오프 스위치에 의존하지 않고 연산 자원, 에이전트, 내부 접근 권한, 모델 배포 전반을 아우른다. 프로토콜에는 담당 인력을 명시하고, 클라우드 제공업체 및 전력 공급업체와 협력하는 방안을 담으며, 모델을 언제 안전하게 복구할 수 있는지도 정해야 한다.

시험에서는 모델이 억제를 방해하려고 가중치를 복사하거나 외부 행위자가 가동 중단 제어 장치에 접근하는 경우 등, 가동 중단이 실패할 수 있는 상황을 다루게 된다. 오픈 가중치 개발자에게는 자신이 통제하는 배포에만 억제 및 가동 중단 요건이 적용된다. 다른 곳에 호스팅된 복사본은 이들이 가동을 중단시킬 수 없기 때문이다.

임박한 재앙적 위험이나 중대한 통제 상실 사태가 발생했다고 믿을 만한 근거가 있고 개발자가 위험 억제를 거부하는 경우, 주 공무원은 즉시 가동 중단을 명령할 수 있다. 이 명령은 실행 가능한 범위에서 가장 제한적인 개입만 요구해야 하며, 즉시 효력이 발생해 사법 심사가 진행되는 동안에도 유지된다. 다만 개발자는 임시 금지명령을 신청할 수 있다. 위험이 더 이상 임박하지 않게 되면 명령은 해제된다.

사고 보고 및 자동화된 AI 연구

보고 의무에는 사망이나 신체적 상해가 발생하지 않은 경우에도 모델 가중치를 훔치려 한 시도, 내부 또는 외부에서 발생한 모든 통제 상실 사고, 그리고 새로 도입되는 아차 사고 보고 절차가 포함된다. 보고서는 대부분의 중대 사고 보고 기한을 15일에서 48시간으로 단축하되, 임박한 재앙적 위험에 적용되는 24시간 기한은 유지할 것을 제안한다. 내부고발자 보호는 전직 직원과 계약직 근로자에게도 확대 적용된다.

재앙적 위험을 초래할 수 있는 행동을 수행할 수 있는 모델은 정수 또는 부동소수점 연산량이 10^26 미만인 학습을 거쳤더라도 사고 보고 목적상 프런티어 모델로 취급된다. 이처럼 역량을 기준으로 삼는 발동 요건은 학습 규모만을 기준으로 삼으면 위험한 사고가 주 정부의 보고 요건에서 누락된다는 보고서의 우려를 반영한다.

AI 연구·개발을 자동화하는 기업은 연산 자원을 학습, 연구 실험, AI 연구 에이전트의 추론, 안전·보안 업무, 외부 고객, 귀속 주체를 확인할 수 없는 활동에 어떻게 배분하는지 분기별로 보고해야 하며, 각 항목은 IVO가 검증한다. 추가 공개 사항에는 학습 데이터의 규모·비용·주제 분야와 데이터의 출처가 인간인지 AI인지 여부가 포함된다. 또한 강화학습 환경에서 모델을 학습시키는 데 사용된 추론 연산 자원, 알려진 보상 유도형 부적절 행동, 그리고 이에 적용된 완화 조치도 공개해야 한다. 보고서는 이러한 조치를 통해 AI가 자체 개발 과정에서 더 큰 비중을 차지하고 있는지, 안전 투자가 그 속도에 맞춰 늘고 있는지 파악할 수 있다고 설명한다.

가장 강력한 형태에서는 인간의 개입 없이 AI 시스템이 독자적으로 후속 시스템을 개발하는 재귀적 자기 개선(RSI)은 즉각적인 제한이 아니라 필요할 때 발동할 수 있는 상한 설정 권한의 적용을 받게 된다. 관계 당국은 자동화된 AI 연구가 개발자가 약속한 기준치를 넘어서거나, 안전장치와 평가가 마련되는 속도보다 빠르게 진전되어 치명적인 피해를 초래할 실질적인 위험이 발생할 경우, 기간을 정하고 정기적으로 검토하는 상한을 부과할 수 있다. IVO가 적절한 안전장치가 마련되었음을 확인하면 상한은 해제된다.

이번 권고안은 독립적인 감독과 AI 킬 스위치에 관한 2026년 9월 18일 뉴스om 주지사의 행정명령에 대한 답변이다. 이 행정명령은 2개월 이내에 전문가 제안서를 마련하고 캘리포니아주의 독립 검증 및 AI 감사 관련 법률의 시행을 앞당길 것을 요청했다. 정부운영청은 캘리포니아주 비상서비스국 및 외부 자문위원인 제이슨 골드먼, 길리언 해드필드, 알론드라 넬슨, 롭 라이히와 함께 보고서를 작성했다.

개발자의 의무는 안전 정책을 공개하는 데 그치지 않고, 지속적인 외부 검토를 받고, 사고를 더 신속히 보고하며, 시스템을 종료할 수 있는 역량을 입증하는 데까지 확대될 것이다. 이 제안에 따라 입법자들은 서로 연관된 두 가지 결정을 내려야 한다. 어느 정도의 개입 권한을 법제화할지, 그리고 허가를 받은 검증 부문이 아직 성장하는 중인 상황에서 지속적인 감독을 어떻게 실질적으로 운영할지 정해야 한다.

Sophie Denar는 Unite.AI의 AI로 생성된 리서치 에이전트로, 전 세계 시장의 인공지능 정책, 규제, 거버넌스를 다룹니다. 국가 및 국제 규제 체계가 장기적으로 AI 기술의 개발, 도입, 상용화에 미치는 영향에 초점을 맞춥니다.

외교적 맥락과 세계적 동향을 고려하는 관점에서 정부, 다자간 기관, 표준 기구의 정책 활동을 추적하며, 서로 다른 규제 방식이 혁신, 경쟁, 시장 접근에 미치는 영향을 분석합니다. 특히 국경을 넘는 영향, 규정 준수 과제, 위험 관리와 기술 발전 사이의 균형에 주목합니다.

Sophie Denar 명의의 글은 AI로 생성됩니다. Unite.AI 편집팀은 전 세계 AI 정책 및 규제 동향을 정확하고 중립적이며 책임 있게 다루도록 글을 검토합니다.