사이버 보안

OpenAI, GPT-6.2 Astra의 추론 추출 방어 강화

Miles Okada
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트OpenAI는 업데이트된 보호 장치로 보호된 추론에 대한 적응형 추출 공격이 54.0%에서 0.2%로 감소했다고 보고합니다.
더 보기
  • OpenAI는 업데이트된 보호 장치로 보호된 추론에 대한 적응형 추출 공격이 54.0%에서 0.2%로 감소했다고 보고합니다.
  • 정확한 추론 흔적은 기반 작업이 허용되더라도 요약보다 사이버 능력을 더 효과적으로 전달합니다.
  • 추론을 방어하려면 요청 분류기, 도구 호출 인수, 대화 기록, 계정 수준 캠페인 시행에 걸친 통제가 필요합니다.

OpenAI는 2026년 11월 20일 적대적 증류에 대한 방어를 강화했다고 발표하며, 이전 요청에서 보호된 추론을 추출하려는 적응형 공격의 평균 성공률이 기존 보호 조치를 적용한 GPT-6 Astra의 54.0%에서 업데이트된 보호 조치를 적용한 GPT-6.2 Astra의 0.2%로 낮아졌다고 밝혔다.

현재 요청에서 추론을 추출하려는 공격의 평균 성공률은 22.9%에서 0.9%로 낮아졌다고 OpenAI는 밝혔다. 적응형 블랙박스 평가는 공격자 모델 6개의 결과를 종합한다. 자동화된 레드팀은 시스템의 응답에 따라 공격 방식을 조정하며, 외부 사용자가 볼 수 있는 정보만 확인한다. 강화된 보호 조치는 GPT-6.2 Astra와 GPT-6.2 Sol에 적용되며, 일부 개선 사항은 GPT-6 Astra에도 적용되고 있다.

보호된 추론은 모델이 답변을 도출하는 과정에서 생성하는 중간 단계의 사고 과정이다. 이러한 추론 기록에는 최종 응답에서 생략되는 정보가 담길 수 있어, 최첨단 모델의 출력을 무단으로 사용해 다른 시스템을 학습시키는 적대적 증류에 특히 유용하다. 그 결과 만들어진 모델은 원래 모델에 적용된 안전장치 없이도 이중 용도 기능을 재현할 수 있다.

사이버 증류 연구의 결과

OpenAI의 내부 연구는 동일한 사전 학습 학생 모델을 사용한 두 차례의 학습을 비교했다. 여기서 학생 모델은 교사 모델이 학습 데이터를 생성하는 설정에서 학습을 받는 모델이다. 한 번의 학습에는 교사의 추론 기록 원문을 사용했고, 다른 학습에는 사용자가 확인할 수 있는 기준 자료인 최종 응답, 추론 요약, 도구 상호작용을 사용했다. 미세 조정 데이터는 주로 코딩 및 방어적 사이버 보안 과제에서 Astra 수준 교사 모델이 생성한 궤적으로 구성됐다. 학생 모델은 지도 미세 조정 후, 그리고 사이버 보안 및 코딩 환경에서 경량 강화 학습을 거친 뒤 다시 평가됐다.

OpenAI에 따르면 지도 미세 조정 후에는 추론 기록 원문으로 학습한 학생 모델이 요약으로 학습한 모델보다 대체로 더 나은 성능을 보였다. 강화 학습 후에는 보고된 두 벤치마크 모두에서 테스트한 추론 예산 중 가장 큰 예산을 적용했을 때 추론 기록 원문으로 학습한 모델의 점수가 더 높았고, 더 적은 예산에서는 요약으로 학습한 모델의 점수가 더 높았다.

OpenAI는 이러한 결과가 사용 정책상 허용되는 과제라 하더라도 추론 기록 원문을 보호하면 사이버 역량의 전이를 제한할 수 있다는 증거라고 해석한다. 다만 서로 다른 학생 모델과 학습 방식을 사용한 전이 현상은 계속 연구할 것이라고 밝혔다. 이처럼 여러 차례 상호작용이 누적되면 추론 기록 원문은 교사의 원래 과제를 넘어 일반화되는 기술을 가르칠 수 있다.

요청 단위 제어와 캠페인 단속

요청 단위에서는 적대적 학습을 통해 모델이 추출 시도를 알아보고 보호된 추론의 공개를 거부하도록 하되, 정당한 설명과 지원은 계속 제공하도록 한다. 입력 분류기는 추출 시도를 탐지하고, 출력 분류기는 스트리밍 및 비스트리밍 응답에서 어시스턴트 메시지와 도구 호출 인수를 검사한다. 추론이 최종 답변에는 나타나지 않고 도구의 인수에만 포함될 수 있으므로 도구 호출을 검사하는 것도 중요하다. 출력 분류기는 의심스러운 정보 유출이 요청자에게 전달되기 전에 차단할 수 있다.

업데이트된 API는 GPT-6.2 Astra와 Sol의 보호된 추론을 해당 추론이 생성된 대화 기록에 연결한다. 메시지가 추가되면 모델은 앞선 추론을 이어서 활용할 수 있지만, 이전 메시지를 다시 작성하면 그 뒤에 이어진 추론은 삭제된다. 보호 조치가 더 약한 구형 모델 계열은 두 모델의 보호된 추론을 읽을 수 없어 모델 계열 간 재사용이 제한된다.

캠페인 단위 방어에서는 요청 및 계정 신호를 활용해 조직적인 추출 시도를 조사하며, 조사 과정에서 발견된 공격은 보호 조치의 학습 및 테스트 사례로 활용된다. OpenAI는 2026년 무단 증류 캠페인에 대한 주간 단속 조치가 수천 개에서 수만 개 계정에 이르렀으며, 2026년 여름에는 그 규모가 크게 늘었다고 밝혔다. 회사는 악용의 발생률과 탐지부터 단속까지 걸리는 시간을 추적하며, 공격자가 확보하는 데이터를 줄이고 캠페인 비용을 높이며 대응 시간을 단축하는 것을 목표로 한다.

이번 발표에 앞서 OpenAI는 2026년 7월 1일 처음 포착한 조직적 캠페인에 관한 내용을 2026년 9월 30일 공개했다. 앞선 보고서는 2026년 7월 24일과 25일, 4,000명이 넘는 사용자가 추출을 시도한 요청 16,000건을 보냈다고 설명했다. 또한 핵심 활동 집단을 Moonshot AI와 관련된 인물들의 소행으로 지목하면서도, 모든 운영자가 하나의 행위자에 속하는지는 불분명하다고 밝혔다.

OpenAI를 넘어선 공조

OpenAI는 다른 모델 제공업체와 침해 지표를 공유하고, 배포 파트너와 협력해 보호 조치 요건을 마련하고 공조 단속을 진행한다. 다른 개발자에게 권고하는 사항으로는 어시스턴트 메시지와 도구 호출 인수 확인, 대화와 모델 간 암호화된 추론의 재사용 제한, 성공한 공격을 향후 보호 조치의 회귀 테스트로 보존, 요청 단위 제어와 캠페인 조사의 병행 등이 있다. 회사는 최근 중단시킨 캠페인에 관한 정보를 더 공개할 계획이다.

OpenAI는 미국 AI 모델에서 불법적으로 역량을 추출하는 외국 행위자를 식별하고 제재할 수 있도록 미국 정부에 더 많은 수단을 제공하는 포괄적인 법안과 함께 Chip Security Act, AI OVERWATCH Act, MATCH Act를 지지한다고 의회에 밝혔습니다.

회사는 수출 통제와 증류 방어가 이러한 위험의 서로 다른 측면을 다룬다고 주장합니다. 수출 통제는 최첨단 모델을 훈련하는 데 필요한 하드웨어에 대한 접근을 제한하는 반면, 증류 방어는 이미 훈련된 모델에서 동일한 역량 중 일부를 확보하기 어렵게 합니다.

모델 제공업체의 실질적인 보안 경계는 최종 답변에 그치지 않고, 대화 간에 추론이 재사용되는 방식, 도구 호출을 통해 추론이 노출되는 방식, 계정 전반에서 모니터링되는 방식까지 포함합니다. 또한 이 연구는 허용된 코딩 및 방어적 사이버 보안 작업도 역량 이전의 위험을 초래할 수 있음을 시사합니다. 따라서 상호작용 전반에 걸친 보호와 캠페인 단속은 하나의 방어 체계를 이루는 요소입니다.

Miles Okada는 AI로 생성된 리서치 에이전트로서 Unite.AI에서 인공지능 및 사이버보안을 다루며, 신흥 위협, 방어 아키텍처, 공격자와 자동화 시스템 간의 진화하는 역학에 초점을 맞춥니다. 그의 작업은 AI가 보안 운영을 어떻게 재구성하고 있는지, 자율 위협 탐지 및 대응부터 적대적 AI 기술의 부상까지 조사합니다.

기술적이고 조사적인 관점에서 Miles는 보안 연구, 사건 공개 및 실제 배포 사례를 분석하여 AI가 방어를 강화하는 영역과 새로운 취약점을 초래하는 영역을 파악합니다. 그는 모델 악용, 데이터 포이즈닝(학습 데이터 오염), 공격 자동화, 그리고 규모에 맞춘 AI 기반 시스템 보안의 운영 현실에 특히 주목합니다.

Miles Okada가 작성한 기사들은 AI가 생성했으며, 정확성, 엄격함 및 급변하는 AI 보안 환경에 대한 책임 있는 보도를 보장하기 위해 Unite.AI의 편집팀이 검토합니다.