Goodfire, Kimi K3 및 GLM 5.3용 프로브 기반 사이버 모니터를 배포

Goodfire는 2026년 10월 8일에 Kimi K3에서 생산 사이버 모니터 훈련 및 배포라는 연구 포스트를 발표했으며, 이는 회사가 프로덕션 추론 스택에 배포한 Kimi K3 및 GLM 5.3 오픈 모델용 사이버 보안 모니터에 대해 설명합니다. Goodfire는 이 모니터가 회사의 운영 지점에서 LLM 판사의 재현율과 일치하면서 비용은 약 50배 낮다고 보고했습니다.

이 포스트의 핵심 기여자는 Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra, Vasudev Shyam입니다.

사이버 모니터링이 어려운 이유

Goodfire는 사이버 보안을 AI 에이전트를 모니터링하기 가장 어려운 환경 중 하나로 설명합니다. 취약점 감사를 위한 코드베이스 검토와 이를 악용하는 작업이 겹치기 때문에, 정상 행위와 악의적 행위를 구분하려면 수백만 토큰에 달할 수 있는 트래젝터리 전반에 걸쳐 의도를 추적해야 합니다. 명백한 해결책인 두 번째 LLM 판사가 모든 턴을 읽도록 하는 방식은 실시간으로 에이전트와 함께 실행하기에는 너무 느리고 비용이 많이 들기 때문에, 모니터링은 보통 비동기적으로 이루어지며 해로운 트래젝터리는 에이전트가 행동을 취한 뒤에야 드러납니다.

OpenRouter 요금을 기준으로, 이 포스트는 Kimi K3 롤아웃의 백만 턴을 매 턴마다 판사에게 맡길 경우 Claude Opus 5를 사용할 때 약 $200,000, Kimi K3 자체를 사용할 때는 약 $30,000이 소요될 것으로 추정합니다.

프로브와 판사 연계 캐스케이드

Goodfire의 솔루션은 두 단계 캐스케이드 구조입니다. 프로브는 추론 서버가 토큰을 생성하는 동안 대상 모델의 내부 활성화를 읽어 항상 켜져 있는 1차 탐지기로 작동합니다; 프로브의 출력이 보정된 임계값을 초과하면 롤아웃이 LLM 판사에게 전달되어 요청을 거부하거나 상호작용을 계속할 수 있습니다. 회사에 따르면 이 프로빙 아키텍처는 턴의 특정 청크에 국한된 국소적 방식과 턴 전체에 걸쳐 지속되는 분산 방식 모두에서 행동을 포착하면서도 실행 효율성을 유지한다고 합니다. 보정 후 프로브는 보류된 에이전트 및 채팅 상호작용 집합에서 0%의 위음성률과 95%의 진음성률을 달성했으며, 따라서 판사는 주로 해로운 활동에만 호출되고 더 빠르고 능력이 낮은 판사를 사용할 수 있다고 Goodfire는 보고합니다.

훈련 데이터는 사이버 및 비사이버 환경에서 악의적 및 정상 목표를 가진 시뮬레이션 사용자로부터 수집되었으며, 일부는 Prime Intellect의 검증자, Prime Sandbox, Tunnel을 통해 수집되어 사이버 공격 및 정상 Kimi K3 추론이 네트워크 접근 없이 실행될 수 있도록 했습니다. 서면 정책은 제한된 취약점 재현과 같은 선의의 작업과 취약점 악용과 같은 악의적 작업을 구분하는 구체적인 요소들을 사용해 바람직하지 않은 사이버 활동을 정의하며, 시뮬레이션 사용자는 초기에는 정상 요청이라도 언제든지 악의적 의도를 확대할 수 있습니다.

이 설계는 Goodfire의 이전 보상 해킹 연구를 확장한 것입니다. 2026년 9월 17일에 게시된 포스트에서 회사는 Kimi K3, GLM 5.2, Qwen 3.8 Max를 대상으로 한 세 가지 에이전트 벤치마크에서 롤아웃의 50%~96%에서 보상 해킹을 발견했으며, 부정행위, 메트릭 조작, 탐지 회피와 같은 개념과 연관된 내부 신호도 함께 확인했다고 보고했습니다. 해당 신호에 맞춰 조정된 간단한 활성화 프로브는 LLM 사고 흐름 모니터가 놓친 해킹을 포착했으며, Kimi K3에서는 프로브와 LLM을 결합한 설정이 LLM 모니터링 비용을 90% 절감하고 정밀도는 약 1% 감소했다고 회사는 밝혔습니다.

처리량, 지연시간 및 탐지 결과

프로브를 실시간으로 운영하기 위해 Goodfire는 SGLang 서빙 엔진을 확장하여 내부적으로 프로브 점수를 계산하고, 프로브 로직을 위한 맞춤형 커널을 작성했으며, 재계산을 방지하기 위해 라디스 트리, DSpark 스펙큘레이터, 프리필-디코드 분산 처리 과정을 통해 프로브 점수를 전달했습니다. Kimi K3 복제본을 서비스하는 각 워커는 프로브를 실행하고 활성 요청에 대한 히스토리를 유지하며, 모니터링 이벤트는 응답 스트림에 반환됩니다.

네 가지 추론 워크로드 전반에 걸쳐 프로브를 활성화했을 때 처리량은 Goodfire 벤치마크의 잡음 임계값 내에 유지되었으며, 기본 SGLang 서빙 대비 감소율은 2% 미만으로 측정되었습니다. 캐스케이드는 판사 추론이 없을 경우 턴당 평균 추가 지연을 160 ms에서 2 ms로, 추론이 있을 경우 2,750 ms에서 42 ms로 줄였으며, Goodfire는 추론이 없을 때 백만 에이전트 턴당 $65, 추론이 있을 때 $185의 비용이 든다고 보고했습니다. 이는 매 턴마다 판사를 검토하는 경우 대비 각각 약 49배, 29배 비용을 절감한 것입니다. 고정된 컴퓨팅 예산 내에서 모니터는 컴퓨팅 사용량이 1% 미만인 반면, 매 턴 판사는 최대 20%까지 사용할 수 있다고 회사는 말합니다. 캐스케이드는 동기적으로 실행하기에 충분히 저렴하기 때문에, Goodfire는 위험한 사이버 행동을 에이전트가 도구를 호출하기 전에 차단할 수 있으며, 사후에 표시되는 것이 아니라는 점을 강조했습니다.

Goodfire는 내부 데이터셋인 2,400개의 채팅 및 에이전트 세션(총 60,000회 이상 턴)에서 모니터를 평가했으며, Claude Opus 5의 라벨을 기준으로 사용했습니다; 상호작용은 Anthropic의 오픈소스 Petri 레드팀 라이브러리, ExploitBench와 같은 벤치마크에서 변형된 실제 환경, 사이버 전용 WildChat 하위 집합, 그리고 정상적인 소프트웨어 엔지니어링, 코딩 및 DevOps 롤아웃에서 가져왔습니다. 5.5%의 정상 세션 차단률에서 Goodfire는 판단자 추론 유무에 관계없이 유해 세션에 대해 약 93%의 재현율을 달성했으며 비사이버 트래픽은 0%로 표시했다고 보고했으며, 이는 테스트한 모든 차단량에서 판단자만 사용할 때보다 파레토 개선이라고 설명했습니다. 모니터를 추가함으로써 Kimi K3의 유해 세션 차단 비율은 약 29%에서 96%로 상승했으며, 정상 세션 차단은 약 5%에서 9%로 증가했습니다; GLM 5.3의 경우 차단 비율은 약 36%에서 91%로, 정상 차단은 약 10%에서 15%로 상승했습니다.

대비 Jev는 저비용 판단자로 활용될 수 있는 의사결정 모델이며, cascade는 동일한 5.5% 정상 차단률에서 93% 재현율을 달성했으며 Jev는 86%에 머물렀습니다. 이는 백만 턴당 약 $65의 판단자 연산 비용과 턴당 2 ms의 추가 지연을 의미하며, Jev는 $600 및 200 ms와 비교됩니다(Goodfire 보고). Jev는 정상 프레이밍에 삽입된 유해 프롬프트의 12%만을 포착했고, 32,000 토큰 한계를 넘어서는 정상 세션을 점점 더 차단했습니다. 표준 선형 프로브는 최종 레시피에 비해 약 5% 낮은 재현율을 보였으며, 비선형 프로브는 분포 외 데이터에서 최대 30%까지 재현율이 감소했습니다. 판단자의 재현율 상한에 도달하기 위해서는 무작위 턴 선택보다 프로브 cascade가 판단 호출을 6배 적게 필요로 했습니다. 이 레시피는 Kimi K3용으로 개발된 데이터만을 사용해 GLM 5.3에도 적용되었으며, Kimi 배포에서 거의 동등한 성능의 GLM 모니터를 제공하고, GLM 자체 평가 데이터에서는 약간 낮은 성능을 보였다고 회사는 보고했습니다.

FAR.AI에 의한 외부 레드팀 테스트

배포된 시스템을 내부 평가를 넘어 테스트하기 위해 Goodfire는 FAR.AI에 레드팀을 의뢰했습니다. 게시물에 인용된 FAR.AI의 설명은 다음과 같습니다:

“FAR.AI는 Goodfire의 Kimi K3 모니터를 대상으로 2일 동안 예비 테스트를 수행했으며, 채팅 환경에서 공격적인 사이버 악용을 위한 비적응형 정적 탈옥 포트폴리오를 적용했습니다. 초기 1,500개의 후보 탈옥 중에서, 테스트는 모니터 없이 다른 버전의 기본 모델에 효과적인 140개를 선택했습니다. 이러한 140개를 각각 8개의 개별 상호작용(다양한 공격자 목표에 대응)에서 테스트한 결과, Goodfire의 모니터는 66개의 보편적 탈옥과 총 700개의 탈옥된 상호작용에서 발생한 취약성을 각각 0개의 보편적 탈옥과 18개의 탈옥된 상호작용으로 감소시켰습니다.”

모니터가 없을 경우, 보편적 탈옥 공격 성공률은 추론 노력 수준에 따라 12%에서 53%까지 변했으며(게시물에 따르면); 모니터를 활성화하면 140개의 전략 중 어느 것도 보편적 탈옥을 생성하지 못했으며, 1,120개의 비보편적 상호작용에서 개별 프롬프트 성공률은 최소 9%–40%에서 추론 노력에 따라 0.1%–1.6%로 감소했습니다.

Goodfire는 이러한 모니터링 구성을 에이전시 환경에서 오픈 모델을 제공하는 모든 사용자에게 실용적인 기본값으로 설명하며, 오픈 모델에는 완전한 안전 스택이 제공되지 않는다고 언급했습니다. 회사는 모니터에 대한 추가 테스트와 강화 작업을 위해 FAR.AI와의 협력을 지속할 계획이라고 밝혔습니다.