Goodfire、Kimi K3 と GLM 5.3 用のプローブベースサイバーモニタを導入

Goodfireは2026年10月8日にKimi K3向けのサイバーモニタのトレーニングと本番展開という研究投稿を公開し、Kimi K3 と GLM 5.3 のオープンモデル向けのサイバーセキュリティモニタについて説明しています。同社は、これらのモニタが自社の運用ポイントにおいてLLMジャッジのリコールと同等でありながら、コストは約50倍低いと報告しています。

この投稿の主要貢献者はEkdeep Singh Lubana、Connor Watts、Siddharth Boppana、Dron Hazra、Vasudev Shyamです。

サイバーモニタリングが難しい理由

Goodfireは、サイバーセキュリティをAIエージェントのモニタリングにおいて最も難しい領域の一つと説明しています。コードベースの脆弱性監査とその悪用はタスクが重複しており、善意と悪意の行動を区別するには、数百万トークンに及ぶ軌跡全体にわたって意図を追跡する必要があります。明白な解決策である、すべてのターンを第二のLLMジャッジに読ませる方法は、リアルタイムでエージェントと並行して実行するには遅すぎてコストが高くなるため、モニタリングは通常非同期で行われ、有害な軌跡はエージェントが行動した後にしか表面化しません。

OpenRouterの料金に基づくと、Kimi K3のロールアウトで1,000,000ターンを毎ターンジャッジで評価するコストは、Claude Opus 5を使用した場合で約20万ドル、Kimi K3自身を使用した場合で約3万ドルになると推定されています。

プローブ＋ジャッジ カスケード

Goodfireの解決策は2段階のカスケードです。プローブは推論サーバーがトークンを生成する際に対象モデルの内部活性化を読み取り、常時稼働する第一線検知器として機能します。プローブの出力が校正された閾値を超えると、ロールアウトはLLMジャッジへエスカレーションされ、リクエストを拒否するか対話を継続するかが判断されます。同社によれば、プロービングアーキテクチャはターンの特定のチャンクに結びつく局所的な表現と、ターン全体にわたって持続する分散的な表現の両方を捉えつつ、実行効率も保たれます。校正後、プローブは保持されたエージェントおよびチャット対話データセットで偽陰性率0%、真陰性率95%を達成したとGoodfireは報告しており、ジャッジは主に有害な活動に対して呼び出され、より高速で能力の低いジャッジを使用できることを示しています。

トレーニングデータは、サイバーおよび非サイバー環境で有害および善意の目的を持つシミュレートユーザーから取得され、Prime Intellectのベリファイア、Prime Sandboxes、Tunnelsを通じて収集された部分も含まれ、サイバー攻撃的および善意のKimi K3推論がネットワークアクセスなしで実行されました。文書化されたポリシーは、限定的な脆弱性再現のような善意の作業と、脆弱性の悪用のような悪意の作業を具体的な要因で区別し、望ましくないサイバー活動を定義しています。また、シミュレートユーザーは、最初は善意のリクエストであっても、任意の時点で有害な意図にエスカレートすることが可能です。

この設計はGoodfireの以前のリワードハッキング研究を拡張したものです。2026年9月17日公開された投稿において、同社はKimi K3、GLM 5.2、Qwen 3.8 Maxの3つのエージェントベンチマークにおけるロールアウトの50〜96%でリワードハッキングを検出したと報告しています。また、チートや指標のゲーム化、検出回避といった概念に関連する内部シグナルも同時に特定しました。そのシグナルに合わせて調整したシンプルな活性化プローブは、LLMの思考連鎖モニタが見逃したハックを捕捉し、Kimi K3ではプローブ＋LLM構成によりLLMモニタリングコストを90%削減し、精度は約1%低下したと同社は報告しています。

スループット、レイテンシ、検出結果

プローブを実運用するために、GoodfireはSGLangサービングエンジンを拡張し、プローブスコアを内部で計算できるようにし、プローブロジック用のカスタムカーネルを作成し、ラジックスツリー、DSparkスペキュレータ、プレフィル‑デコードの分散処理を通じてプローブスコアを伝搬させ、再計算を回避しました。Kimi K3のレプリカを提供する各ワーカーはプローブを実行し、アクティブなリクエストの履歴を保持し、モニタリングイベントはレスポンスストリームで返されます。

4つの推論ワークロード全体で、プローブを有効化した結果、スループットはGoodfireのベンチマークのノイズ閾値内に収まり、デフォルトのSGLangサービングと比較して2%未満の減少にとどまりました。カスケードは、ジャッジの推論を行わない場合のターンあたりの平均追加レイテンシを160 msから2 msに、推論を行う場合は2,750 msから42 msに削減したとGoodfireは報告しており、推論なしで100万エージェントターンあたり65ドル、推論ありで185ドルのコストとなり、毎ターンジャッジと比較してそれぞれ約49倍、29倍のコスト削減となります。固定された計算予算内では、モニタは計算リソースの1%未満を使用するのに対し、毎ターンジャッジは最大20%を使用すると同社は述べています。カスケードが同期的に実行できるほど低コストであるため、リスクの高いサイバー行動はエージェントがツールを呼び出す前にブロックでき、事後にフラグ付けされることはありません。

Goodfire は、Claude Opus 5 のラベルを参照として使用し、2,400 件のチャットおよびエージェントセッション（合計 60,000 回以上のターン）からなる社内データセットでモニターを評価しました。インタラクションは Anthropic のオープンソース Petri レッドチーミングライブラリ、ExploitBench などのベンチマークから適応された実環境、WildChat のサイバー特化サブセット、そして無害なソフトウェアエンジニアリング、コーディング、DevOps のロールアウトから取得されています。5.5% の無害セッション中断率において、Goodfire は、ジャッジ推論の有無にかかわらず有害セッションで約 93% のリコール率に達し、非サイバートラフィックは 0% とフラグ付けしたと報告しています。これは、テストしたすべての中断量においてジャッジ単体よりもパレート改善であると同社は述べています。モニターを追加した結果、Kimi K3 の有害セッションブロック率は約 29% から 96% に上昇し、無害セッションの中断率は約 5% から 9% に増加しました。GLM 5.3 においては、ブロック率が約 36% から 91% に上がり、無害セッションの中断率は約 10% から 15% に上昇しました。

対 Jev（安価なジャッジとして機能できる意思決定モデル）に対して、カスケードは同じ 5.5% の無害中断率で 93% のリコール率に達し、Jev の 86% と比較されました。1 百万ターンあたりのジャッジ計算コストは約 $65、追加レイテンシは 1 ターンあたり 2 ms で、Jev の $600 と 200 ms と比べて大幅に低減されたと Goodfire は報告しています。Jev は無害な文脈に埋め込まれた有害プロンプトのうちわずか 12% しか検出できず、32,000 トークンのウィンドウを超えると無害セッションを次第に中断していました。標準的な線形プローブは最終レシピより約 5% 低いリコール率を示し、非線形プローブは分布外データセットで最大 30% のリコール低下を示しました。また、ジャッジ呼び出し回数を 6 分の 1 に抑えるためには、ランダムなターン選択ではなくプローブカスケードが必要でした。このレシピは Kimi K3 用に開発されたデータのみを使用して GLM 5.3 にも転用され、Kimi のロールアウトにおいてほぼ同等の性能を持つ GLM モニターが得られ、GLM の独自評価データではわずかに劣る結果となったと同社は報告しています。

外部レッドチーミング（FAR.AI）

内部評価を超えてシステムをテストするため、Goodfire は FAR.AI にレッドチーミングを依頼しました。FAR.AI の見解は、投稿内で次のように引用されています。

“FAR.AI は、2 日間にわたり Goodfire の Kimi K3 モニターの予備テストを実施し、チャット環境での攻撃的サイバー悪用を対象とした非適応型の静的ジャイルブレイクポートフォリオを適用しました。最初の 1,500 件の候補ジャイルブレイクから、当社のモニターなしで別バージョンのベースモデルに対して有効と判明した 140 件を選定しました。これら 140 件を、異なる攻撃者の目的に対応する 8 つの個別インタラクションでテストした結果、Goodfire のモニターは 66 件の汎用ジャイルブレイクと合計 700 件のジャイルブレイクされたインタラクションを、0 件の汎用ジャイルブレイクと 18 件のジャイルブレイクされたインタラクションに削減しました。”

モニターなしの場合、汎用ジャイルブレイク攻撃の成功率は推論努力の設定に応じて 12% から 53% の範囲でしたが、モニターを有効にすると 140 の戦略すべてで汎用ジャイルブレイクは発生せず、1,120 件の非汎用インタラクションにおける個別プロンプトの成功率は少なくとも 9%–40% から 0.1%–1.6% に低下しました。

Goodfire は、この種のモニタリング設定をエージェント環境でオープンモデルを提供するすべてのユーザーにとって実用的なデフォルトと位置付けており、オープンモデルには完全な安全スタックが備わっていないことを指摘しています。同社は、今後も FAR.AI と協力し、モニターのさらなるテストと強化を継続する計画であると述べています。