AIエージェントはルールを記憶できても、圧縮後にそれを破ることがある

コンテキスト圧縮とは、AIチャットで交わされた一連の複雑なやり取りを要約にまとめ、会話全体の履歴ではなく、その要約に基づいてやり取りを続けることです。記憶の使用量という点では「新たなスタート」のようなもので、AIとの対話におけるコンテキストウィンドウの制限への対策として導入されています。

当初はエージェント型AIに導入されたこの手法は、Claudeにも拡大されました。一方、Geminiのコンテキスト圧縮は、開発者のチャットで話題に上るにとどまり、まだ登場していません。ChatGPTはコンテキスト圧縮を採用せず、チャットを終了するだけという方法を取っています。

Codex（許可を与えれば、実際にコンピューター上の変更を行える、基本的にはChatGPTの一種）を一度に30分以上使ったことがあれば、コンテキストを圧縮中というメッセージが時折表示され、その間は追加のやり取りができなくなるのを目にしたことがあるでしょう。

3週間にわたって続いているセッションの記憶を圧縮するため、ひと息つくCodex。

しかし、圧縮が終わると、あなたと話している存在は、チャットがどのように進展してきたかを完全に記憶しているのではなく、目に見えない選択的なメモをもとに応答しています。

ルールを破るAI

今年6月、中国の論文ガバナンスの劣化は、コンテキスト圧縮によってエージェントのコンテキストから既定のルールが気づかれないまま取り除かれ、それまで禁止されていた行為が実行される可能性を明らかにしました。

『ガバナンスの劣化』に関する2026年6月の論文より。コンテキスト圧縮によって、AIエージェントがそれまで守っていたルールを破る可能性がある。圧縮後の要約からルールが抜け落ちると、エージェントは禁じられた行為を実行してしまう可能性がある。攻撃者はこのプロセスを悪用できる一方、ルールを復元すれば違反を防げる。 出典

7つのモデル全体で、違反率は圧縮前の0%から圧縮後には30%に上昇し、ケースによっては59%に達しました。実際には、エージェントが「[our-company]メールアドレスを持たない人には誰にも連絡しないこと」といった重要な指示を無視する可能性があるということであり、その影響は明らかに重大です。

7月には、ペンシルベニア州立大学とIBMがコンテキストの中で見失われるでこの研究を発展させ、コンテキスト圧縮によって、タスクそのものは保持されても、AIがタスクをどのように実行すべきかを定めた指示が失われる可能性を明らかにしました。3つの設定で行ったテストでは、圧縮処理が保持したこうした指示は平均でわずか17%でした。

8月には、米国の研究者らによる共同研究でTRACEが発表され、必要な情報を復元できる状態に保っていても、コンテキスト圧縮がエージェントの動作を乱す可能性が示されました。テストでは、エージェントはタスクのどこまで進んだかを見失い、完了済みの作業を繰り返し、実行を重ねるにつれて信頼性が低下しました。

ARCBench

今月、オランダからARCBenchという研究が発表され、新たな知見が加わりました。この研究によると、エージェントはルールを保持したまま圧縮を終えても、それに違反する可能性が大幅に高まることがあります。ルールが保持されたケースを調べたテストでは、違反の発生頻度は、会話履歴全体を使った場合と比べて、圧縮後には2.6倍でした。

新しい論文より。コンテキスト圧縮が、エージェントの運用ルール遵守にどう影響するかを示す概念図。同じ後続の要求でも、圧縮後にルールが保持されていれば拒否される一方、ルールが省かれていれば実行される可能性がある。また、外部文書が、どの情報を保持するかに影響を与えることもある。レイアウト上の都合により、この図は出典論文に掲載された縦長の原図を変形したものです。 出典

この研究では、圧縮中に失われたルールと、圧縮後も保持されたものの、その後違反されたルールを区別しています。これにより、忘却と不服従の影響を初めて独立して測定できるようになりました。

DeepSeek-V4-Flash、GLM-5.3-Flash、Qwen3.7-Flash、GPT-Lunaを用いたテストでは、圧縮された実行の70.1%でルール全体が保持されました。ルールが保持された実行に限ると、違反の発生頻度は、会話履歴全体を使った場合と比べて2.6倍でした。

従来の意味でのコンテキストも要因となった。ルールを組織の方針として提示した場合、完全なコンテキストがある状態では違反は発生しなかったが、コンテキストの圧縮後には違反率が30.6％と22.2％に上昇した。

利用可能な中で最も強力な防御策は、要約の99％でルールを保持したものの、違反を攻撃前の水準に戻すことはできなかった。このことは、コンテキストの圧縮中にルールを保持できても、エージェントがそれに従う能力、あるいは従おうとする意思まで必ずしも保たれるわけではないことを示している。

論文には次のように記されている。

‘[We] 圧縮によって違反が増える主な原因は、ルールが削除されることではないことが分かった。ルールが保持された圧縮後の実行でも、履歴全体を使った実行と比べて違反が2.6倍多く発生する。

‘さらに、圧縮によって、エージェントが違反に至る際の推論も変化する。圧縮方法の違い、厳しい圧縮時のトークン予算の制約、そしてルールを伝える経路のいずれも、遵守に影響を及ぼす。’

対策として論文は、圧縮中に失われるルールをより確実に保持する方法を提案する一方、保持されたルールにエージェントが従わないという問題は未解決のまま残している”

‘防御策によってルールは復元されるが、攻撃下では遵守が依然として損なわれる。したがって、ルールが保持されていることは、遵守の十分な代替指標にはならない。今後の研究では、ARCBenchを用いて、保持されたルールにエージェントがなお違反する理由を解明し、適応型の攻撃と防御を検証するとともに、より多くのモデルや領域を対象に、反復的な圧縮を伴う、より長いセッションを調査できる可能性がある。’

手法

ARCBenchは、独自のネイティブな圧縮ルーチンに加え、エージェントのループ、ツール呼び出し、ネイティブな圧縮機能を備えるオープンソースのpiハーネスを拡張したものだ。このベンチマークでは、エージェントが継続的なルールに従いながら長いタスクに取り組み、蓄積した履歴を圧縮した後、そのルールに違反する要求を受ける状況を再現する。そのうえで、ツール呼び出しを通じてエージェントの行動を確認する。

ARCBenchの評価パイプライン。エージェントにタスクと運用ルールを与えた後、さまざまな設定、攻撃、防御のもとで履歴を圧縮する。その後のツール操作を調べ、ルールが保持されていたか、また従われていたかを判定する。

ARCBenchには、保護対象データの開示、制限されたリソースへのアクセス、許可されていない行為、必須の制御の回避または省略を扱う17のケースが含まれており、OWASPのリスク分類に対応している。

ケースはGovernance DecayとCOMPINTをもとに作成され、個人ルールと組織ルールの双方について、4種類すべての違反が網羅されるよう、さらに4つのケースが追加された。

このベンチマークでは、ルールの伝達方法、コンテキストの圧縮方法、圧縮に使えるトークン予算、攻撃の種類、防御策という5つの要素を設定できる。

ARCBenchには、コンテキストの圧縮方法、ルールの伝達方法、攻撃、防御のさまざまな形態に応じて、ルール遵守がどのように変化するかを検証する5つの変数がある。

ルールは、直接指示または継続的な指示として与えることも、文書に埋め込むことも、ポリシーツールを通じて取得させることもできる。

データとテスト

圧縮方法は、生成型の7つと選択型の3つからなる計10種類を評価した。各ケースを繰り返し実行し、エージェントがルールに一度でも違反した場合に失敗と記録した。実行間の成績を平均するよりも、この方法のほうが安全性のテストに適していると考えられる。というのも、時折禁止された行為をするエージェントも、安全とは言えないからだ。

圧縮後の履歴は、GPT-6-Luna-Pro、Qwen-3.8-flash、Claude-Sonnet-4.6で調べ、各ルールをそのまま保持、弱体化、消失のいずれかに分類した。多数決による判定を採用し、判定が一致しない場合は人間の注釈者が内容を確認した。また、判定モデルの一貫性を確かめるため、別途50件の要約にも人手でラベルを付けた。

ルールがそのまま保持されていたにもかかわらず違反が起きた場合、エージェントの推論をGPT-6-Luna-Pro、GPT-6.1-Sol、Claude Sonnet 5.5で調べた。違反は、後の要求をルールの上書きを許可するものと解釈したか、その行為をルールの適用範囲外と判断したか、ルールに言及しなかったか、またはルールを認識したうえで無視したかに基づいて分類した。

テストには、OpenRouter経由で利用した4つのモデル、すなわちDeepSeek-V4-Flash;、GLM-5.3-Flash、Qwen3.7-Flash、GPT-Lunaを使用した。各実行では、会話履歴の圧縮と、圧縮後のコンテキストに基づく行動の両方に同じモデルを使い、piのデフォルトの動作に合わせた。モデルにはOpenRouter経由でアクセスした。

7件の研究が実施され、圧縮に関するテストの大半ではHermesが使用されました。最初の研究では、17件の各タスクについて、4つのモデルとルールを提示する2つの方法を組み合わせてテストし、計136件のケースを検証しました。それぞれのケースを、会話履歴をそのまま保持した状態で3回、圧縮した後に3回実行しました。

研究上の問いごとに分類した、7件のARCBench研究の構成。緑色で強調されたセルは各研究で変化させた要因を示し、灰色のセルは固定した設定を示しています。各ケースは3回実行し、攻撃と防御を扱う研究S6およびS7では6回実行しました。

テストでは、次の3つの問いを検証しました。圧縮後の違反はどこから生じるのか？、圧縮の設定の違いによって、違反の発生源はどう変わるのか？、そして圧縮器を標的とする攻撃と防御によって、違反の発生源はどう変わるのか？。

圧縮後の違反はどこから生じるのか？

最初の結果では、ルール違反の割合が、履歴全体を保持した場合の9.6%から、圧縮後には37.8%へ上昇しました。ただし、圧縮後の実行でルールが完全に失われたのはわずか3%で、70.1%ではそのまま保持され、26.9%では一部が保持されていました。

圧縮前後に各モデルがどの程度ルールに違反したかを示す結果。違反が大幅に増加した一方で、大半のルールは圧縮後もすべて、または一部が保持されました。増加幅が最も大きかったのはQwenで、違反率は61.8%に達しました。

この違いは重要でした。圧縮後もルールが完全に保持されていた個々の実行でも、21.1%で最終的に違反が発生しました。元の履歴を保持した場合の8.1%と比べて高い割合です。ルールが一部だけ保持された場合、違反率は29.4%に上昇し、ルールがまったく残っていない場合は83.3%に達しました。

ルールがそのまま残っていたにもかかわらず、どのように違反が起きたのかも調べました。圧縮が原因で生じた違反のうち、45.9%では後からの依頼が実行の許可と解釈されていました。27%ではルールが無視されたとみられ、21.6%ではルールが適用されると認識されながらも、結局違反していました。

圧縮前後にルール違反が起きた理由を示す結果。圧縮後に初めて違反が発生したケースでは、後からの依頼が実行の許可と解釈されることが最も多く（45.9%）、27%では保持されていたルールが無視され、21.6%ではルールの適用が認識されながらも、そのまま実行されていました。

圧縮の設定の違いによって、違反の発生源はどう変わるのか？

ルールの提示方法は、ルール遵守に顕著な影響を及ぼしました。会話全体を保持した場合、ユーザーが個人的に提示したルールでは、25%および16.1%のケースで違反が発生しました。一方、組織の文書またはポリシーツールを通じてルールを提示した場合、違反は記録されませんでした。

ルールの提示方法、圧縮方式、トークン予算が、違反とルールの保持に及ぼす影響。生成型の圧縮は選択型の方法よりもはるかに確実にルールを保持しましたが、トークン予算が300以下の場合、ルールはほぼ完全に失われました。

圧縮後は4つすべての提示経路で違反が増加し、ユーザーによる直接の指示では56.3%、ポリシーツールのルールでは22.2%に達しました。ルールの保持率の差は比較的小さく、65.7%から74%の範囲でした。著者らは、後からのユーザーの依頼は個人ルールに優先するものと解釈される場合がある一方、ユーザーが組織のルールを覆すことはできないと考えられる、と指摘しています。

圧縮器を標的とする攻撃と防御は、違反の発生源にどう影響するのか？

コンテキストに追加の情報を大量に詰め込んでも影響は小さく、違反率は実際には37.8%から34.3%に低下しました。これに対し、圧縮器を標的とするインジェクションはかなり効果が高く、違反率を46.3%に引き上げるとともに、ルールの完全保持率を70.1%から42.5%に低下させました。

「escape」と呼ばれる最も強力な攻撃では、違反率が23.5%から58.8%に上昇し、ルールの保持率は96.1%から66.7%に低下しました。ルールが保持されていた場合でも、違反率は13.3%から26.5%へと倍増しました。

圧縮後のルール遵守に攻撃と防御が及ぼす影響を示すテスト結果。標的型インジェクションによって違反が増加し、ルール保持率が低下した一方、最も強力な防御は、遵守率を完全に回復させることなく、保持率を99%に戻した。

最も強力な防御では、99%の実行でルールが保持されていた。それでもエージェントがルールに違反した割合は29.4%で、攻撃を使わなかった場合の23.5%を上回った。つまり、エージェントがルールを保持していることを確認しても、それに従うことを保証するものではなかった。

結論

非常に長いスレッド（たとえば、10月中旬からCodex*で取り組み、今朝も作業していた、AIの支援を受けた実験的なソフトウェア開発の一大プロジェクト）の中で、コンテキストが何十回、何百回と圧縮されると、ある種の「コピー機効果」が生じるのではないかと考えられる。

中核となるシステムプロンプトと同様に、これまでの経緯を圧縮した要約を見ることはできない。私自身の経験から言えば、圧縮されても中心的な任務は保たれ、重要な詳細の大半も残るようだ。とはいえ、「このメールを全員に送信」という指示が、本来は会社の全員だけに送るつもりだったのに、集約された会社の連絡先一覧に登録されている全員に送られてしまう――そんな悪夢のような状況に遭遇したわけではない。うわっ。

* 年を取ってきたせいかもしれないが、このエージェントに付ける名前として、これほど印象に残らず、無難で、いかにも「企業ベージュ」なものはないだろう。私はいつもこの名前を忘れてしまう。

初出：2026年11月12日（木）