言語モデルは秘密を守るのが苦手

AIモデルは秘密を守れない。明かさないように指示されても文章に秘密が表れ、懸命に隠そうとするほど漏洩を見つけやすくなる。

意図的に何かを 考えない ようにするのは非常に難しい。その典型例が、1960年の英国製SFスリラー映画『 Village of the Damned』の終盤にある。自己犠牲を覚悟した主人公は、子どもに姿を変えた敵対的な宇宙人の集落に爆弾を持ち込む。しかし、世界から脅威を取り除く前に彼らのテレパシーに意図を見抜かれる恐れがあるため、時間を稼ごうと、 爆弾ではないものに意識を集中させる。

https://www.youtube.com/watch?v=NcrE0vGrcto

逆説的だが、何かを 考えない ためには、それを 何らかの形で意識に留めておく必要がある。この よく知られた現象 は、もっと日常的な状況で多くの人が経験したことがあるだろう。

大規模言語モデル（LLMs）は、その基盤が 注意の配分に基づいているため、ユーザーに頼まれただけで情報を抑制することに同じような難しさを抱える。しかも、ますます 企業の情報ネットワークの要所に配置されるようになっており、無邪気に情報を漏らす傾向は多くの企業にとってリスクになり得る。

今年初め、Chandar Research Lab主導の 共同研究 は、この課題をLLMの文脈で Private State Interactive Tasks （PSIT）と定義した。これは、 『一貫した公開応答を生成しながら、隠された情報を生成・維持することをエージェントに求める』課題であり、テストしたOpenAIとAlibabaのモデルは遂行できなかった。

それを言ってはいけない…

すでに 大きいモデルほど情報を漏らすことは知られているが、米国とカナダの新研究は、最先端の言語モデルが情報を抑制する指示に従うかを明示的に調べた。モデルには同時に、『禁止された』単語や概念を含み得る題材やテーマで出力を生成することも求められた。

論文は、調べた全モデルが何らかの形で、隠すはずの秘密を明かす傾向の影響を受けると結論づけた。5段落、約450語のエッセイや物語は『うっかり漏らす』余地を十分に与えるが、ごく短いジョークにはそれほどの余地がない。

さらに、秘密を守るよう強く求めるほど、積極的な回避によって秘密を明かす危険が高まる。通常は、別のLLMが20回続けて推測すると『秘密の単語』を特定できる。

新論文より。5つの最先端モデルでは、長文から隠された概念が安定して漏れる一方、短いジョークでは漏れない。『隠せ』という強い指示は出力を秘密から遠ざけるが、そのため逆方向に読み取ることで信号を検出できる。 出典

これは企業活動に極めて関係の深い課題だ。マーケティングや広報から内部報告まで、幅広い経路で情報をある観点から 選択的に 提示する必要がある。しかし、何を伏せるべきか確認するためだけでも、そのプロセスには 最初からすべての情報が必要になる。

論文の例は、隠された情報が無関係な出力を意図せず形づくる様子を示している。会社の財務不安を明かさないよう指示されたLLMが、それでも現金不足や資金繰りの圧迫に結びつく表現に寄り、読者が隠された背景を推測できてしまう。

著者らは述べる*。

『言語モデルは情報を確実に区分して扱えない。プロンプト内の秘密がモデルの文章を形づくり、別のモデルはその影響を検出できる。文字どおりの単語は常に抑制されるが、概念は抑制されない。これは7モデル、3つの単語集合、システムプロンプトとユーザープロンプト、そして異なるモデルによる独立した2つの推測器にまたがって成り立つ［…］

『…Transformerが注意機構を通じて情報へ高い忠実度でアクセスできることこそ、秘密を守りにくくする理由ではないかと考えている。LLMが単語を 漏らさない ようにしていても、そのためにはその単語に注意を向ける必要があり、偶発的な漏洩への経路が生まれる。

『明示的に何かを避けるには、人間はそれを考え、Transformerはそれに注意を向けなければならない。2つの概念をモデルがほぼ同じ程度に好む場合、たとえば事務職の物語かオーケストラの第2バイオリンの物語を書く場合、明かすまいとしている内容がモデルの判断に必ず影響する。』

DeepSeekとChatGPT-5.4は挙動の点で例外だったものの、両方とも情報を漏らした。GPT-5.4の場合、スコアは 50％未満、つまり偶然の水準を下回った。これは、ある概念を 避ける よう求めたテストでの結果だ。これは求められたとおり平静を保ったのではなく、実質的に『逆向きの突出』という手がかりを与えたことになる。

著者らはLLMのこの現象を 有限のエントロピー予算と説明する。本来この状況では役立つはずのモデルの予測不能性が、その 本質的なランダム性の欠如によって抑えられるということだ。簡単に言えば、頭から離れない考えを避けるために、モデルは人間ほど効果的にレンガの壁や野球の得点へ意識を向けられない。ただし著者らによれば、代わりに考える概念を与えると問題を軽減できるが、解消はできない。また、作業中に無関係な概念を注意の中心に置けば、その『おとり』の概念が出力自体に絡み込むことになりそうだ。

特に興味深い発見の一つは、制御用テキストを ユーザーの直接のメッセージ に含めると、 システムプロンプト に含める場合より現象が大きく悪化することだ。システムプロンプトは、やり取りに先立って人間のユーザーがAIに与える前提条件である。ChatGPTのようなGUIへ質問を入力することは、おそらく最も一般的な利用形態だろう。

加えて、対象を絞った試験では、小規模モデルにこの漏洩傾向がないことが確認された点も注目に値する。ただし、比較すると全般的な能力も同様に低い可能性が高い。

新論文 の題名は『 Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing』で、シカゴ大学とブリティッシュコロンビア大学に所属する2人の著者による。

方法

主に調べたのは5つの最先端モデルである。Anthropicの Claude Opus 4.6 と Sonnet 4.6、OpenAIの GPT-5.4、Metaの Llama 4 Maverick、そして DeepSeek V3.2だ。追加の検証ではxAIの Grok 4とGoogleの Gemini 2.5 Proも使用した。別のスケーリング実験では、 Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70Bと Gemma 3 の40億、120億、270億パラメータ版も調べた。

微妙な漏洩を測るため、研究者らは二肢強制選択（2AFC）試験を使った。心理物理学で標準的な指標で、2つの物語を別のモデルに見せ、特定の秘密の単語を隠しながら書かれたのはどちらかを尋ねた。

ランダムな推測の正答率は50％なので、それを大きく上回る、あるいは下回る結果は、文章に隠れた意味的痕跡が残り、検出できることを示す。

最初の実験の 書き手・推測者 という構成では、一方のモデルに秘密の単語を与え、隠す、その単語との連想を積極的に避ける、またはおとりの概念へ注意を向けるよう指示した。その後、長さの異なる物語、エッセイ、ジョークを生成させた。もう一方のモデルは秘密の単語を直接特定するか、異なる隠れたプロンプトの影響を受けた文章を区別しようとした。

5つの条件をテストした。

主要モデルでテストした5つの条件。

作文課題は4種類だった。5〜8段落で平均約450語の短い物語、平均約12語のごく短いジョーク、長い前振りがあり平均約450語の長いジョーク、そして平均約380語の5段落エッセイである。

実験では15の秘密の単語を3分類した。 具体的な 物体は ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’と’telescope’、抽象概念は ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’と ‘freedom’、 中立的な 語は ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’と ‘invoice’だった。

この効果が手作業で選んだ語に依存するか調べるため、現代アメリカ英語コーパス（COCA）から無作為に選んだ15の名詞でも実験を繰り返した。その語は ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’と ‘banker’で、さらに各モデルが独自に選んだ15語も使用した^†。

測定・指標

2種類の試験のうち最初の試験では、AIモデルが、同じモデルの別インスタンスか別のモデルが生成した文章を読み、20回にわたって秘密の単語を推測した。

2番目の2AFC試験では、2つの文章をAIに見せ、特定の秘密の単語に影響されたのはどちらか、またはどちらが 何らかの秘密の単語をそもそも含むかを尋ねた。無作為なら成功率は50％なので、それを上回る、あるいは下回る結果は、隠されたはずの概念が文章からまだ検出できることを意味する。

先に示された文章、または後の文章を単に好む影響を避けるため、研究者らはすべての比較を文章の順番を入れ替えて繰り返した。最終的に、各モデルで420の識別試験と450の検出試験を実施した。

結果

5つのモデルは64〜79％の割合で秘密の概念を特定したが、秘密の単語そのものは生成された物語に一度も現れなかった。漏洩はテーマや情景描写を通じて生じた。

システムプロンプトに秘密を含めた物語の2AFC正答率。50％は偶然の水準を示す。『Don’t reveal』は単語を述べたりほのめかしたりしない指示、『actively hide』は関連する連想を避ける指示、『avoidance-aware』は目立った欠落を探すよう推測者に求める条件、『free-response』は20回以内に正確な単語が挙げられたことを表す。星印は偶然を上回る結果、短剣符は下回る結果を示す。ほぼすべての有意な結果は ボンフェローニ補正 後も有意だったが、『actively hide』条件のDeepSeekは例外だった。GrokとGeminiはAPIエラーにより試行数がやや少なかった。

GPT-5.4とGemini 2.5 Proは異なる挙動を示した。秘密の考えを避けようとすることが、回避パターン自体をかえって 検出しやすくしたためだ。この効果は手作業で選んだ語、無作為のCOCA名詞、モデルが選んだ語でも続いた。

GPT-5.4の偶然の水準を下回るスコアは、ランダムではなく系統的に見えた。非常に確実に検出できる秘密の単語がある一方で、ほとんど特定されない語もあった。また、秘密をシステムプロンプトではなくユーザープロンプトに置くと、この効果は弱まり（前述参照）、GPT-5.4の検出正答率は56％へ上がった。

ほとんどのモデルでは、 『この文章は隠された概念を含むか』 という試験は、 『この文章はどの隠された概念を含むか』という試験と似た結果になった。

さらに、2つの試験方法は異なる 種類 の漏洩を測っていた。2AFCは隠されたテーマが文章からなお検出できるかを、自由回答試験は漏れた手がかりが別のAIに正確な秘密の単語を推測させるほど強いかを測った^††。

著者らは結論づける*。

『生成時にモデルのコンテキスト内で活性化している情報が、出力にテーマ上の痕跡を残す可能性を、私たちの結果は示唆している。システムプロンプトの内容、思考の連鎖による推論、検索・取得した文書、ユーザー提供データなどは、いずれも原理的には、外部の観察者が検出できる形で創作上の判断に影響し得る。

『漏洩の程度は、生成課題がどれほど自由形式か（短いジョークは安全だが物語はそうではない）、そしてその媒体で情報がどれほど意味的に特定しやすいかに左右される（”violinは物語ではおそらく”)”より漏れやすい）。

『それでも、 意味的な漏洩 は、モデルが積極的に情報を隠そうとしていても避けられないように見える。

結論

前述のとおり、著者らは問題の一部を、 Transformerアーキテクチャ そのものの基本原理に帰している。歴史から考えると、この新たなLLMの問題にも、事後学習による調整（アライメント）、エンドユーザーが編集できないシステムプロンプト、フィルター、そして拡散モデルの『本来備わる』問題が明るみに出るたび増殖するような、多種多様で拡大し続ける二次的システムで対処することになるだろう。

ガードレールや抑制均衡の二次的インフラが大きくなるほど、現在の最先端AIは、 Jurassic Parkに似てくる。中心となる価値提案に恐ろしいほど多くの留保が伴い、数多くの回避策と妥協が必要になる。

* 強調は原著者によるもので、必要に応じて筆者が調整した（記事中の引用自体がすでに斜体であるため）。原著者の文中引用は筆者がリンクへ変更した。

^† 著者らは、モデルが自ら選んだ語について、異なるモデルファミリー間で自然に生じる、一見ありそうにない重複に興味を示す。『モデルは似た語に引き寄せられる。telescope、freedom、nostalgiaはそれぞれ3つ以上のモデルの一覧に現れる』という。また、短いジョークの選択も共通する。『［いくつかの］モデルは秘密に関係なく同じ定番ジョークを生成する。Opusは15の秘密のうち11に対し、「なぜ科学者は原子を信用しないのか。あらゆるものを作り上げるからだ」というジョークを書く。残る4つの秘密（cactus、entropy、nostalgia、patience）には、秘密のない15条件すべてでもOpusが使う同じ図書館のジョークが与えられる。つまり、この4つの秘密を含むジョークはベースラインと区別できない。』

^†† Arxivの基準でも、この論文は繰り返しが多く、魅力的な主要発見を過剰な詳細や実演の中に埋める傾向がある。そのため、その他の二次的実験については原論文PDFを参照していただきたい。

初出は2026年5月15日金曜日。構文を5月16日土曜日16:05 EETに修正。