Andersonの視点

人間には見える隠し文字をAIに読み取らせる

mm
Unite.AI を Google の優先ソースに追加
A montage from John Carpenter's SF thriller 'They Live' (1988) shows John Nada (Roddy Piper) putting on sunglasses that reveal the hidden message ‘OBEY’ beneath a billboard advertising a transparent computing environment. © 1988 Universal Studios. All Rights Reserved.

2〜3年ほど前、AI界で一時的に流行したものの、すぐに廃れたトレンドの一つに、視覚言語モデル(VLM)を使って、暗号めいた文字や「潜在画像」を、一見すると無害そうな生成画像に埋め込む手法があった。一時的に流行し、一見すると無害そうな生成画像に埋め込む手法だ。

QR Code Monster ControlNetの出力は、目の錯覚やトロンプ・ルイユの効果が特徴です。出典 - https://web.archive.org/web/20250903115135/https://civitai.com/articles/2413/hidden-faces-and-text-with-controlnet-qr-code-monster-by-thinkdiffusion

目の錯覚やトロンプ・ルイユの効果が、QR Code Monster ControlNetの出力の特徴です。 出典

これは、必要に応じて生み出せる一種のだまし絵効果であり、オープンソースのQR Code Monster ControlNetフレームワークを通じて最も広く知られるようになりました。

この手法が十分に知られるようになった今、活用先として残されているのは、実用的な暗号技術の一種として用いることくらいだ。VLMや光学文字認識(OCR)システムに傍受・解読されない文字を送ったり、潜在意識に働きかけるメッセージを伝達したりできる。

AIが生成した錯視のよく知られた例です。この記事のメイン画像と同様、ジョン・カーペンター監督の1988年のSF映画『They Live』のミームを題材にしています。作中では、ある男性が、地球に潜入した異星人が世界中に潜在的なメッセージを発信していることに気づきます。出典 - https://arxiv.org/pdf/2507.22617

メッセージが読み取れましたか?わからなければ、答えは下にスクロールしてご覧ください。これはAIが生成した錯視のよく知られた例です。この記事のメイン画像と同様、ジョン・カーペンター監督の1988年のSF映画『They Live』のミームを題材にしています。作中では、ある男性が、地球に潜入した異星人が世界中に潜在的なメッセージを発信していることに気づきます。 出典

2025年の研究人目につかない憎悪や、先月発表された人目につかない隠し事は、憎悪に満ちた見解を広める手段として、また一般に、隠文術の手法として、この技術が持つ可能性を明らかにしている。

そのため、現在の研究では、面白いミームを作る手法というより、悪用される可能性のある技術として主に捉えられている。

さらに詳しく見る

こうした侵入を傍受するうえでの課題の一つは、マルチモーダルAIモデルに、いわば「木を見て森を見ず」の状態から抜け出させることだ。こうした画像には一貫した呼び名がないようなので、AI錯視画像と呼ぶことにしよう。私たちが目を細めたり、AI錯視画像を極めて小さくしたりすると、潜在的な文字の全体的な特徴が見えやすくなる。

拡散モデルの学習では、AIは概念を「大まかなラフ画」として捉える段階から、細部を緻密に描ける段階へと徐々に進んでいく(フクロウの残りを仕上げるようなものだ)。そのため、VLMはこの種のパターンを見分けるのが得意なはずだ。しかし、最近の研究によると、実際はそうではない。

2025年に発表された「SemVink」では、ほかの面では高い能力を持つ最先端のVLMでも、AI錯視画像に隠された潜在的な文字を読み取れないことが示された。出典 - https://johnnyzeppelin.github.io/vlm-semvink/

2025年に発表された「SemVink」では、ほかの面では高い能力を持つ最先端のVLMでも、AI錯視画像に隠された潜在的な文字を読み取れないことが示された。 出典

しかし、中国で発表された最近の論文は、VLMがAI錯視画像を認識できるようにする新たな枠組みを提案している。

コードが公開されたこの新しい手法では、画像を縮小したものと正解の書き起こしの両方を与え、あるAIモデルが別のモデルから学習する訓練方法を用いる。研究者らによると、この方法により、従来の訓練方法よりも認識スコアが大幅に向上し、元の画像から隠されたメッセージを直接読み取れるようになる。

提案されたAI訓練手法の図。2つのモデルが同じ画像から学習する様子を示している。教師モデルには、隠された文字を認識しやすくする縮小画像や正解など、追加の手がかりが与えられる。その指導を受けて学生モデルを訓練し、最終的にはこうした手がかりなしで文字を認識できるようにする。出典 - https://arxiv.org/pdf/2610.13465

提案されたAI訓練手法の図。2つのモデルが同じ画像から学習する様子を示している。教師モデルには、隠された文字を認識しやすくする縮小画像や正解など、追加の手がかりが与えられる。その指導を受けて学生モデルを訓練し、最終的にはこうした手がかりなしで文字を認識できるようにする。  出典

SQUINTと名付けられたこの手法は、知識蒸留を活用する。これは、あるAIモデルが学習した情報を、訓練中に別のモデルへ受け渡す手法だ。この場合、教師モデルと学生モデルの応答を数値的に比較しながら、学生モデルが教師モデルの予測を再現できるように訓練する。訓練が完了すれば教師モデルは破棄でき、新たな画像を調べるモデルは1つだけとなり、追加の支援なしで処理できる。

SQUINTの2段階の学習では、まず学生モデルの予測を、より多くの情報を与えられた教師モデルの予測と比較し、その違いから学習できるようにする。第2段階では、隠されたテキストを正しく読み取った場合に報酬を与え、さらなる性能向上を促す。

テストでは、SQUINTは元のAIモデルではほとんど認識できなかった画像内の隠された文字を認識し、複数の独立したベンチマークでもより優れた性能を示した。文字として読み取れなくても隠されたテキストを検出できる場合が多いことが分かり、文字を構成する画像の部分に注意を向けると、認識精度が向上した。

細部やテクスチャを抑えることで、さらに性能が向上し、形状の輪郭をより容易に見分けられるようになった。

隠されたテキストが誤読される理由を調べる3つのテスト。左:モデルを画像内の正しい領域に誘導すると、文字を見つけることが大きな障壁であると分かる。中央:視覚的な細部を取り除くと、テクスチャが文字の大きな形を見えにくくすることが分かる。右:縮小画像を追加すると、画像を小さくすることで、見た目が似た文字をモデルが区別しやすくなることが分かる。

隠されたテキストが誤読される理由を調べる3つのテスト。左:モデルを画像内の正しい領域に誘導すると、文字を見つけることが大きな障壁であると分かる。中央:視覚的な細部を取り除くと、テクスチャが文字の大きな形を見えにくくすることが分かる。右:縮小画像を追加すると、画像を小さくすることで、見た目が似た文字をモデルが区別しやすくなることが分かる。

データと手法

AI Opticalsの例をモデルにさらに多く見せるだけでは不十分であることが分かった。従来の学習では、画像を異なる縮尺で見るべき理由がモデルに与えられないためだ。そこでSQUINTでは、学習時に縮小画像を使用し、フルサイズの画像に向き合った際に、どの視覚情報を優先すべきかをモデルに教える。

これを実現するには、2つのデータセットが必要だった。SquintBenchは、(詳細不明の)本番コンテンツモデレーションのパイプラインから選定した1,076枚の画像で構成される。著者らによると、いずれも実際の本番データから取得したもので、隠されたテキストを含む人間のプロフィール画像とみられる。こうしたテキストは人間ならほとんど苦労せずに読めるもので、アノテーターが目に見えるテキストと隠されたテキストの両方を書き起こした。

2つ目のデータセットSquintCtrlでは、今や古典的ともいえるStable Diffusion 1.5上で動作するQR Code Monster v2を使い、生成したシーンに隠されたテキストを埋め込んでいる(コンピュータービジョン研究者たちは、どうやらこれを手放す気がないらしい)。各画像の生成に使ったテキストはあらかじめ分かっているため、その正確な位置を自動で特定でき、人手によるアノテーションなしで認識の失敗を調べられる。

SquintCtrlは4つのサブセットに分かれている。SquintCtrl-Pairでは、隠されたテキストの有無を検出できるかを調べるため、隠されたテキストのある画像とない画像を組み合わせた500組を使用する。SquintCtrl-Glyphでは、個々の漢字とラテン文字を識別し、その位置を特定できるかを検証する。SquintCtrl-Strengthでは、200のシーンで隠されたテキストの強度を変化させる。SquintCtrl-Readでは、完全な書き起こしをテストするため、語彙を限定しない画像を200枚用意した。

テスト

診断実験にはQwen3.5-9Bを使用し、既存モデルがすでに何を認識できるかを明らかにするため、重みは変更しなかった。

第1段階の学習Squint OPSDでは、より多くの情報を与えられた教師モデルが学生モデルを導く。教師モデルには元の画像、縮小画像、正解の書き起こしを与える一方、学生モデルに見せるのは元の画像だけだ。その後、両者の予測をトークンごとに比較することで、学生モデルは元の画像だけを使って処理する能力を保ちながら、教師モデルから学習できる。

学習には5,905件のプロンプトを使用した。その内訳は、隠されたテキストを含む合成画像3,489枚、OCRサンプル1,213件、視覚的な質問応答サンプル1,203件である。主な評価セットにはSquintBenchを使用し、転移性能はIllusory VQA、AdvOCR、HC-Benchで測定した。より広範な視覚言語性能は、AI2D、DocVQA、OCRBenchでテストした。

比較対象として、元の事前学習済みモデルに加え、縮小画像を追加で与えたモデル、教師ありファインチューニング(SFT)を施したモデル、DAPOを適用したモデルをテストした。外部の比較対象として、Claude Opus 5、Gemini 3.1 Pro、GPT-6 Astra、Qwen3-VL-235B-Thinkingも評価した。

ベースライン手法とSquint OPSDのテスト結果の比較。Squint OPSDはSquintBenchで88.61と最高スコアを達成し、教師ありファインチューニングと比べて、汎用的な視覚言語性能を大幅に高く維持した。

ベースライン手法とSquint OPSDのテスト結果の比較。Squint OPSDはSquintBenchで88.61と最高スコアを達成し、教師ありファインチューニングと比べて、汎用的な視覚言語性能を大幅に高く維持した。

上の結果表に示すように、Squint OPSDはSquintBenchのスコアを元のモデルの26.50から88.61に引き上げ、3つすべての学習ベースラインを上回った。同時に、汎用的な視覚言語テストでの性能もほぼ維持した。

次のテストでは、Squint OPSDを外部の隠しテキストベンチマーク3種類で評価しました。

SquintBenchと外部の隠しテキストベンチマーク3種類で、Squint OPSDとほかの5つのモデルを比較したテスト結果。モデルに未加工の画像全体を提示した場合、Squint OPSDはすべてのテストで最高の成績を収めました。Illusory VQAでは、単語誤り率が低いほど性能が高いことを示します。

SquintBenchと外部の隠しテキストベンチマーク3種類で、Squint OPSDとほかの5つのモデルを比較したテスト結果。モデルに未加工の画像全体を提示した場合、Squint OPSDはすべてのテストで最高の成績を収めました。Illusory VQAでは、単語誤り率が低いほど性能が高いことを示します。

AdvOCRのスコアは3.7から66.7へ、HC-Benchでは1.8から44.6へ上昇し、Illusory VQAの単語誤り率は178.10から67.00へ低下しました。一方、元のSquintBench画像を使ったテストでは、はるかに大規模なQwen3-VL-235B-ThinkingとGPT-6 Astraも振るわず、スコアはそれぞれ24.44と8.33でした。

学習後、画像に隠された個々の文字を、モデルが内部でより明確に区別できるようになったことが観察されました。文字の種類がどれほど明確に表現されているかを示す指標は、中国語の文字で0.718から0.975に上昇し、ラテン文字でも同等のスコアが0.612から0.779に上昇しました。

学習後に、モデルによる隠し文字の扱いがどのように変化したかを検証。左側では、モデルの予測と注意が、隠された文字を形作る画像領域により集中する様子が示されています。これらの領域を乱すと、精度は低下します。右側では、言語に基づく情報を保ちながら、モデルが予測する別の文字が、視覚的な類似性に沿ってより明確に整理される様子が示されています。

学習後に、モデルによる隠し文字の扱いがどのように変化したかを検証。左側では、モデルの予測と注意が、隠された文字を形作る画像領域により集中する様子が示されています。これらの領域を乱すと、精度は低下します。右側では、言語に基づく情報を保ちながら、モデルが予測する別の文字が、視覚的な類似性に沿ってより明確に整理される様子が示されています。

画像のうち、隠された文字を実際に形作っていた部分にも、より強く注意が向けられていました。これらの領域に関するモデルの内部表現を意図的に乱すと、精度は90.5%から71.5%に低下しました。一方、同じ数の背景領域を無作為に選んで乱しても、ほとんど変化はありませんでした。このことは、隠されたテキストが関連する視覚的構造から読み取られていたことを示しています。

結論

この新たな研究にも、ほかのAI分野で繰り返される「フラクタルな近視」とでも呼べるものがあるのかもしれません。最先端のLLMやVLMに詳しいユーザーなら、テキストや画像、動画の生成における一部分に過度に集中し、そうした変更が全体にどう影響するかを十分に考慮しない場面が数多くあることを思い当たるでしょう。

多くの場合、問題はAIの不完全な記憶(そして、より長期にわたる、通常はエージェント型のタスクに対応するために自らの記憶を圧縮する能力がまだ発展途上であること)に関係しています。しかし、今回のケースのように、標準的な訓練方法では不十分な点があり、個別に対処する必要があると判明することもあります。こうした事例からどの程度学び、基本的な訓練方法の見直しを検討すべきなのか、また、LoRAのようなサードパーティーの手法以外には使い道がないほど、そのプロセスが「専門的」で周辺的だと見なされるのはどの時点なのかが問われます。

 

2026年11月10日(火)に初公開

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai