Andersonの視点

AIトラフィックを明らかにするカナリア

Martin Anderson
Unite.AI を Google の優先ソースに追加
AI-generated image (GPT-2): Rows of human workers focus on their computer screens while a distracted robot, seated among them, tries to look up at a yellow canary perched on its head.
要点DuckDuckGoのボットだけがrobots.txtを尊重した一方、Kimiは検出を逃れるために偽のブラウザIDをローテーションしていた。
もっと見る
  • DuckDuckGoのボットだけがrobots.txtを尊重した一方、Kimiは検出を逃れるために偽のブラウザIDをローテーションしていた。
  • ClaudeやGrokのような多くのAIシステムは、公に開示することなく、第三者の検索エンジンスクレイパーを密かに使用していた。
  • ソースページを削除しても、永続的なキャッシュにより、チャットボットが埋め込まれたデータを再生産するのを防ぐことはできなかった。

新たな研究で、研究者たちはウェブサイトに固有のフレーズを隠し、AIチャットボットがそれを繰り返す現場を捉えた。これにより、隠されたスクレイピングの経路と、一部の大手AI企業によるものとみられる欺瞞的な慣行が明らかになった。

 

AI企業は、容赦なく淘汰が進むと予測される競争で優位を争っている。そのため、企業は本当に、本当に、自社のAIモデルに与える学習データを得るため、あなたのウェブサイトをスクレイピングしたいのだ。時には絶え間なく、しばしばあなたが明示した意向に反して行い、また多くの場合、装っているのは普通の人間の読者や、GoogleBotのような「友好的」なボットであり、AI用のデータ収集者という正体を明かそうとはしない。

現在、推定されているところでは、新しい学習データを大量に集め、最新ニュースをすぐ知りたいという利用者の要求にRAGを通じて応える自動AIスクレイパーは、1年以内に人間を数で上回るという。

この猛烈で執拗かつ反復的なデータ争奪が起きている理由の一つは、各AI企業が、ますます古くなるCommon Crawlのようなデータ集積に頼るのではなく、インターネットの最新のコピーを自社で持つ必要があるからだ。また、おそらく企業は法的制限の到来を恐れ、できるだけ早く知的財産の洗浄を進めたいのだろう。

さらに、AI企業は有益な可能性のあるサイトをできるだけ多く、繰り返し巡回することで、現在はあまり優れていない能力、すなわち速報や進行中の事態に有益かつ正確に答える能力を改善したいと考えているのかもしれない。

いずれにせよ、こうした慣行がしばらく前から制御も統治もできない状態にあるという主張には、一理あるようだ。

問題は、最新データへの渇きを満たすためにAI企業が現在どこまで踏み込んでいるのかを、簡単には証明できないことだ。

データを追う

米国発の新しい論文は、スパイ、情報提供者、その他の不正行為の疑いがある者を見つける古くからの手法に変化を加えた方法を提案している。他の誰も知らない特別な情報を対象に与え、その情報が現れるか、どこに現れるかを調べるのだ。他に知っている者がいなければ、漏えい元が証明される。

新論文の中心的な考え方は、訪問する各ボットに同じページの少しずつ異なる版を与え、そのページについてチャットボットに質問し、どの版が返されるかを調べることだ。これにより、どの隠れたウェブ検索が回答の情報源となったかを追跡できる。. 出典 - https://arxiv.org/pdf/2605.13706

新論文の中心的な考え方は、訪問する各ボットに同じページの少しずつ異なる版を与え、そのページについてチャットボットに質問し、どの版が返されるかを調べることだ。これにより、どの隠れたウェブ検索が回答の情報源となったかを追跡できる。 出典

このよく使われる方法は、2000年代にアカデミー賞の委員会が採用した海賊版対策として、おそらく最もよく知られている。投票権を持つ会員に配布する試写用DVDに固有のIDをデジタルで刻み、映画がインターネットに流出した場合、元の受取人まで遡れるとされた。諜報の世界では、この手法はバリウム・ミールと呼ばれる。放射性同位体を含む液体で医療スキャン中の血管を浮かび上がらせ、閉塞を特定する慣行に由来する。

(皮肉なことに、選ばれた「カナリア」という比喩は、論文が扱う状況にはそれほど適切ではない。ただし、上に挙げた比喩よりも馴染みがある。)

今回の研究で著者らは20の「ハニーポット」用ウェブドメインを作り、個々の訪問者に固有のトークンを配布した。各訪問者に異なる事実が提示される仕組みだ(上の画像の左から2列目を参照)。

目的は、LLM(AI)スクレイパーの正体と動作を明らかにすることだった。この手法により、22の実運用LLMシステムで、どのスクレイパーがどのLLMにデータを供給しているかを確実に特定できた。固有のデータ識別子を「植え付けて」少し辛抱し、1~2か月後にAIへ適切な質問をするだけで、固有のトークンが返されたからだ。

不正行為

もちろん、AIのV3がいまだに「西部開拓時代」の段階になく、企業が実際に小さなテキストファイルに従っていれば、こんなことは必要ない。ドメインの運営者は、このファイルでAI企業にデータをスクレイピングしないよう伝えられる。

研究者のテストでは、自らが表明した行動と原則を尊重しているように見えたAI企業は一社だけだった。DuckDuckGoのDuckDuckbotだけが正体を正確に示し、対象ドメインを停止した場合やrobots.txtをAIスクレイピング拒否に変更した場合、直ちに「秘密のデータ」を返さなくなった。他のAI企業はキャッシュ版や別の手段に頼った。

一方、大手の多くは偽装していた。使われたのは、あなたや私が訪問したときと同じようにサイトに見える一般的なブラウザーIDだ。また、この手口で2025年に先行したPerplexityに倣ってGoogleBotにもなりすました。GoogleBotはデータの見返りにトラフィックを返していたため、長年サイトのデータへの「特別な通行証」を享受してきた(過去形である点に注意してほしい。状況は変わりつつあるからだ)。

論文によれば最も悪質だったのは、KimiのAIエコシステムにデータを供給するスクレイパーだった。

「Kimiはこの行動の最も極端な例に見える。多数のUser-Agentが、Kimiが出力したデータと相関しているようだった。Kimiはスクレイピング時にUser-Agent文字列の大きなリストを切り替えていると推測される。おそらくボット検出を避けるためだ。」

この問題を大きな課題にしているのは、ChatGPTなどが「何かを調べる」過程がほぼ見えないことだ。企業が説明するのは、システムがリアルタイム情報を集める仕組みの一部、または自己申告に基づく内容だけである。そのためサイト運営者には、実際にどのボットが訪れ、直接来たのか検索エンジン経由なのか、データが最終回答にどう届くのかを明確に知る手段がない。

今回の研究結果は、LLMがドメインの自前のキャッシュや、内部のSEO的なリストを使っている可能性を示している。また多くの場合、公的な提携関係も利用契約も明らかでない企業の検索エンジン結果から、頻繁に情報を利用している。

著者らは、これがRAGシステムによる望まれない侵入を扱った初めての研究だと考えている。人間の利用者がいる場合もいない場合もあるLLMが推論時に行うリアルタイムの呼び出しを扱い、学習データセット用に新しい素材を求める収集ボットを扱う研究とは異なる。

新論文の題名はIdentifying AI Web Scrapers Using Canary Tokensで、デューク大学、ピッツバーグ大学、カーネギーメロン大学の計6人の研究者によるものだ。

手法

研究者は20の.comドメインを用意し、芸術家のポートフォリオや企業サイトなどの共通テンプレートで、おおむね似たウェブサイトを設置した。各テンプレートには10のプレースホルダーがあり、IPアドレス、キャンバス・フィンガープリンティング、その他さまざまな識別方法に基づく訪問者の推定プロファイルごとに、固有のトークンを入れるようにした。

実験で用いたテンプレートと変数プレースホルダーの例。別個の訪問者と判断された相手には、持続的で個別化された固有の変数が渡される。

実験で用いたテンプレートと変数プレースホルダーの例。別個の訪問者と判断された相手には、持続的で個別化された固有の変数が渡される。

別個の訪問者と判断された相手には、それぞれ固有の変数が渡された。過去の訪問者が戻ったと検出した場合、前回と同じ変数を再び提示した。変数の生成にはPythonのFakerライブラリーと、詳細が明示されていない乱数生成器を使用した。

ハニーポットのドメインはGoogleやBingなどのインデックスに登録され、著者らが管理する既存の別ドメインからもリンクされた。

さまざまな検索エンジンや類似のボットの巡回頻度と、場合によっては自然な訪問を考慮し、必要な期間として2か月待った。この時点で、研究者は対象のAIチャットボット(下記)に質問できる状態になった。

AIチャットボット 提供企業
ChatGPT OpenAI
Claude Anthropic
Copilot Microsoft
Deepseek Deepseek
Duck.ai DuckDuckGo
ERNIE Baidu
Gemini Google
GLM Z.AI
Granite IBM
Grok xAI
Hunyuan Tencent
AIチャットボット 提供企業
Kimi MoonshotAI
Liquid Liquid
Llama Meta
Mistral Mistral
Nova Amazon
Perplexity Perplexity
Qwen Alibaba
Reka Reka
Solar Upstage
Step-3 StepFun
Venice Venice

可能な場合はAPIを使って各システムへ質問するスクリプトを作成した。それができず、AIポータルの検出機構が自動化ツールを遮断した場合、例えばSeleniumのようなツールが使えない場合は、LLMの公式GUIを通じて手作業でやり取りした。

最初のテンプレートに基づくやり取り(上の画像を参照)の後、関連するトークンに含まれる企業名や人名を引き出すための追加プロンプトを送った。

実験は、完全にアクセス可能なサイト、オフラインのサイト、robots.txtでスクレイピングを拒否したサイトという3条件で行った。後の段階が前の段階に依存するため、必ずこの順序で一つずつ実行した。

最後に全サイトをオンラインへ戻し、1週間ごとにLLMの出力を再検査した。

結果

対象LLMのうち4つでは研究者の手法が全く通用せず、結果を得られなかった。該当するのはDeepSeek、Hunyuan、GLM、Liquidである。

多くのAIボットがAI以外のトラフィックを装う傾向について、著者らは次のように述べている。

「自社のものと明示されたエージェントに加え、複数のAIシステムが、一般的なブラウザーのUser-Agent文字列に関連するコンテンツを返した。User-Agent情報が得られた18のAIシステムのうち6つで、この行動を観察した。」

「この結果は、一部のAIシステムが通常のブラウザートラフィックに似たリクエストでサイトの内容を取得できることを示唆しており、User-Agentに基づく遮断を難しくしている。」

ERNIEはBaiduspiderとChromeの両方の識別情報を返した。GrokはGooglebotと2つのブラウザーエージェントを組み合わせ、Solarはブラウザーの識別情報だけを使い、QwenはGooglebotとChromeを併用した。Kimiは複数のブラウザー風エージェントと結び付けられた。

多くのシステムは、必ずしも開示されていない関係の下で第三者の検索エンジンスクレイパーに依存しているようだった。分析した18システムのうち10で、Googlebot、Bingbot、Bravebotに関連する内容が返された。AI提供者と検索エンジンの公的な関係がない場合も多い。ただし、ClaudeによるBraveの利用など、一部の関係は文書で確認されている。

著者らは、これは直接のスクレイピングではなく検索結果の取り込みだと主張する。その理由は、ASNの確認で、トラフィックが偽装された識別情報ではなく想定された検索エンジンのネットワークから来ていたと判明したためだ。

論文によれば、これはウェブからAIに至る経路にさらに不透明な層があることを示唆する。既知のAIクローラーを遮断してもデータ利用を防げない可能性があり、利用対象から外れるには検索インデックスへの登録を全面的に拒否する必要があるかもしれない。従来のSEOとLLM検索の間の緊張がいまだ解消にはほど遠い中で、望ましくない選択だ。

キャッシュのみ

著者らは次に、情報源を消すとチャットボットの出力が変わるかを調べた。テストサイトをオフラインにし、1週間後に再度質問した。論文によれば、多くのチャットボットはサイトの停止から1週間後でも「植え付けられた」内容を繰り返した。これは回答がリアルタイムの取得ではなくキャッシュデータから生成されたことを示している。

この持続性は、検索エンジンクローラーと結び付いたシステムで特に顕著だった。元のページが利用できなくなっても、以前にインデックスされた内容が残っていた。ただしブラウザー風エージェントに関連するシステムでも同様の行動があり、キャッシュが検索を利用する経路に限られない可能性を示している。

論文は、一度内容がキャッシュに入ると、それをチャットボットが保持しているか検索インデックス経由で利用するかにかかわらず、元のページを消しても後の出力からその内容が確実に消えるわけではないと示唆している。

結論

著者らは、この古典的な隔離方式でも多少の「漏れ」が生じることを認めている。一つのLLM向けの固有トークンが、そのトークンの本来の所有者が生成する検索結果に現れ、別のLLMに取り込まれる場合があるからだ。ただし、この種の仕組みでこうした拡散は避けられず、最初の出現を監視することが重要かつ決定的である。

この方式をどこまで大規模に実装できるかは、なお不明だ。著者らが述べるように、文脈に適したトークンはすぐに尽きるためである。

しかし、この議論はいささか要点を外している。自社のスクレイピング方針に関する嘘の明白な証拠を前に、AI企業がどこまで厚かましく押し通せるかにも限界があるかもしれない。さらに、正体を隠すため家庭用のIPアドレスを次々に切り替える、費用がかかる可能性のある方法を選ばない限り、たった一つの組織が虚偽を用いるAIボットのIPアドレスやASNを特定し、SpamHaus風のブラックリストを公開すればよい。効果を上げるために、作業を産業規模にする必要はない。

 

初出:2026年5月14日(木)

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai