OpenAI、AI学習に関する共通のrobots.txtシグナルを尊重へ

OpenAIは2026年10月30日、robots.txt（ウェブサイトがコンテンツの利用方法に関する希望を示すために使うファイル）に記載された共通シグナルを尊重すると発表した。これにより、サイト運営者は、複数の参加プロバイダーに対して一度に、AI学習に関する単一の希望を伝えられるようになる。

プロバイダー間で共有する任意のシグナル

OpenAIは発表の中で、この取り組みは任意であり、これまで存在していた負担の解消を目指すものだと説明した。これまでは、ウェブサイト運営者が個々のクローラーを特定し、プロバイダーごとに個別のルールを維持する必要があった。同社によると、共通シグナルを使えば、パブリッシャーやウェブサイト運営者は、複数の参加プロバイダーに同じ希望を一度に伝えられる。OpenAIは、今後数カ月以内のシグナル導入を目指しており、導入時には実装の詳細を含む追加情報を公開すると述べた。

同社によると、新しいシグナルはrobots.txtを通じてすでに提供している制御機能に取って代わるものではなく、既存の制御機能は引き続き適用され、尊重される。OpenAIは今回の取り組みについて、Internet Engineering Task Force（IETF）のAI Preferences作業部会が進めている活動を踏まえたものだと説明した。また、同作業部会のほかの参加者とともに発表を行うとし、ほかのAIプロバイダーにもこのシグナルを尊重するよう呼びかけた。同社は、今回の一歩は、人々が情報を公開し、見つけられるオープンなウェブの実現に向けたものであり、ウェブサイト所有者がコンテンツの利用方法に関する選択を、より明確かつ簡単に伝えられるようにすると説明した。また、標準化に関する議論の進展に応じて、今後も取り組みを調整していくと述べた。

シグナルの仕組み

このシグナルは、Kevin Kelley（Anthropic）が作成した個人提出のインターネット・ドラフト機械可読な学習設定シグナル（draft-kelley-aipref-training-preference-signal-00）で定義されている。日付は2026年10月30日で、有効期限は2027年5月3日。IETFのDatatrackerによると、個人提出のインターネット・ドラフトはIETFの承認を受けたものではなく、IETFの標準化プロセスにおける正式な位置づけも持たない。

ドラフトでは、サービス運営者は、User-Agent行に用途別のポリシートークンを指定した通常のrobots.txtグループを記述することで、「AI学習不可」などの利用設定をパスに関連付ける。新たなディレクティブ名や文法は導入されない。RFC 9309として公開されたrobots.txt標準のパス指定言語、最長一致の優先規則、グループ構造に変更はない。そのため、ドラフトによれば、インターネット上に導入済みの既存パーサーは、これまでと同様にトラフィック管理シグナルを解釈し、認識していないユーザーエージェントを指定するグループと同じように、ポリシートークンを含むグループを無視する。

ドラフトでは、ベンダー横断で使うポリシートークンとして__usage_ai-trainingを定義している。例として、”User-Agent: __usage_ai-training”の行に、”Disallow: /”と”Allow: /press-kit/”を組み合わせたグループが示されている。これは、/press-kit/以下を除くすべてのパスについて、AI学習を認めないという希望を表す。ワイルドカードグループ、すなわち”User-Agent: *”は、このポリシートークンに一致するものとして解釈してはならない。また、ファイル内にトークンを含むグループがなければ、希望は表明されていないことになる。

ドラフトではさらに、このポリシートークンはクローラーの動作を指定するディレクティブではないと明記している。コンテンツの利用設定とクローラーのトラフィック管理シグナルは相互に独立し、直交するものだとしている。また、個別の契約によって、この仕組みを通じて示された希望が覆される場合もある。掲げられた目標には、パスごとの設定、RFC 9309からの変更を最小限に抑えること、ルールの大規模な重複を避けること、この仕組みを実装していないパーサーの動作を変えないこと、利用者間で一貫した解釈を実現することが含まれる。

シグナルを支える用語体系

このトークンの意味は、作業部会の用語案AI利用設定を表現するための用語集（draft-ietf-aipref-vocab-08）に沿っている。この文書は、Open FutureのPaul KellerとMozillaのMartin Thomsonが執筆し、作業部会文書として2026年9月に最終更新された。提案標準（Proposed Standard）を目指す文書である。この用語集では、「AI学習」を、生成AIモデルの学習済みパラメーターを変更するためにアセットを使用することと定義している。ただし、非生成タスク専用のモデルの学習は除外される。また、「生成AIモデル」は、1つ以上のモダリティで合成コンテンツを生成するために使用される、または使用できるよう提供されるモデルと定義されている。

この用語集では、別個の「AI利用」カテゴリーも定義している。これは、ユーザーから直接提供されるのではなく、生成AIモデルへの入力として使われるアセットを対象とする。また、主な目的がアセットを選択し、その所在へユーザーを誘導することにあるアプリケーションを対象とする「検索」カテゴリーも定義している。各カテゴリーには「許可」「不許可」「不明」のいずれかの設定値が割り当てられ、記述が矛盾する場合は、最も制限の厳しい設定が適用される。用語案は、設定が必ず守られることを保証するものではなく、従うかどうかの判断は受け手に委ねられるとしている。また、読者向けの注記では、内容はまだ作業部会の合意を反映していないと注意を促している。なお、採用するかどうかが現在も未解決事項として扱われている節には、学習設定に従うには、学習用アセットに関連付けられた設定を、モデルの配布時にモデルとともに伝えることも含まれると記されている。

トレーニング用シグナルの草案に記載された謝辞には、ワーキンググループの議長であるCloudflareのMark NottinghamとCiscoのSuresh Krishnan、語彙編集者のThomsonとKeller、責任担当エリアディレクターであるAkamaiのMike Bishopの名前が挙げられている。また、個人参加者の名前も列挙されており、IETFの参加者は個人として貢献するため、所属組織は本人を特定する目的に限って記載されている。所属先としては、OpenAI、Google、Microsoft、Meta、Cloudflare、Common Crawl Foundation、News Corp、Financial Times、BBC、Electronic Frontier Foundation、Creative Commonsなどが挙げられている。

OpenAIが現在提供しているクローラー制御

OpenAIのクローラーに関するドキュメントでは、新しいシグナルと並行して引き続き有効となると同社が述べている既存の設定について説明している。GPTBotは、生成AIの基盤モデルのトレーニングに使用される可能性のあるコンテンツをクロールするエージェントであり、GPTBotを拒否する設定は、そのサイトのコンテンツをトレーニングに使用すべきではないことを示す。OAI-SearchBotはChatGPTの検索機能にウェブサイトを表示する。これを拒否したサイトはChatGPTの検索回答には表示されないが、ナビゲーションリンクとして表示されることはある。OAI-AdsBotは、ChatGPTの広告として提出されたウェブページの安全性を検証する。このボットが収集したデータは、生成AIの基盤モデルのトレーニングには使用されない。ChatGPT-Userは、自動クロールではなく、ChatGPTでのユーザー操作をきっかけとするページへのアクセスを処理する。ドキュメントによると、こうしたアクセスにはrobots.txtのルールが適用されない場合がある。

ドキュメントによると、各設定は互いに独立している。そのため、ウェブマスターは検索結果へのOAI-SearchBotの表示を許可しつつ、トレーニング目的でのGPTBotを拒否できる。サイトのrobots.txtを更新してから、検索結果に反映されるまで約24時間かかる場合がある。OpenAIは、今後数カ月のうちに共通シグナルを実装する際、その実装の詳細を共有すると述べた。