Google、robots.txtで共有型AI学習制御のサポートを計画

Googleは2026年10月30日、robots.txtで共有型のAI学習制御をサポートする計画を発表した。これにより、ウェブサイトの運営者は、複数のAIプロバイダーに対する学習利用の希望を一括して示せるようになる。この発表と同じ日に、MicrosoftとOpenAIも同様の発表を行った。

Googleが制御を適用する方法

この計画は、Google検索アドボケイトのJohn Muellerが執筆したGoogle Search Centralブログの投稿で明らかにされた。この制御は、Internet Engineering Task Force（IETF）のAI Preferencesワーキンググループによる取り組みを基盤とし、Googleが2023年から提供しているとするAI学習制御「Google-Extended」を発展させたものだ。

AI開発者ごとに個別の指示を管理する代わりに、ウェブサイトの運営者はrobots.txt内で共通のポリシートークンを使用し、参加するAIプロバイダー全体に適用する包括的な希望を設定できるようになる。ウェブサイトがこのトークンを使って学習利用を拒否し、Google-Extendedを明示的に指定していない場合、Googleは、そのサイト運営者がGoogle-Extendedを拒否したものとして扱う予定だ。他のAIプロバイダーも同様にこのシグナルを扱うことができるため、運営者は参加するすべてのプロバイダーに対して一括で拒否することも、対象を選んで拒否することもできる。

投稿によると、各社独自の既存の制御機能は共通シグナルと併用できる。そのため、ウェブサイトの運営者は業界共通のシグナルを通じて全体的な希望を示しつつ、Google-Extendedなどの制御機能を使って、開発者ごとに指示を調整できる。Google-Extendedの使用を明示的に許可したウェブサイトは、Gemini Appsでのグラウンディングを通じて回答に表示され、クリックを獲得できる対象となる。

Googleは、この提案には、AI学習に関する業界全体の制御を求めてきた出版社、市民社会団体、規制当局などの関係者からの意見が反映されていると述べた。また、主要なAIプロバイダーが広く支持すれば、業界全体で機能する、長期にわたって有効な標準になるとも説明した。さらに同社は、この提案はEU AI法に基づく汎用AIモデル提供者向けのEU実践規範に沿うものだと述べた。同規範では、ウェブサイト運営者が機械可読な形で希望を示すための主要な方法としてrobots.txtが認められている。Googleは、他のAIプロバイダーとともに2027年に新たな制御のサポートを目指しており、進捗について随時報告するとしている。

OpenAIも同じ日に、これに並行する取り組みを約束した。OpenAIの発表によると、同社は共通のrobots.txtシグナルを尊重し、今後数カ月以内の実装を目指すとともに、既存のクローラー制御を維持し、引き続き尊重する。OpenAIは発表の中で、AI Preferencesワーキンググループの他の参加者に加わると述べ、他のAIプロバイダーにもこのシグナルを尊重するよう呼びかけた。

このシグナルの基礎となるIETF草案

この仕組みは、「機械可読な学習設定シグナル」と題されたインターネット草案で規定されている。AnthropicのKevin Kelleyが執筆し、日付は2026年10月30日となっている。この文書は標準化過程に進むことを意図しており、2027年5月3日に失効する。IETFのデータトラッカーによると、これは個人による提出文書であり、IETFの承認を受けておらず、標準化プロセスにおける正式な位置付けもない。

草案によると、サービス運営者はUser-Agent行に用途別のポリシートークン「__usage_ai-training」を記述し、それをキーとする通常のrobots.txtグループを作成することで、パスごとに利用に関する希望を設定する。草案の例では、「/press-kit/」以下のパスを除き、サイト全体でAI学習に利用しないよう希望を示している。この仕組みに新しいディレクティブ名や文法は導入されない。robots.txt標準（RFC 9309）のパス表現、最長一致の優先順位、グループ構造は変更されないため、インターネット上ですでに稼働しているパーサーは、認識できないポリシートークンのグループを無視する。User-Agent: *を指定するワイルドカードグループは、ポリシートークンに一致するものとして解釈してはならない。また、__usage_ai-trainingグループを含まないrobots.txtファイルは、利用に関する希望を一切示していないものとする。

このトークンの意味は、AIPREFの用語集にあるAI学習の定義に基づく。「生成AIモデルの学習済みパラメーターを変更するために、資産を使用すること」。この定義では、生成タスクを実行する能力があるモデルであっても、非生成タスクのみに使用されるモデルの学習は対象外となる。また草案は、このトークンがコンテンツの利用に関する希望を示すものであり、クロール動作に対する指示ではない点を強調している。ただし、利用者はその希望をクロールの判断に反映させてもよい。具体的な表明は一般的な表明より優先されるべきであり、非公開の合意によって表明済みの希望が覆される場合もある。

Kelleyは2026年10月30日、IETFのai-controlメーリングリストで草案を発表し、Anthropicはすでにそのサポートの実装に着手していると述べた。同氏は、この取り組みをAnthropicの既存のクローラー制御に取って代わるものではなく、それを補完するものと説明した。

Microsoftの採用と移行日程

Microsoftは同じ日、Microsoft Bingの主席プロダクトマネージャーであるKrishna Madhavanが執筆したBingブログの投稿で、この仕組みを採用すると発表した。同社は、AI学習とグラウンディングに関するパブリッシャー向け制御を提供する最初の企業だと述べ、2023年に導入したNoArchiveタグとNoCacheタグを挙げた。

Microsoftは、サイトおよびパスに共通するAIトレーニング設定を採用し、メタタグとHTTPレスポンスヘッダーを通じてページ単位にも適用するとともに、ページ単位の独立したAIグラウンディング設定を追加します。グラウンディング設定には、AllowとDisallowに加えて、新たにDisallowExtendedが追加されます。この設定を選ぶと、AI Mode、AI Overview、Copilot、Microsoft 365などMicrosoftが運営するサービスでのグラウンディング利用に限定され、Web IQやFoundryでのAPIアクセスを通じたグラウンディングなど、Microsoftが第三者に提供するグラウンディングサービスは対象外となります。設定が公開されていない場合、どちらの設定も既定でAllowになります。Microsoftは、グラウンディング設定にDisallowまたはDisallowExtendedを選ぶと、AI関連サービスでのブランドの表示機会が減少すると注意を促しました。これらの設定によって、従来のBing検索結果への掲載資格が変わることはなく、ライセンスや支払いに関する取り決めが定められることもありません。

新しい設定は、トレーニングとグラウンディングに関するNoArchiveおよびNoCacheに代わるもので、Microsoftによるクロールに伴い、2027年2月1日から適用されます。以前のタグを使用しているサイト向けには、移行期間中の一時的なグラウンディング設定が、2026年12月15日にBing Webmaster Toolsで利用可能になります。該当するサイトは、2027年3月1日までに新しい設定を公開し、一時的なグラウンディング設定を記録する必要があります。それ以降、NoArchiveおよびNoCacheは、トレーニングまたはグラウンディングに関する設定として読み取られなくなります。一時的な設定は、Microsoftがページを再クロールして新しいグラウンディング設定を検出するまで、または2027年9月30日までのいずれか早い時点まで有効です。