Google 计划支持共享的 robots.txt AI 训练控制机制

Google 于 2026 年 10 月 30 日宣布，计划支持在 robots.txt 中设置共享的 AI 训练控制机制，让网站所有者能够通过一种统一方式，向多家 AI 提供商表达训练偏好。Microsoft 和 OpenAI 也在同一天宣布了相关承诺。

Google 将如何应用这项控制机制

Google 搜索倡导者 John Mueller 在一篇 Google Search Central Blog 博文中介绍了这项计划。该控制机制基于互联网工程任务组（IETF）AI Preferences 工作组的工作，并以 Google-Extended 为基础；Google 表示，自 2023 年以来一直提供这项 AI 训练控制机制。

网站所有者不必再为每家 AI 开发者分别管理指令，而是可以在 robots.txt 中使用共享政策令牌，向参与其中的 AI 提供商统一表达总体偏好。如果网站使用该令牌选择退出训练，但没有明确指定 Google-Extended，Google 计划将其视为发布者已禁止 Google-Extended。其他 AI 提供商也可以采用类似方式处理这一信号，因此网站所有者可以一次性选择退出所有参与的提供商，也可以自行选择。

博文称，现有的各公司专属控制机制将继续与这项联合信号并行运作。因此，网站所有者既可以通过行业信号表达总体选择，也可以通过 Google-Extended 等控制机制，针对不同开发者定制指令。明确允许 Google-Extended 的网站，有资格出现在 Gemini Apps 的回答中，并通过其中的信息锚定功能获得点击。

Google 表示，这项提议反映了出版商、民间社会团体、监管机构和其他利益相关方的反馈；这些方面一直呼吁建立行业范围的 AI 训练控制机制。Google 还表示，主要 AI 提供商的共同支持将有助于制定一项持久且适用于整个行业的标准。该公司还称，这项提议符合《欧盟人工智能法案》下《通用人工智能模型提供商行为准则》的要求；该准则将 robots.txt 视为网络出版商表达机器可读偏好的主要方式之一。Google 计划在 2027 年与其他 AI 提供商一道支持这项新控制机制，并表示将公布相关进展。

OpenAI 也在同一天作出了类似承诺。OpenAI 的公告称，该公司将遵循通用 robots.txt 信号，计划在未来几个月内实施，并将继续保留并尊重现有的爬虫控制机制。OpenAI 在公告中表示，将与 AI Preferences 工作组的其他参与者一道加入这一行动，并鼓励其他 AI 提供商遵循该信号。

信号背后的 IETF 草案

该机制载于一份题为《机器可读训练偏好信号》的 互联网草案，由 Anthropic 的 Kevin Kelley 撰写，日期为 2026 年 10 月 30 日。这份文件拟纳入标准化轨道，并将于 2027 年 5 月 3 日到期；根据 IETF Datatracker 的信息，该文件是个人提交的草案，未获 IETF 认可，在标准制定流程中也不具备正式地位。

根据该草案，服务运营方可以在普通的 robots.txt 分组中，使用按用途设定的政策令牌 __usage_ai-training 作为 User-Agent 行的标识，从而将使用偏好绑定到特定路径。草案中的示例分组表达了这样一种偏好：整个网站都不用于 AI 训练，但 /press-kit/ 下的路径除外。该机制不引入新的指令名称或语法：robots.txt 标准 RFC 9309 中的路径语法、最长匹配优先规则和分组结构均保持不变，因此，已部署在互联网上的解析器会忽略自己无法识别的政策令牌分组。带有 User-Agent: * 的通配符分组不得被解释为匹配政策令牌；如果 robots.txt 文件中没有 __usage_ai-training 分组，则表示没有表达任何偏好。

该令牌的含义取自 AIPREF 词汇表对 AI 训练的定义：“使用某项资产来修改生成式 AI 模型的已学习参数。”即使模型具备生成任务的能力，这一定义仍排除仅用于非生成式任务的模型训练。草案还强调，该令牌表达的是对内容使用方式的偏好，而不是针对爬取行为的指令，不过使用方可以参考这些偏好来决定爬取行为；具体偏好应优先于一般偏好，私人协议则可以推翻已表达的偏好。

Kelley 于 2026 年 10 月 30 日在 IETF 的 ai-control 邮件列表上公布了这份草案，并写道 Anthropic 已开始实施相关支持。他将这项工作描述为对 Anthropic 现有爬虫控制机制的补充，而非替代。

Microsoft 的采纳计划与过渡日期

Microsoft 同一天通过一篇由 Microsoft Bing 首席产品经理 Krishna Madhavan 撰写的 Bing 博客文章宣布采纳这项机制。Microsoft 表示，该公司是首家为出版商提供 AI 训练和信息锚定控制机制的企业，并提及其于 2023 年推出的 NoArchive 和 NoCache 标签。

Microsoft 正在采用适用于网站和路径的共享 AI 训练偏好，并通过元标签和 HTTP 响应标头将其扩展到网页级别，同时新增独立的网页级 AI 依据偏好。除 Allow 和 Disallow 外，AI 依据偏好还新增了 DisallowExtended 选项，将 AI 依据功能的使用范围限制在 Microsoft 运营的体验中，例如 AI Mode、AI Overview、Copilot 和 Microsoft 365，同时排除 Microsoft 向第三方提供的依据服务，例如 Web IQ 和通过 Foundry API 访问提供的依据服务。如果未发布偏好设置，这两项偏好默认均为 Allow。Microsoft 提醒，若将 AI 依据偏好设为 Disallow 或 DisallowExtended，品牌在 AI 体验中的曝光度会降低；这些偏好不会影响网站出现在传统 Bing 搜索结果中的资格，也不会确立许可或付费安排。

新的偏好设置将取代用于 AI 训练和 AI 依据功能的 NoArchive 和 NoCache，并自 2027 年 2 月 1 日起在 Microsoft 抓取网站时生效。对于截至 2026 年 12 月 15 日仍在使用旧标签的网站，Bing Webmaster Tools 将于当日开放临时 AI 依据过渡偏好设置。此类网站必须在 2027 年 3 月 1 日前发布新的偏好设置，并登记一项临时 AI 依据偏好；此后，NoArchive 和 NoCache 将不再被读取为 AI 训练或 AI 依据偏好。临时偏好设置将持续生效，直至 Microsoft 重新抓取某个页面并发现其新的 AI 依据偏好，或直至 2027 年 9 月 30 日，以先到者为准。