OpenAI 将遵循用于表达 AI 训练偏好的共享 robots.txt 信号

OpenAI 于 2026 年 10 月 30 日宣布，将遵循 robots.txt 中的一项共享信号。网站使用 robots.txt 文件表达对其内容使用方式的偏好，这项信号能让网站运营者一次性向多家参与服务商传达同一项 AI 训练偏好。

一项由多家服务商共享的自愿信号

OpenAI 在公告中表示，这项举措是自愿的，旨在减轻现有负担：此前，网站运营者必须识别各个爬虫，并为每一家服务商分别维护规则。该公司称，共享信号可让出版商和网站运营者一次性向多家参与服务商传达同一项偏好。OpenAI 表示，计划在未来几个月内实施这项信号，并将在实施时另行发布更新，提供相关细节。

该公司表示，新信号不会取代其目前通过 robots.txt 提供的控制选项；这些选项将继续适用并受到尊重。OpenAI 将此举描述为借鉴互联网工程任务组（IETF）AI 偏好工作组正在开展的工作，并表示将与其他工作组参与者一同发布公告，同时鼓励其他 AI 服务商遵循这项信号。该公司称，这一步有助于迈向开放网络：人们能够发布和发现信息，网站所有者也能以更清晰、更简单的方式表达自己对内容使用方式的选择。公司还表示，随着相关标准讨论的推进，将继续调整自身做法。

信号的运作方式

这项信号在一份名为《机器可读的训练偏好信号》（draft-kelley-aipref-training-preference-signal-00）的个人互联网草案中作了定义。该草案由 Anthropic 的 Kevin Kelley 撰写，日期为 2026 年 10 月 30 日，失效日期为 2027 年 5 月 3 日。IETF 的 datatracker 指出，个人互联网草案未经 IETF 认可，在 IETF 标准制定流程中也不具备正式地位。

根据该草案，服务运营者可以在普通的 robots.txt 组中，使用 User-Agent 行内按用途设置的策略令牌，将“禁止用于 AI 训练”等使用偏好与特定路径关联起来。草案没有引入新的指令名称或语法：robots.txt 标准 RFC 9309 中的路径语法、最长匹配优先规则和分组结构均保持不变。因此，草案指出，互联网中现有的解析器仍会像以往一样解读流量管理信号，并会忽略含有策略令牌的组，就像忽略任何指定了自身无法识别的用户代理名称的组一样。

草案定义了一个可供不同供应商共用的策略令牌：__usage_ai-training。示例组将“User-Agent: __usage_ai-training”这一行与“Disallow: /”和“Allow: /press-kit/”配对，表示除 /press-kit/ 下的路径外，其他所有路径均不允许用于 AI 训练。不得将通配符组（即“User-Agent: *”）解读为与该策略令牌匹配；如果文件中没有任何组包含此令牌，则表示没有表达任何偏好。

草案还指出，该策略令牌并非用于规定爬取行为的指令。草案称，内容使用偏好与爬虫流量管理信号彼此独立、互不相关，私人协议也可能凌驾于通过这一机制表达的偏好之上。草案列出的目标包括：将偏好与特定路径关联、尽可能贴近 RFC 9309、避免大规模重复规则、不改变未实现该机制的解析器的行为，以及确保不同使用方对信号作出一致解读。

信号背后的词汇体系

该令牌的含义与工作组的词汇草案一致，即《表达 AI 使用偏好的词汇》（draft-ietf-aipref-vocab-08）。这份词汇草案由 Open Future 的 Paul Keller 和 Mozilla 的 Martin Thomson 撰写，最近一次更新于 2026 年 9 月；作为工作组文件，它旨在成为一项建议标准。该词汇将“AI 训练”定义为使用某项资产修改生成式 AI 模型的已学习参数，但不包括训练仅用于非生成式任务的模型；同时将“生成式 AI 模型”定义为用于或可供用于生成一种或多种模态合成内容的模型。

该词汇还定义了单独的“AI 使用”类别，涵盖作为生成式 AI 模型输入、而非直接由用户提供的资产；另设“搜索”类别，适用于主要目的在于筛选资产并引导用户前往其所在位置的应用。每个类别的偏好值分为允许、不允许或未知；若不同表述相互冲突，则适用限制最严格的偏好。词汇草案声明，它并不能确保偏好得到遵循，是否遵循由接收方决定；同时，给读者的说明提醒称，其内容尚未反映工作组共识。其中一节仍被列为待解决的开放议题，该节指出，遵循训练偏好意味着在模型分发时，应将与训练资产相关的偏好连同模型一并传递。

训练信号草案的致谢部分列出了工作组主席 Mark Nottingham（Cloudflare）和 Suresh Krishnan（Cisco）、词汇编辑 Thomson 和 Keller，以及负责该领域的主管 Mike Bishop（Akamai）。致谢部分还列出了一些个人参与者，并注明其所属机构仅供识别之用，因为 IETF 参与者是以个人身份作出贡献的。这些参与者来自 OpenAI、Google、Microsoft、Meta、Cloudflare、Common Crawl Foundation、News Corp、Financial Times、BBC、Electronic Frontier Foundation 和 Creative Commons 等机构。

OpenAI 现有的爬虫控制机制

OpenAI 的爬虫文档介绍了 GPTBot：它会抓取可能用于训练 OpenAI 生成式人工智能基础模型的内容。OpenAI 表示，该文档将与新的信号并行继续生效；禁止 GPTBot 抓取，意味着网站内容不应被用于此类训练。OAI-SearchBot 会将网站展示在 ChatGPT 的搜索功能中；选择禁止它访问的网站不会出现在 ChatGPT 的搜索答案中，但仍可能作为导航链接显示。OAI-AdsBot 会验证提交为 ChatGPT 广告的网页是否安全，它收集的数据不会用于训练生成式人工智能基础模型。ChatGPT-User 负责处理由用户在 ChatGPT 中执行的操作触发的页面访问，而非自动抓取；文档指出，robots.txt 规则可能不适用于这类访问。

文档指出，各项设置彼此独立，因此网站管理员可以允许 OAI-SearchBot 出现在搜索结果中，同时禁止 GPTBot 将网站内容用于训练。更新网站的 robots.txt 后，搜索结果调整可能需要约 24 小时才能生效。OpenAI 表示，将在未来几个月实施这一共享信号时公布相关实施细节。