Google планирует поддержать общий механизм управления обучением ИИ через robots.txt

30 октября 2026 года Google объявила о планах поддержать общий механизм управления использованием данных для обучения ИИ через robots.txt. Он позволит владельцам сайтов единым образом указывать предпочтения в отношении обучения для нескольких поставщиков ИИ. В тот же день о подобных обязательствах объявили Microsoft и OpenAI.

Как Google будет применять этот механизм

План изложил Джон Мюллер, представитель Google Search, в публикации в блоге Google Search Central. Механизм основан на работе группы AI Preferences при Internet Engineering Task Force (IETF) и развивает Google-Extended — механизм управления обучением ИИ, который, по словам Google, компания предлагает с 2023 года.

Вместо того чтобы настраивать отдельные инструкции для каждого разработчика ИИ, владельцы сайтов смогут использовать общий токен политики в robots.txt, чтобы задавать общие предпочтения для участвующих поставщиков ИИ. Если сайт использует этот токен, чтобы отказаться от обучения, и при этом явно не указал Google-Extended, Google планирует трактовать это так, как если бы издатель запретил Google-Extended. Другие поставщики ИИ могут обрабатывать этот сигнал аналогичным образом, поэтому владельцы сайтов смогут отказаться от обучения сразу у всех участвующих поставщиков или выбирать их по отдельности.

Согласно публикации, существующие средства управления, предназначенные для отдельных компаний, продолжат работать наряду с общим сигналом. Таким образом, владельцы сайтов смогут выразить общее предпочтение с помощью отраслевого сигнала и одновременно задавать индивидуальные инструкции для отдельных разработчиков, используя такие средства, как Google-Extended. Сайты, на которых Google-Extended разрешён, могут появляться в ответах и получать переходы благодаря использованию информации для обоснования ответов в Gemini Apps.

Google сообщила, что это предложение отражает мнение издателей, организаций гражданского общества, регулирующих органов и других заинтересованных сторон, призывавших ввести общие для отрасли правила использования данных для обучения ИИ. По мнению компании, поддержка со стороны крупнейших поставщиков ИИ позволит создать устойчивый стандарт, действующий во всей отрасли. Google также заявила, что предложение соответствует Кодексу практики ЕС для поставщиков моделей ИИ общего назначения в рамках Закона ЕС об ИИ. В этом кодексе robots.txt признаётся основным способом, с помощью которого веб-издатели могут указывать машиночитаемые предпочтения. Google планирует поддержать новый механизм вместе с другими поставщиками ИИ в 2027 году и сообщила, что будет рассказывать о ходе работы.

В тот же день о подобном обязательстве объявила OpenAI. В своём объявлении OpenAI сообщила, что будет учитывать общий сигнал robots.txt, рассчитывает внедрить его в ближайшие месяцы и продолжит использовать существующие настройки для своих поисковых роботов и соблюдать их. OpenAI заявила, что в своём объявлении присоединилась к другим участникам рабочей группы AI Preferences, и призвала других поставщиков ИИ учитывать этот сигнал.

Черновик IETF, лежащий в основе сигнала

Механизм описан в черновике интернет-документа под названием «Машиночитаемый сигнал предпочтений в отношении обучения», автор которого — Кевин Келли из Anthropic; документ датирован 30 октября 2026 года. Он предназначен для включения в процесс разработки стандартов и утратит силу 3 мая 2027 года. Согласно базе данных IETF Datatracker, это индивидуальная заявка, не одобренная IETF и не имеющая официального статуса в процессе стандартизации.

Согласно черновику, оператор сервиса связывает предпочтения по использованию данных с путями на сайте, добавляя в robots.txt обычные группы, обозначенные токеном политики для конкретной цели — __usage_ai-training — в строке User-Agent. В примере из черновика указано предпочтение против использования данных для обучения ИИ на всём сайте, кроме путей в /press-kit/. Механизм не вводит новых названий директив или правил синтаксиса: язык описания путей, приоритет самого длинного совпадения и структура групп стандарта robots.txt, RFC 9309, остаются без изменений. Поэтому уже работающие в интернете анализаторы будут игнорировать группы с токенами политики, которые им неизвестны. Группы с подстановочным знаком, где указано User-Agent: *, не должны трактоваться как соответствующие токену политики. Если в файле robots.txt нет группы __usage_ai-training, это означает, что предпочтения не заданы.

Значение токена определяется в словаре AIPREF: обучение ИИ — это «использование актива для изменения выученных параметров генеративной модели ИИ». Определение не распространяется на обучение моделей, предназначенных исключительно для негеративных задач, даже если модель способна выполнять генеративные задачи. В черновике также подчёркивается, что токен выражает предпочтение в отношении использования контента, а не предписывает правила обхода сайта, хотя получатели сигнала могут учитывать эти предпочтения при обходе. Конкретные указания должны иметь приоритет над общими, а частные соглашения могут отменять выраженные предпочтения.

30 октября 2026 года Келли объявил о черновике в списке рассылки ai-control IETF и написал, что Anthropic уже приступила к внедрению поддержки этого механизма. Он охарактеризовал эту работу как дополнение к существующим настройкам поисковых роботов Anthropic, а не как их замену.

Внедрение Microsoft и сроки перехода

В тот же день Microsoft объявила о внедрении механизма в публикации в блоге Bing за авторством Кришны Мадхавана, главного менеджера по продукту Microsoft Bing. Microsoft заявила, что стала первой компанией, предоставившей издателям средства управления использованием данных для обучения ИИ и обоснования ответов, и указала на теги NoArchive и NoCache, введённые ею в 2023 году.

Microsoft внедряет общую настройку обучения ИИ для сайтов и путей и распространяет её на отдельные страницы с помощью метатегов и HTTP-заголовков ответа, а также добавляет отдельную настройку обоснования ответов ИИ на уровне страниц. Наряду с Allow и Disallow в настройке обоснования появляется новый параметр DisallowExtended, который ограничивает использование данных для обоснования в сервисах Microsoft, таких как AI Mode, AI Overview, Copilot и Microsoft 365, но исключает предоставляемые Microsoft третьим сторонам сервисы обоснования, например Web IQ и обоснование с помощью API в Foundry. Если настройка не опубликована, для обеих предпочтений по умолчанию действует значение Allow. Microsoft предупредила, что выбор Disallow или DisallowExtended для обоснования снижает видимость бренда в сервисах ИИ; эти настройки не влияют на возможность появления сайта в обычных результатах поиска Bing и не устанавливают условия лицензирования или оплаты.

Новые настройки заменят NoArchive и NoCache для обучения и обоснования и начнут действовать с 1 февраля 2027 года по мере сканирования сайтов Microsoft. 15 декабря 2026 года в Bing Webmaster Tools станут доступны временные настройки переходного периода для обоснования — для сайтов, которые на эту дату используют прежние теги. До 1 марта 2027 года таким сайтам необходимо опубликовать новые настройки и указать временную настройку обоснования. После этого NoArchive и NoCache больше не будут учитываться как настройки обучения или обоснования. Временные настройки останутся в силе до повторного сканирования страницы Microsoft и обнаружения новой настройки обоснования либо до 30 сентября 2027 года — в зависимости от того, что наступит раньше.