OpenAI будет соблюдать общий сигнал robots.txt о предпочтениях в отношении обучения ИИ

30 октября 2026 года OpenAI объявила, что будет соблюдать общий сигнал в robots.txt — файле, с помощью которого сайты выражают предпочтения относительно использования их контента. Это позволит администраторам сайтов сообщать о едином предпочтении в отношении обучения ИИ сразу нескольким участвующим в инициативе поставщикам.

Добровольный сигнал для разных поставщиков

В своем объявлении OpenAI назвала эту инициативу добровольной и заявила, что она поможет устранить существующую проблему: до сих пор администраторам сайтов приходилось определять отдельных роботов и поддерживать отдельные правила для каждого поставщика. По словам компании, общий сигнал позволит издателям и администраторам сайтов сообщать об одном и том же предпочтении сразу нескольким участвующим в инициативе поставщикам. OpenAI намерена внедрить сигнал в ближайшие месяцы и сообщит о деталях реализации в следующем обновлении после его внедрения.

Компания заявила, что новый сигнал не заменит уже доступные ей средства управления через robots.txt: они продолжат действовать, и их будут соблюдать. OpenAI подчеркнула, что эта инициатива опирается на текущую работу рабочей группы по предпочтениям в отношении ИИ при Целевой группе по инженерным вопросам интернета (IETF), сообщила, что присоединяется к другим участникам рабочей группы, объявляя об этой инициативе, и призвала других поставщиков ИИ соблюдать сигнал. Компания описала этот шаг как движение к открытому интернету, где люди могут публиковать и находить информацию, а у владельцев сайтов есть более понятные и простые способы сообщать о своих предпочтениях относительно использования контента. OpenAI также заявила, что продолжит адаптировать свои практики по мере развития обсуждения стандартов.

Как работает сигнал

Сигнал определен в отдельном черновике интернет-документа под названием Машиночитаемый сигнал о предпочтениях в отношении обучения (draft-kelley-aipref-training-preference-signal-00), автор которого — Кевин Келли из Anthropic. Документ датирован 30 октября 2026 года, а срок его действия истекает 3 мая 2027 года. В datatracker IETF отмечается, что отдельный черновик интернет-документа не одобрен IETF и не имеет официального статуса в процессе разработки стандартов IETF.

Согласно черновику, оператор сервиса задает предпочтения по использованию контента, например «не использовать для обучения ИИ», для отдельных путей, добавляя в обычные группы robots.txt токен политики для конкретной цели в строке User-Agent. В черновике не вводятся новые директивы или синтаксис: язык описания путей, приоритет наиболее длинного совпадения и структура групп стандарта robots.txt, опубликованного как RFC 9309, остаются без изменений. Поэтому, как сказано в черновике, уже развернутые в интернете анализаторы и дальше будут интерпретировать сигналы управления трафиком так же, как прежде, и будут игнорировать группы с токеном политики, как и любые группы, в которых указан неизвестный им агент пользователя.

В черновике определен межплатформенный токен политики __usage_ai-training. В приведенном примере группа содержит строку «User-Agent: __usage_ai-training», а также «Disallow: /» и «Allow: /press-kit/»: это выражает предпочтение не использовать для обучения ИИ контент ни по каким путям, кроме тех, что находятся в /press-kit/. Группы с подстановочным знаком, то есть «User-Agent: *», не должны считаться соответствующими токену политики. Если в файле нет ни одной группы с этим токеном, значит, предпочтение не задано.

В черновике также указано, что токен политики не является директивой, регулирующей обход сайта. Предпочтения по использованию контента и сигналы управления трафиком роботов независимы и не связаны друг с другом; кроме того, частные соглашения могут иметь приоритет над предпочтениями, выраженными с помощью этого механизма. Среди заявленных целей — привязка предпочтений к отдельным путям, минимальное отступление от RFC 9309, отказ от масштабного дублирования правил, сохранение прежнего поведения анализаторов, не поддерживающих этот механизм, и единообразная интерпретация всеми системами, которые используют эти данные.

Терминология, лежащая в основе сигнала

Значение токена соответствует терминологическому черновику рабочей группы Словарь для выражения предпочтений в отношении использования ИИ (draft-ietf-aipref-vocab-08), подготовленному Полом Келлером из Open Future и Мартином Томсоном из Mozilla. Последнее обновление документа вышло в сентябре 2026 года; это документ рабочей группы, предназначенный для публикации в качестве предлагаемого стандарта. В словаре обучение ИИ определяется как использование ресурса для изменения усвоенных параметров генеративной модели ИИ. Обучение моделей, предназначенных исключительно для негenerativeных задач, исключено из этого определения. Генеративная модель ИИ определяется как модель, используемая или предоставленная для использования с целью создания синтетического контента в одной или нескольких модальностях.

В словаре также выделены отдельная категория «Использование ИИ», охватывающая ресурсы, подаваемые на вход генеративной модели ИИ, а не предоставляемые непосредственно пользователем, и категория «Поиск» для приложений, основная задача которых — выбирать ресурсы и направлять пользователей к их местонахождению. Для каждой категории указывается одно из трех значений предпочтения: разрешено, запрещено или неизвестно. Если заявления противоречат друг другу, применяется наиболее ограничительное предпочтение. В черновике словаря сказано, что он не гарантирует соблюдения предпочтений и оставляет получателю право решать, следовать ли им; примечание для читателей предупреждает, что содержание документа пока не отражает консенсус рабочей группы. В одном из разделов, включение которого по-прежнему числится нерешенным вопросом, указано, что соблюдение предпочтений в отношении обучения включает передачу вместе с моделью, когда ее распространяют, предпочтений, связанных с использованными для обучения ресурсами.

В благодарностях к проекту сигнала о предпочтениях в отношении обучения названы сопредседатели рабочей группы Марк Ноттингем из Cloudflare и Суреш Кришнан из Cisco, редакторы словаря Томсон и Келлер, а также ответственный директор направления Майк Бишоп из Akamai. Кроме того, в списке перечислены отдельные участники с указанием их организаций исключительно для идентификации, поскольку участники IETF выступают как частные лица. Среди этих организаций — OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation и Creative Commons.

Действующие средства управления поисковыми роботами OpenAI

В документации OpenAI по поисковым роботам, которая, по словам компании, будет действовать наряду с новым сигналом, GPTBot описан как агент, сканирующий контент, который может использоваться для обучения базовых моделей генеративного ИИ компании; запрет на доступ для GPTBot означает, что контент сайта не следует использовать для такого обучения. OAI-SearchBot обеспечивает отображение сайтов в функциях поиска ChatGPT, и сайты, отказавшиеся от его использования, не будут показываться в ответах поиска ChatGPT, хотя по-прежнему могут появляться в виде навигационных ссылок. OAI-AdsBot проверяет безопасность веб-страниц, отправленных в качестве рекламы в ChatGPT, а собранные им данные не используются для обучения базовых моделей генеративного ИИ. ChatGPT-User обрабатывает посещения страниц, вызванные действиями пользователей в ChatGPT, а не автоматическим сканированием; в документации отмечается, что правила robots.txt могут не распространяться на такие посещения.

Согласно документации, каждая настройка действует независимо от остальных, поэтому администратор сайта может разрешить OAI-SearchBot появляться в результатах поиска и одновременно запретить GPTBot доступ для обучения. После обновления файла robots.txt сайта изменения в поиске могут занять около 24 часов. OpenAI сообщила, что поделится подробностями реализации общего сигнала, когда внедрит его в ближайшие месяцы.