Google планує підтримати спільний механізм керування навчанням ШІ через robots.txt

30 жовтня 2026 року Google оголосила про плани підтримати спільний механізм керування навчанням ШІ через robots.txt, який дасть власникам сайтів змогу одним способом визначати свої налаштування щодо навчання для кількох постачальників ШІ. Ця заява пролунала того самого дня, що й аналогічні оголошення Microsoft і OpenAI.

Як Google застосовуватиме цей механізм

План виклав Джон Мюллер, представник Google Search, у дописі в блозі Google Search Central. Механізм ґрунтується на роботі робочої групи AI Preferences при Internet Engineering Task Force (IETF) і розвиває Google-Extended — механізм керування навчанням ШІ, який, за словами Google, компанія пропонує з 2023 року.

Замість того щоб керувати окремими інструкціями для кожного розробника ШІ, власники сайтів зможуть використовувати спільний маркер політики у файлі robots.txt, щоб задавати загальні налаштування для постачальників ШІ, які підтримують цей механізм. Якщо сайт використовує маркер, щоб заборонити навчання, і водночас не вказує Google-Extended окремо, Google планує трактувати це так, ніби власник сайту заборонив Google-Extended. Інші постачальники ШІ можуть обробляти цей сигнал так само, тож власники сайтів зможуть відмовитися від навчання в усіх постачальників-учасників одразу або вибірково.

Як зазначено в дописі, чинні механізми керування, специфічні для окремих компаній, працюватимуть і надалі разом зі спільним сигналом. Це дасть власникам сайтів змогу заявити загальну позицію за допомогою галузевого сигналу й водночас налаштовувати інструкції для окремих розробників через такі механізми, як Google-Extended. Сайти, на яких Google-Extended дозволено окремо, можуть з’являтися у відповідях і отримувати переходи завдяки обґрунтуванню відповідей на основі джерел у Gemini Apps.

Google заявила, що пропозиція враховує відгуки видавців, громадських організацій, регуляторів та інших зацікавлених сторін, які закликали запровадити загальногалузеві механізми керування навчанням ШІ. За словами компанії, підтримка з боку провідних постачальників ШІ допомогла б створити стійкий стандарт, який діятиме в усій галузі. Компанія також зазначила, що пропозиція відповідає Кодексу практики ЄС для постачальників моделей ШІ загального призначення, розробленому відповідно до Закону ЄС про ШІ, який визнає robots.txt основним способом, у який вебвидавці можуть задавати машиночитані налаштування. Google планує підтримати новий механізм у 2027 році разом з іншими постачальниками ШІ та повідомлятиме про перебіг роботи над ним.

Того самого дня про аналогічне зобов’язання оголосила OpenAI. У оголошенні OpenAI йдеться, що компанія дотримуватиметься спільного сигналу robots.txt, планує впровадити його в найближчі місяці й надалі зберігатиме чинні механізми керування своїми сканерами та поважатиме їх. OpenAI заявила, що в оголошенні приєдналася до інших учасників робочої групи AI Preferences і закликала інших постачальників ШІ дотримуватися цього сигналу.

Чернетка IETF, на якій ґрунтується сигнал

Механізм описано в чернетці інтернет-документа під назвою «Машиночитаний сигнал налаштувань щодо навчання», автором якого є Кевін Келлі з Anthropic; документ датовано 30 жовтня 2026 року. Його планують розглядати в межах процесу стандартизації; термін його дії спливає 3 травня 2027 року. Відповідно до бази даних IETF datatracker, це індивідуальна пропозиція, яку IETF не схвалила і яка не має офіційного статусу в процесі стандартизації.

Згідно з чернеткою, оператор сервісу пов’язує налаштування використання з певними шляхами, додаючи до звичайних груп robots.txt маркер політики для конкретної мети — __usage_ai-training — у рядку User-Agent. У прикладі з чернетки група задає заборону на використання вмісту для навчання ШІ на всьому сайті, крім шляхів у каталозі /press-kit/. Механізм не запроваджує ані нових назв директив, ані нового синтаксису: синтаксис шляхів, пріоритет найдовшого збігу та структура груп стандарту robots.txt, RFC 9309, залишаються незмінними. Тому парсери, уже розгорнуті в інтернеті, ігноруватимуть групи з маркерами політик, яких вони не розпізнають. Групи з шаблоном, тобто групи з User-Agent: *, не можна трактувати як такі, що відповідають маркеру політики. Якщо файл robots.txt не містить групи __usage_ai-training, це не означає жодних налаштувань.

Значення маркера визначає словник AIPREF, у якому навчання ШІ має таке визначення: «Використання ресурсу для зміни вивчених параметрів генеративної моделі ШІ». Це визначення не охоплює навчання моделей, призначених виключно для негенеративних завдань, навіть якщо модель здатна виконувати генеративні завдання. У чернетці також наголошено, що маркер виражає налаштування щодо використання вмісту, а не встановлює правила сканування, хоча ті, хто обробляє сигнал, можуть враховувати ці налаштування під час сканування. Конкретніші налаштування мають переважати над загальними, а приватні угоди можуть скасовувати виражені налаштування.

30 жовтня 2026 року Келлі оголосив про чернетку в списку розсилки ai-control IETF і написав, що Anthropic уже почала впроваджувати її підтримку. Він описав цю роботу як доповнення до наявних механізмів керування сканерами Anthropic, а не як їхню заміну.

Впровадження Microsoft і дати переходу

Того самого дня Microsoft оголосила про впровадження механізму в дописі в блозі Bing, автором якого був Крішна Мадгаван, головний менеджер продукту Microsoft Bing. Microsoft заявила, що стала першою компанією, яка надала видавцям засоби керування використанням даних для навчання ШІ та обґрунтування відповідей на основі джерел, і згадала теги NoArchive та NoCache, запроваджені у 2023 році.

Microsoft запроваджує спільне налаштування навчання ШІ для сайтів і шляхів та поширює його на рівень сторінок за допомогою метатегів і заголовків HTTP-відповідей, а також додає окреме налаштування прив’язки до джерел для сторінок. Окрім Allow і Disallow, налаштування прив’язки до джерел передбачає нову опцію DisallowExtended, яка обмежує використання прив’язки до джерел сервісами Microsoft, як-от AI Mode, AI Overview, Copilot і Microsoft 365, та виключає сервіси прив’язки до джерел, які Microsoft надає третім сторонам, зокрема Web IQ і прив’язку до джерел через доступ до API у Foundry. Якщо налаштування не опубліковано, для обох параметрів за замовчуванням установлено Allow. Microsoft застерегла, що вибір Disallow або DisallowExtended для прив’язки до джерел зменшує видимість бренду в сервісах ШІ; ці налаштування не впливають на право появи в традиційних результатах пошуку Bing і не встановлюють умов ліцензування чи оплати.

Нові налаштування замінять NoArchive і NoCache для навчання та прив’язки до джерел і набудуть чинності з 1 лютого 2027 року, коли Microsoft скануватиме сайти. 15 грудня 2026 року в Bing Webmaster Tools стануть доступними тимчасові налаштування прив’язки до джерел на перехідний період для сайтів, які на цю дату використовують старіші теги. Такі сайти мають опублікувати нові налаштування й зафіксувати тимчасове налаштування прив’язки до джерел до 1 березня 2027 року; після цього NoArchive і NoCache більше не враховуватимуться як налаштування для навчання чи прив’язки до джерел. Тимчасові налаштування залишатимуться чинними, доки Microsoft повторно не просканує сторінку й не виявить нове налаштування прив’язки до джерел або до 30 вересня 2027 року — залежно від того, що станеться раніше.