OpenAI дотримуватиметься спільного сигналу в robots.txt щодо вподобань стосовно навчання ШІ

30 жовтня 2026 року OpenAI оголосила, що дотримуватиметься спільного сигналу в robots.txt — файлі, за допомогою якого вебсайти повідомляють про свої вподобання щодо використання їхнього вмісту. Це дасть змогу операторам сайтів одночасно повідомляти кількох постачальників, які долучилися до ініціативи, про єдине вподобання щодо використання контенту для навчання ШІ.

Добровільний сигнал, спільний для різних постачальників

У своєму повідомленні OpenAI назвала цю ініціативу добровільною та зазначила, що вона допоможе розв’язати наявну проблему: досі операторам вебсайтів доводилося визначати окремих пошукових роботів і підтримувати окремі правила для кожного постачальника. За словами компанії, спільний сигнал дає видавцям і операторам вебсайтів змогу одночасно повідомляти про однакове вподобання кільком постачальникам, які долучилися до ініціативи. OpenAI заявила, що планує впровадити сигнал упродовж найближчих місяців і тоді оприлюднить нове повідомлення з подробицями про його впровадження.

Компанія зазначила, що новий сигнал не замінить засоби керування, які вона вже надає через robots.txt: вони й надалі діятимуть, і їх надалі поважатимуть. OpenAI пов’язала цю ініціативу з поточною роботою робочої групи з уподобань щодо ШІ Інженерної ради інтернету (IETF), повідомила, що долучається до оголошення разом з іншими учасниками робочої групи, та закликала інших постачальників ШІ дотримуватися сигналу. Компанія описала цей крок як рух до відкритого інтернету, у якому люди можуть публікувати й знаходити інформацію, а власники вебсайтів мають зрозуміліші та простіші способи повідомляти про свій вибір щодо використання їхнього контенту. Вона також заявила, що й надалі коригуватиме свої практики в міру розвитку обговорення стандартів.

Як працює сигнал

Сигнал визначено в окремому проєкті документа Internet-Draft під назвою Машиночитаний сигнал про вподобання щодо використання контенту для навчання (draft-kelley-aipref-training-preference-signal-00), автор якого — Кевін Келлі з Anthropic. Документ датовано 30 жовтня 2026 року, а термін його дії спливає 3 травня 2027 року. У базі даних IETF зазначено, що окремий документ Internet-Draft не схвалений IETF і не має офіційного статусу в процесі розроблення стандартів IETF.

Згідно з проєктом документа, оператор служби пов’язує вподобання щодо використання контенту, наприклад «не використовувати для навчання ШІ», з певними шляхами, додаючи до звичайних груп robots.txt токен політики для окремого призначення в рядку User-Agent. У проєкті документа не запроваджено нових назв директив чи нового синтаксису: мова опису шляхів, пріоритет найдовшого збігу та структура груп стандарту robots.txt, опублікованого як RFC 9309, залишаються незмінними. Тому, як зазначено в проєкті, наявні парсери, розгорнуті в інтернеті, і надалі тлумачитимуть сигнали керування трафіком так само, як і раніше, а групи з токеном політики ігноруватимуть так само, як будь-які групи з назвою агента користувача, яку вони не розпізнають.

У проєкті документа визначено міжплатформний токен політики __usage_ai-training. У наведеному прикладі до групи входять рядок «User-Agent: __usage_ai-training», а також «Disallow: /» і «Allow: /press-kit/». Це означає, що контент не слід використовувати для навчання ШІ на жодних шляхах, окрім тих, що містяться в /press-kit/. Групи з шаблоном для всіх агентів, тобто «User-Agent: *», не можна тлумачити як такі, що відповідають токену політики. Якщо жодна група у файлі не містить цього токена, вподобання не виражено.

У проєкті документа також зазначено, що токен політики не є директивою щодо поведінки пошукових роботів. За його словами, вподобання щодо використання контенту та сигнали керування трафіком пошукових роботів є незалежними й не пов’язані між собою, а приватні угоди можуть мати перевагу над вподобаннями, висловленими за допомогою цього механізму. До заявлених цілей належать прив’язування вподобань до конкретних шляхів, якомога менше відхилення від RFC 9309, відсутність масштабного дублювання правил, незмінність поведінки парсерів, які не реалізують цей механізм, і послідовне тлумачення різними споживачами.

Термінологія, що лежить в основі сигналу

Значення токена відповідає термінологічному проєкту робочої групи — Словник для вираження вподобань щодо використання ШІ (draft-ietf-aipref-vocab-08), авторами якого є Пол Келлер з Open Future і Мартін Томсон з Mozilla. Востаннє документ оновлювали у вересні 2026 року; це документ робочої групи, який має стати запропонованим стандартом. У словнику навчання ШІ визначено як використання ресурсу для зміни параметрів генеративної моделі ШІ, що навчаються. Це визначення не охоплює навчання моделей, призначених виключно для негenerativeних завдань. Генеративну модель ШІ визначено як модель, яку використовують або пропонують для використання з метою створення синтетичного контенту в одній чи кількох модальностях.

У словнику також визначено окрему категорію «Використання ШІ», що охоплює ресурси, які подають на вхід генеративній моделі ШІ, а не надають користувачеві безпосередньо, і категорію «Пошук» для застосунків, основна мета яких — добирати ресурси й спрямовувати користувачів до місць їхнього розташування. Для кожної категорії встановлюється одне зі значень уподобання: дозволено, заборонено або невідомо; якщо твердження суперечать одне одному, застосовується найсуворіше вподобання. У проєкті словника зазначено, що він не гарантує дотримання вподобань, а рішення про те, чи дотримуватися їх, залишається за одержувачем. У примітці для читачів застережено, що його зміст ще не відображає консенсусу робочої групи. В одному з розділів, включення якого досі розглядається як відкрите питання, зазначено, що дотримання вподобань щодо навчання передбачає передавання разом із моделлю під час її поширення вподобань, пов’язаних із ресурсами, використаними для навчання.

У подяках до проєкту сигналу для навчання названо співголів робочої групи Марка Ноттінгема з Cloudflare і Суреша Крішнана з Cisco, редакторів словника Томсона й Келлера, а також відповідального директора напряму Майка Бішопа з Akamai. У них також перелічено окремих учасників із зазначенням їхніх організацій лише для ідентифікації, оскільки учасники IETF роблять внесок як приватні особи. Серед цих організацій — OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation і Creative Commons.

Наявні засоби керування сканерами OpenAI

У документації OpenAI щодо сканування вебсайтів, яка, за словами компанії, залишатиметься чинною паралельно з новим сигналом, GPTBot описано як агента, що сканує вміст, який може використовуватися для навчання базових моделей генеративного ШІ. Заборона GPTBot означає, що вміст сайту не слід використовувати для такого навчання. OAI-SearchBot забезпечує появу вебсайтів у функціях пошуку ChatGPT. Якщо сайт відмовиться від його роботи, він не відображатиметься у відповідях пошуку ChatGPT, хоча може й надалі з’являтися у вигляді навігаційних посилань. OAI-AdsBot перевіряє безпеку вебсторінок, які надсилають як рекламу в ChatGPT, а зібрані ним дані не використовуються для навчання базових моделей генеративного ШІ. ChatGPT-User обробляє відвідування сторінок, спричинені діями користувачів у ChatGPT, а не автоматичним скануванням; у документації зазначено, що правила robots.txt можуть не поширюватися на такі відвідування.

Згідно з документацією, кожне налаштування не залежить від інших, тож адміністратор сайту може дозволити OAI-SearchBot з’являтися в результатах пошуку, водночас заборонивши GPTBot збирати дані для навчання. Зміни в пошуку можуть набути чинності приблизно через 24 години після оновлення файлу robots.txt на сайті. OpenAI заявила, що поділиться подробицями впровадження спільного сигналу, коли реалізує його в найближчі місяці.