OpenAI będzie respektować wspólny sygnał w pliku robots.txt dotyczący preferencji w zakresie trenowania AI

30 października 2026 r. OpenAI ogłosiła, że będzie respektować wspólny sygnał w pliku robots.txt — pliku używanym przez witryny do określania preferencji dotyczących sposobu wykorzystywania ich treści — dzięki czemu administratorzy stron będą mogli jednocześnie przekazywać tę samą preferencję dotyczącą trenowania AI wielu uczestniczącym w inicjatywie dostawcom.

Dobrowolny sygnał wspólny dla wielu dostawców

W swoim komunikacie OpenAI określiła tę inicjatywę jako dobrowolną i zaznaczyła, że ma ona rozwiązać istniejący problem: dotychczas administratorzy witryn musieli identyfikować poszczególne roboty indeksujące i utrzymywać osobne reguły dla każdego dostawcy. Jak podała firma, wspólny sygnał pozwala wydawcom i administratorom witryn jednocześnie przekazywać tę samą preferencję wielu uczestniczącym w inicjatywie dostawcom. OpenAI poinformowała, że zamierza wdrożyć sygnał w najbliższych miesiącach i po wdrożeniu przedstawi kolejną aktualizację zawierającą szczegóły dotyczące jego implementacji.

Firma poinformowała, że nowy sygnał nie zastąpi mechanizmów kontroli, które już udostępnia za pośrednictwem pliku robots.txt, i że nadal będą one obowiązywać oraz będą respektowane. OpenAI przedstawiła tę inicjatywę jako nawiązującą do trwających prac grupy roboczej AI Preferences w ramach Internet Engineering Task Force. Podała też, że dołącza do innych uczestników grupy roboczej, ogłaszając tę inicjatywę, i zachęciła pozostałych dostawców AI do respektowania sygnału. Firma określiła ten krok jako działanie na rzecz otwartej sieci, w której można publikować i znajdować informacje, a właściciele witryn mają jaśniejsze i prostsze sposoby informowania o swoich decyzjach dotyczących wykorzystania treści. Dodała, że będzie nadal dostosowywać swoje praktyki w miarę rozwoju dyskusji nad standardami.

Jak działa sygnał

Sygnał opisano w indywidualnym projekcie dokumentu internetowego zatytułowanym Sygnał preferencji dotyczących trenowania, odczytywany maszynowo (draft-kelley-aipref-training-preference-signal-00), którego autorem jest Kevin Kelley z Anthropic. Dokument datowano na 30 października 2026 r., a jego ważność upływa 3 maja 2027 r. Z informacji w serwisie datatracker IETF wynika, że indywidualny projekt dokumentu internetowego nie jest popierany przez IETF i nie ma formalnego statusu w procesie opracowywania standardów tej organizacji.

Zgodnie z projektem operator usługi przypisuje preferencje dotyczące wykorzystania treści, takie jak „bez trenowania AI”, do ścieżek, zapisując zwykłe grupy w pliku robots.txt, oznaczone w wierszu User-Agent tokenem polityki właściwym dla danego celu. Projekt nie wprowadza nowych nazw dyrektyw ani nowej składni: język ścieżek, zasada pierwszeństwa najdłuższego dopasowania oraz struktura grup ze standardu robots.txt opublikowanego jako RFC 9309 pozostają bez zmian. W rezultacie — jak stwierdzono w projekcie — istniejące parsery wdrożone w internecie będą nadal interpretować sygnały zarządzania ruchem tak jak dotychczas, a grupy oznaczone tokenem polityki będą ignorować tak samo jak każdą grupę wskazującą agenta użytkownika, którego nie rozpoznają.

W projekcie zdefiniowano międzydostawcowy token polityki __usage_ai-training. W przykładowej grupie wiersz „User-Agent: __usage_ai-training” zestawiono z wierszami „Disallow: /” i „Allow: /press-kit/”, co wyraża preferencję zakazującą trenowania AI na wszystkich ścieżkach z wyjątkiem tych w obrębie /press-kit/. Grup wieloznacznych, czyli „User-Agent: *”, nie wolno interpretować jako dopasowanych do tokenu polityki. Jeśli w pliku nie ma żadnej grupy zawierającej ten token, oznacza to, że nie wyrażono żadnej preferencji.

W projekcie zaznaczono również, że token polityki nie jest dyrektywą dotyczącą zachowania podczas indeksowania. Zgodnie z jego treścią preferencje dotyczące wykorzystania treści oraz sygnały zarządzania ruchem robotów indeksujących są niezależne i dotyczą odrębnych kwestii, a prywatne umowy mogą uchylać preferencje wyrażone za pomocą tego mechanizmu. Wśród wskazanych celów projektu są przypisywanie preferencji do konkretnych ścieżek, jak najmniejsze odejście od RFC 9309, unikanie powielania reguł na dużą skalę, zachowanie dotychczasowego działania parserów, które nie implementują tego mechanizmu, oraz zapewnienie spójnej interpretacji przez różne podmioty korzystające z tego rozwiązania.

Terminologia leżąca u podstaw sygnału

Znaczenie tokenu odpowiada terminologii zawartej w projekcie słownika grupy roboczej: Słownik wyrażania preferencji dotyczących wykorzystania AI (draft-ietf-aipref-vocab-08). Dokument opracowali Paul Keller z Open Future i Martin Thomson z Mozilla, a ostatnią aktualizację opublikowano we wrześniu 2026 r. jako dokument grupy roboczej, który ma stać się proponowanym standardem. W słowniku trenowanie AI zdefiniowano jako wykorzystywanie zasobu do modyfikowania wyuczonych parametrów generatywnego modelu AI; definicja ta nie obejmuje trenowania modeli używanych wyłącznie do zadań niegeneratywnych. Generatywny model AI zdefiniowano jako model używany lub udostępniony do użycia w celu generowania treści syntetycznych w co najmniej jednej modalności.

W słowniku zdefiniowano również odrębną kategorię „Wykorzystanie AI”, obejmującą zasoby używane jako dane wejściowe dla generatywnego modelu AI, a nie przekazywane bezpośrednio przez użytkownika, oraz kategorię „Wyszukiwanie” dla aplikacji, których głównym celem jest wybieranie zasobów i kierowanie użytkowników do miejsc, w których można je znaleźć. Każdej kategorii przypisuje się jedną z wartości preferencji: dozwolone, niedozwolone lub nieznane, a w przypadku sprzecznych deklaracji obowiązuje najbardziej restrykcyjna preferencja. W projekcie słownika zaznaczono, że nie gwarantuje on przestrzegania preferencji, a decyzję o tym, czy ich przestrzegać, pozostawia odbiorcy. W uwadze dla czytelników zastrzeżono, że treść dokumentu nie odzwierciedla jeszcze konsensusu grupy roboczej. Jedna z sekcji, której uwzględnienie nadal jest przedmiotem otwartej kwestii, stanowi, że przestrzeganie preferencji dotyczących trenowania obejmuje przekazywanie wraz z rozpowszechnianym modelem preferencji powiązanych z zasobami wykorzystanymi do jego trenowania.

W podziękowaniach do projektu sygnału dotyczącego trenowania wymieniono przewodniczących grupy roboczej: Marka Nottinghama z Cloudflare i Suresha Krishnana z Cisco; redaktorów słownika, Thomson i Kellera; oraz dyrektora odpowiedzialnego obszaru, Mike’a Bishopa z Akamai. Wymieniono także uczestników indywidualnych, których afiliacje podano wyłącznie w celach identyfikacyjnych, ponieważ uczestnicy IETF wnoszą wkład jako osoby prywatne. Reprezentowali oni między innymi OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation i Creative Commons.

Dotychczasowe ustawienia robotów indeksujących OpenAI

W dokumentacji OpenAI dotyczącej robotów indeksujących, która według firmy pozostanie w mocy równolegle z nowym sygnałem, GPTBot opisano jako agenta indeksującego treści, które mogą zostać wykorzystane do trenowania bazowych modeli generatywnej AI firmy. Zablokowanie GPTBot oznacza, że treści danej witryny nie powinny być wykorzystywane do tego trenowania. OAI-SearchBot udostępnia witryny w funkcjach wyszukiwania ChatGPT; witryny, które z niego zrezygnują, nie będą pojawiać się w odpowiedziach wyszukiwania ChatGPT, choć nadal mogą być wyświetlane jako linki nawigacyjne. OAI-AdsBot sprawdza bezpieczeństwo stron internetowych zgłaszanych jako reklamy w ChatGPT, a gromadzone przez niego dane nie są wykorzystywane do trenowania bazowych modeli generatywnej AI. ChatGPT-User obsługuje odwiedziny stron wywołane działaniami użytkowników w ChatGPT, a nie automatyczne indeksowanie. Dokumentacja zaznacza, że reguły robots.txt mogą nie mieć zastosowania do takich odwiedzin.

Według dokumentacji każde ustawienie jest niezależne od pozostałych, więc administrator witryny może zezwolić OAI-SearchBot na pojawianie się w wynikach wyszukiwania, a jednocześnie zablokować GPTBot w celu wykluczenia trenowania. Zmiany w wyszukiwaniu mogą zacząć obowiązywać w ciągu około 24 godzin od aktualizacji pliku robots.txt witryny. OpenAI poinformowało, że udostępni szczegóły wdrożenia wspólnego sygnału, gdy wprowadzi go w nadchodzących miesiącach.