Google planuje obsługę wspólnego mechanizmu kontroli trenowania AI w pliku robots.txt

30 października 2026 r. Google ogłosiło, że planuje obsługiwać wspólny mechanizm kontroli trenowania AI w pliku robots.txt, dzięki któremu właściciele witryn będą mogli w jeden sposób określać preferencje dotyczące trenowania modeli przez wielu dostawców AI. Zobowiązanie ogłoszono tego samego dnia co podobne deklaracje Microsoftu i OpenAI.

Jak Google będzie stosować ten mechanizm

Plan przedstawił John Mueller, rzecznik Google Search, w wpisie na blogu Google Search Central. Mechanizm opiera się na pracach grupy roboczej AI Preferences działającej w ramach Internet Engineering Task Force (IETF) i rozwija rozwiązanie Google-Extended — mechanizm kontroli trenowania AI, który, jak podaje Google, jest dostępny od 2023 roku.

Zamiast zarządzać osobnymi instrukcjami dla każdego twórcy AI, właściciele witryn będą mogli używać wspólnego tokenu polityki w pliku robots.txt, aby określać ogólne preferencje dotyczące wielu uczestniczących dostawców AI. Jeśli witryna użyje tokenu, by wyłączyć trenowanie, i nie określi osobno ustawienia Google-Extended, Google planuje interpretować to tak, jakby wydawca zabronił korzystania z Google-Extended. Inni dostawcy AI mogą podobnie obsługiwać ten sygnał, dzięki czemu właściciele witryn będą mogli jednocześnie wyłączyć trenowanie u wszystkich uczestniczących dostawców albo wybrać tylko niektórych.

Jak podano we wpisie, dotychczasowe mechanizmy kontroli poszczególnych firm będą nadal działać równolegle ze wspólnym sygnałem. Właściciele witryn będą więc mogli wyrazić ogólną decyzję za pomocą sygnału branżowego, a jednocześnie dostosować instrukcje dla poszczególnych twórców, korzystając z mechanizmów takich jak Google-Extended. Witryny, które wyraźnie zezwalają na korzystanie z Google-Extended, mogą pojawiać się w odpowiedziach i otrzymywać kliknięcia dzięki wykorzystaniu ich treści do ugruntowywania odpowiedzi w aplikacjach Gemini.

Google poinformowało, że propozycja uwzględnia opinie wydawców, organizacji społeczeństwa obywatelskiego, organów regulacyjnych i innych zainteresowanych stron, które domagały się ogólnobranżowych mechanizmów kontroli trenowania AI. Dodało, że poparcie ze strony największych dostawców AI pozwoliłoby stworzyć trwały standard działający w całej branży. Firma stwierdziła również, że propozycja jest zgodna z Kodeksem postępowania UE dla dostawców modeli AI ogólnego przeznaczenia, opracowanym w ramach unijnego aktu w sprawie sztucznej inteligencji (EU AI Act), który uznaje robots.txt za podstawową metodę wyrażania przez wydawców internetowych preferencji w formie czytelnej dla maszyn. Google zamierza wprowadzić obsługę nowego mechanizmu w 2027 roku, podobnie jak inni dostawcy AI, i zapowiedziało, że będzie informować o postępach.

OpenAI złożyło podobną deklarację tego samego dnia. W swoim komunikacie OpenAI poinformowało, że będzie respektować wspólny sygnał robots.txt, zamierza wdrożyć jego obsługę w nadchodzących miesiącach oraz utrzyma i będzie respektować dotychczasowe mechanizmy kontroli swoich robotów indeksujących. OpenAI oświadczyło, że w komunikacie dołączyło do pozostałych uczestników grupy roboczej AI Preferences, i zachęciło innych dostawców AI do respektowania tego sygnału.

Projekt IETF stojący za sygnałem

Mechanizm opisano w projekcie dokumentu internetowego zatytułowanym „Machine-Readable Training Preference Signal”, którego autorem jest Kevin Kelley z Anthropic, a datą publikacji — 30 października 2026 r. Dokument ma trafić na ścieżkę standaryzacyjną i wygasa 3 maja 2027 r. Zgodnie z informacjami w bazie IETF datatracker jest to indywidualne zgłoszenie, które nie zostało zatwierdzone przez IETF i nie ma formalnego statusu w procesie standaryzacyjnym.

Zgodnie z projektem operator usługi przypisuje preferencje dotyczące korzystania z treści do poszczególnych ścieżek, zapisując w pliku robots.txt standardowe grupy oznaczone tokenem polityki dla danego celu, __usage_ai-training, w wierszu User-Agent. Przykładowa grupa z projektu wyraża sprzeciw wobec trenowania AI w całej witrynie z wyjątkiem ścieżek w katalogu /press-kit/. Mechanizm nie wprowadza nowych nazw dyrektyw ani nowej składni: język opisu ścieżek, zasada pierwszeństwa najdłuższego dopasowania i struktura grup określone w standardzie robots.txt, RFC 9309, pozostają bez zmian. Dzięki temu parsery używane już w internecie będą ignorować grupy oznaczone tokenem polityki, którego nie rozpoznają. Grup z symbolem wieloznacznym, zawierających User-Agent: *, nie wolno interpretować jako dopasowujących się do tokenu polityki, a plik robots.txt bez grupy __usage_ai-training nie wyraża żadnych preferencji.

Znaczenie tokenu wynika z definicji trenowania AI zawartej w słowniku AIPREF: „Wykorzystywanie zasobu do modyfikowania wyuczonych parametrów generatywnego modelu AI”. Definicja nie obejmuje trenowania modeli używanych wyłącznie do zadań niegeneratywnych, nawet jeśli model potrafi wykonywać zadania generatywne. Projekt podkreśla również, że token wyraża preferencję dotyczącą wykorzystania treści, a nie dyrektywę określającą sposób indeksowania, choć odbiorcy sygnału mogą uwzględniać takie preferencje przy indeksowaniu. Konkretne wskazania powinny mieć pierwszeństwo przed ogólnymi, a prywatne umowy mogą uchylać wyrażone preferencje.

30 października 2026 r. Kelley ogłosił projekt na liście mailingowej ai-control IETF, informując, że Anthropic rozpoczęło już wdrażanie jego obsługi. Opisał te prace jako uzupełnienie dotychczasowych mechanizmów kontroli robotów indeksujących Anthropic, a nie ich zastępstwo.

Wdrożenie przez Microsoft i terminy przejściowe

Microsoft ogłosił wdrożenie tego rozwiązania tego samego dnia we wpisie na blogu Bing autorstwa Krishny Madhavana, głównego menedżera produktu w Microsoft Bing. Firma poinformowała, że jako pierwsza wprowadziła mechanizmy kontroli trenowania AI i ugruntowywania odpowiedzi dla wydawców, wskazując na znaczniki NoArchive i NoCache, które wprowadziła w 2023 roku.

Microsoft przyjmuje wspólną preferencję dotyczącą trenowania AI dla witryn i ścieżek oraz rozszerza ją na poziom strony za pomocą metatagów i nagłówków odpowiedzi HTTP, a także dodaje osobną preferencję dotyczącą wykorzystywania treści jako źródeł odpowiedzi AI na poziomie strony. Oprócz opcji Allow i Disallow preferencja dotycząca wykorzystywania treści jako źródeł odpowiedzi wprowadza nową opcję DisallowExtended, która ogranicza takie wykorzystanie do usług obsługiwanych przez Microsoft, takich jak AI Mode, AI Overview, Copilot i Microsoft 365, wykluczając usługi tego rodzaju, które Microsoft udostępnia podmiotom trzecim, takie jak Web IQ oraz wykorzystywanie treści jako źródeł odpowiedzi za pośrednictwem dostępu do API w Foundry. Jeśli nie zostanie opublikowana żadna preferencja, obie mają domyślnie wartość Allow. Microsoft ostrzegł, że wybór opcji Disallow lub DisallowExtended w odniesieniu do wykorzystywania treści jako źródeł odpowiedzi ogranicza widoczność marki w usługach AI; preferencje te nie wpływają na kwalifikowanie stron do tradycyjnych wyników wyszukiwania Bing ani nie ustanawiają warunków licencjonowania czy płatności.

Nowe preferencje zastąpią NoArchive i NoCache w zakresie trenowania AI i wykorzystywania treści jako źródeł odpowiedzi, a Microsoft zacznie je stosować podczas indeksowania od 1 lutego 2027 r. Tymczasowe preferencje przejściowe dotyczące wykorzystywania treści jako źródeł odpowiedzi będą dostępne w Bing Webmaster Tools od 15 grudnia 2026 r. dla witryn, które tego dnia korzystają ze starszych tagów. Witryny te muszą opublikować nowe preferencje i zapisać tymczasową preferencję dotyczącą wykorzystywania treści jako źródeł odpowiedzi przed 1 marca 2027 r.; po tym terminie NoArchive i NoCache nie będą już odczytywane jako preferencje dotyczące trenowania AI ani wykorzystywania treści jako źródeł odpowiedzi. Preferencje tymczasowe pozostaną w mocy do czasu, gdy Microsoft ponownie zaindeksuje stronę i wykryje nową preferencję dotyczącą wykorzystywania treści jako źródeł odpowiedzi, albo do 30 września 2027 r. — w zależności od tego, co nastąpi wcześniej.