OpenAI bude respektovat společný signál v souboru robots.txt pro preference týkající se trénování AI

Společnost OpenAI oznámila 30. října 2026, že bude respektovat společný signál v souboru robots.txt, jímž weby vyjadřují preference ohledně využívání svého obsahu. Provozovatelé webů tak budou moci jednou preferencí týkající se trénování AI oslovit více zapojených poskytovatelů současně.

Dobrovolný signál sdílený mezi poskytovateli

OpenAI ve svém oznámení označila tuto iniciativu za dobrovolnou a uvedla, že řeší dosavadní zátěž: provozovatelé webů museli až dosud identifikovat jednotlivé prohledávače a udržovat samostatná pravidla pro každého poskytovatele. Společný signál podle společnosti umožňuje vydavatelům a provozovatelům webů sdělit stejnou preferenci více zapojeným poskytovatelům současně. OpenAI uvedla, že chce signál zavést v nadcházejících měsících a poté zveřejní další aktualizaci s podrobnostmi o jeho implementaci.

Společnost uvedla, že nový signál nenahradí stávající nastavení dostupná prostřednictvím souboru robots.txt, která budou i nadále platit a budou respektována. OpenAI představila tento krok jako navázání na probíhající práci pracovní skupiny AI Preferences organizace Internet Engineering Task Force. Uvedla, že se k oznámení připojuje s dalšími účastníky pracovní skupiny, a vyzvala ostatní poskytovatele AI, aby signál respektovali. Společnost tento krok popsala jako posun k otevřenému webu, na němž lidé mohou zveřejňovat a vyhledávat informace a vlastníci webů mají jasnější a jednodušší možnosti, jak sdělit svá rozhodnutí ohledně využívání svého obsahu. Dodala, že bude své postupy i nadále přizpůsobovat vývoji diskusí o těchto standardech.

Jak signál funguje

Signál je popsán v samostatném internetovém návrhu s názvem Strojově čitelný signál pro preference týkající se trénování (draft-kelley-aipref-training-preference-signal-00), jehož autorem je Kevin Kelley ze společnosti Anthropic. Návrh je datován 30. října 2026 a jeho platnost končí 3. května 2027. Databáze IETF datatracker uvádí, že samostatný internetový návrh není schválen IETF a v rámci procesu tvorby standardů IETF nemá formální status.

Podle návrhu provozovatel služby přiřazuje preference týkající se využití, například „žádné trénování AI“, k jednotlivým cestám tak, že do běžných skupin souboru robots.txt zapíše token zásad pro konkrétní účel do řádku User-Agent. Návrh nezavádí žádné nové názvy direktiv ani novou gramatiku: syntaxe cest, přednost nejdelší shody i struktura skupin standardu robots.txt, zveřejněného jako RFC 9309, zůstávají beze změny. Návrh proto uvádí, že stávající parsery nasazené po celém internetu budou signály pro správu provozu nadále vyhodnocovat jako dosud a skupiny s tokenem zásad budou ignorovat stejně jako kteroukoli skupinu pojmenovávající uživatelského agenta, který jim není znám.

Návrh definuje token zásad pro různé poskytovatele __usage_ai-training. V příkladu se ve skupině spojuje řádek „User-Agent: __usage_ai-training“ s řádky „Disallow: /“ a „Allow: /press-kit/“. Tím se vyjadřuje preference proti trénování AI pro všechny cesty kromě těch, které spadají pod /press-kit/. Skupiny se zástupným znakem, tedy „User-Agent: *“, se nesmějí považovat za shodu s tokenem zásad. Pokud žádná skupina v souboru tento token neobsahuje, nebyla vyjádřena žádná preference.

Návrh dále uvádí, že token zásad není direktivou pro chování prohledávačů. Preference týkající se využívání obsahu a signály pro správu provozu prohledávačů jsou podle něj nezávislé a vzájemně oddělené; soukromé dohody mohou preference vyjádřené tímto mechanismem převážit. Mezi deklarované cíle patří přiřazování preferencí ke konkrétním cestám, co nejmenší odchýlení od RFC 9309, zamezení rozsáhlému zdvojování pravidel, zachování stávajícího chování parserů, které tento mechanismus neimplementují, a jednotný výklad napříč jeho uživateli.

Slovník, z něhož signál vychází

Význam tokenu odpovídá slovníku pracovní skupiny, jehož návrh nese název Slovník pro vyjadřování preferencí týkajících se využívání AI (draft-ietf-aipref-vocab-08). Jeho autory jsou Paul Keller z Open Future a Martin Thomson z Mozilly. Dokument byl naposledy aktualizován v září 2026 jako dokument pracovní skupiny, jehož zamýšleným statusem je navrhovaný standard. Tento slovník definuje trénování AI jako využití určitého zdroje k úpravě naučených parametrů generativního modelu AI; nezahrnuje trénování modelů používaných výhradně pro negenerativní úlohy. Generativní model AI definuje jako model, který slouží nebo je zpřístupněn k vytváření syntetického obsahu v jedné či více modalitách.

Slovník dále definuje samostatnou kategorii Využití AI, která zahrnuje zdroje použité jako vstup pro generativní model AI, nikoli jako obsah poskytnutý přímo uživatelem, a kategorii Vyhledávání pro aplikace, jejichž hlavním účelem je vybírat zdroje a odkazovat uživatele na místa, kde se nacházejí. Každá kategorie dostává hodnotu preference povoleno, zakázáno nebo neznámo; pokud jsou vyjádření v rozporu, platí nejpřísnější preference. Návrh slovníku uvádí, že nezaručuje dodržování preferencí a ponechává na příjemci, zda se jimi bude řídit. Poznámka pro čtenáře upozorňuje, že obsah dokumentu zatím neodráží konsenzus pracovní skupiny. Jedna část, jejíž zařazení je stále vedeno jako otevřený bod, uvádí, že dodržení preferencí pro trénování zahrnuje předání preferencí souvisejících s trénovacími zdroji spolu s modelem při jeho distribuci.

V poděkováních k návrhu signálu pro trénování jsou uvedeni předsedové pracovní skupiny Mark Nottingham ze společnosti Cloudflare a Suresh Krishnan ze společnosti Cisco, editoři slovníku Thomson a Keller a odpovědný ředitel oblasti Mike Bishop ze společnosti Akamai. Jmenovitě jsou uvedeni také jednotliví účastníci s afiliacemi, které slouží pouze k jejich identifikaci, protože účastníci IETF přispívají jako jednotlivci. Pocházejí z organizací, mezi něž patří OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation a Creative Commons.

Stávající nastavení prohledávačů OpenAI

Dokumentace OpenAI k prohledávačům, která podle společnosti zůstane v platnosti souběžně s novým signálem, popisuje GPTBot jako agenta, který prochází obsah, jenž může být použit k trénování jejích základních modelů generativní umělé inteligence. Zakázání GPTBotu znamená, že obsah webu nemá být pro tento trénink použit. OAI-SearchBot zobrazuje webové stránky ve vyhledávacích funkcích ChatGPT a weby, které jeho činnost zakážou, se ve výsledcích vyhledávání ChatGPT nebudou zobrazovat, mohou se však stále objevit jako navigační odkazy. OAI-AdsBot ověřuje bezpečnost webových stránek předložených jako reklamy v ChatGPT a údaje, které shromažďuje, se nepoužívají k trénování základních modelů generativní umělé inteligence. ChatGPT-User zajišťuje návštěvy stránek vyvolané akcemi uživatelů v ChatGPT, nikoli automatické procházení webu; dokumentace upozorňuje, že pravidla robots.txt se na tyto návštěvy nemusí vztahovat.

Podle dokumentace je každé nastavení nezávislé na ostatních, takže správce webu může povolit zobrazování OAI-SearchBotu ve výsledcích vyhledávání a zároveň zakázat GPTBot pro účely trénování. Změny ve vyhledávání se po aktualizaci souboru robots.txt na webu mohou projevit přibližně za 24 hodin. OpenAI uvedla, že podrobnosti o implementaci sdíleného signálu zveřejní, až jej v nadcházejících měsících zavede.