Google plánuje podporu společného nastavení trénování AI v souboru robots.txt

Google 30. října 2026 oznámil, že plánuje podporovat společné nastavení trénování AI v souboru robots.txt, které vlastníkům webů umožní jediným způsobem vyjádřit své preference ohledně trénování vůči více poskytovatelům AI. Tento závazek doprovázela téhož dne oznámení společností Microsoft a OpenAI.

Jak bude Google toto nastavení uplatňovat

Plán představil John Mueller, zástupce služby Google Search pro vyhledávání, v příspěvku na blogu Google Search Central. Toto nastavení vychází z práce pracovní skupiny AI Preferences při organizaci Internet Engineering Task Force (IETF) a navazuje na Google-Extended, nastavení pro trénování AI, které Google podle svých slov nabízí od roku 2023.

Namísto správy samostatných pokynů pro každého vývojáře AI budou moci vlastníci webů používat v souboru robots.txt společný token zásad a nastavit tak obecné preference pro zúčastněné poskytovatele AI. Pokud web pomocí tohoto tokenu odmítne využití obsahu k trénování a výslovně neuvede Google-Extended, Google plánuje tento krok vykládat tak, jako by vydavatel použití Google-Extended zakázal. Ostatní poskytovatelé AI mohou se signálem nakládat podobně, takže vlastníci webů mohou odmítnout využití obsahu všemi zúčastněnými poskytovateli najednou, nebo si mezi nimi vybrat.

Podle příspěvku budou stávající nastavení jednotlivých společností fungovat i nadále souběžně se společným signálem. Vlastníci webů tak budou moci vyjádřit obecnou volbu prostřednictvím oborového signálu a současně dál přizpůsobovat pokyny jednotlivým vývojářům pomocí nastavení, jako je Google-Extended. Weby, které výslovně povolí Google-Extended, se mohou zobrazovat v odpovědích a získávat kliknutí prostřednictvím ukotvení v Gemini Apps.

Google uvedl, že návrh zohledňuje podněty vydavatelů, skupin občanské společnosti, regulačních orgánů a dalších zainteresovaných stran, které požadovaly oborová pravidla pro trénování AI, a že podpora ze strany předních poskytovatelů AI by vytvořila trvalý standard fungující napříč celým odvětvím. Společnost také uvedla, že návrh odpovídá Kodexu zásad EU pro poskytovatele univerzálních modelů AI podle EU AI Act, který uznává soubor robots.txt jako hlavní způsob, jímž mohou vydavatelé webového obsahu vyjadřovat strojově čitelné preference. Google plánuje podporovat nové nastavení společně s dalšími poskytovateli AI v roce 2027 a uvedl, že bude informovat o dosaženém pokroku.

OpenAI se ke stejnému závazku připojila téhož dne. OpenAI ve svém oznámení uvedla, že bude respektovat společný signál v souboru robots.txt, plánuje jej zavést v nadcházejících měsících a zachová svá stávající nastavení pro prohledávače, která budou nadále respektována. OpenAI v oznámení uvedla, že se připojuje k dalším účastníkům pracovní skupiny AI Preferences, a vyzvala ostatní poskytovatele AI, aby tento signál respektovali.

Návrh IETF, z něhož signál vychází

Mechanismus popisuje internetový návrh s názvem „Machine-Readable Training Preference Signal“, jehož autorem je Kevin Kelley ze společnosti Anthropic a který je datován 30. října 2026. Dokument je určen pro standardizační proces a jeho platnost končí 3. května 2027; podle databáze IETF datatracker jde o individuální podání, které IETF nepodporuje a nemá v rámci standardizačního procesu žádný formální status.

Podle návrhu poskytovatel služby přiřadí preference týkající se používání obsahu k jednotlivým cestám tak, že do souboru robots.txt zapíše běžné skupiny, jejichž klíčem je token zásad pro konkrétní účel, __usage_ai-training, uvedený na řádku User-Agent. Ukázková skupina v návrhu vyjadřuje nesouhlas s využíváním obsahu k trénování AI na celém webu s výjimkou cest v rámci /press-kit/. Mechanismus nezavádí žádné nové názvy direktiv ani novou syntaxi: jazyk cest, přednost nejdelší shody i struktura skupin stanovené standardem robots.txt, RFC 9309, zůstávají beze změny, takže analyzátory již nasazené na internetu budou skupiny s tokeny zásad, které neznají, ignorovat. Skupiny se zástupným znakem, tedy ty s User-Agent: *, se nesmějí vykládat tak, že odpovídají tokenu zásad, a soubor robots.txt bez skupiny __usage_ai-training nevyjadřuje žádnou preferenci.

Token přebírá svůj význam z definice trénování AI v terminologii AIPREF: „Použití zdroje ke změně naučených parametrů generativního modelu AI.“ Tato definice nezahrnuje trénování modelů používaných výhradně pro negenerativní úlohy, a to ani v případě, že model dokáže generovat obsah. Návrh také zdůrazňuje, že token vyjadřuje preferenci týkající se používání obsahu, nikoli pokyn k procházení webu, ačkoli uživatelé mohou preference při procházení zohledňovat; konkrétní vyjádření by měla mít přednost před obecnými a soukromé dohody mohou vyjádřené preference nahradit.

Kelley oznámil návrh 30. října 2026 v e-mailové konferenci ai-control organizace IETF a napsal, že Anthropic již začal zavádět jeho podporu. Tuto práci popsal jako doplněk ke stávajícím nastavením prohledávačů společnosti Anthropic, nikoli jako jejich náhradu.

Přijetí návrhu společností Microsoft a termíny přechodu

Microsoft oznámil, že návrh přijímá, téhož dne v příspěvku na blogu Bing, jehož autorem je Krishna Madhavan, hlavní produktový manažer služby Microsoft Bing. Microsoft uvedl, že jako první společnost poskytl vydavatelům nastavení pro trénování AI a ukotvení, a poukázal přitom na značky NoArchive a NoCache, které zavedl v roce 2023.

Microsoft zavádí sdílenou předvolbu pro trénování AI pro weby a cesty a rozšiřuje ji na úroveň jednotlivých stránek prostřednictvím metaznaček a hlaviček odpovědi HTTP. Zároveň přidává samostatnou předvolbu pro ukotvování AI na úrovni stránky. Kromě možností Allow a Disallow přidává předvolba pro ukotvování novou možnost DisallowExtended, která omezuje využití ukotvování na prostředí provozovaná Microsoftem, jako jsou AI Mode, AI Overview, Copilot a Microsoft 365, a vylučuje služby ukotvování, které Microsoft poskytuje třetím stranám, například Web IQ a ukotvování prostřednictvím přístupu k rozhraní API ve Foundry. Pokud není zveřejněna žádná předvolba, obě předvolby mají ve výchozím nastavení hodnotu Allow. Microsoft upozornil, že volba Disallow nebo DisallowExtended pro ukotvování snižuje viditelnost značky v prostředích s AI; tyto předvolby nemění způsobilost k zobrazování v tradičních výsledcích vyhledávání Bing ani nestanovují licenční či platební podmínky.

Nové předvolby nahradí předvolby NoArchive a NoCache pro trénování a ukotvování a začnou platit od 1. února 2027 při procházení webu Microsoftem. Dočasné předvolby pro přechod na nové nastavení ukotvování budou v Bing Webmaster Tools dostupné od 15. prosince 2026 pro weby, které k tomuto datu používají starší značky. Tyto weby musí zveřejnit nové předvolby a zaznamenat dočasnou předvolbu pro ukotvování před 1. březnem 2027; poté se předvolby NoArchive a NoCache již nebudou číst jako předvolby pro trénování ani ukotvování. Dočasné předvolby zůstanou v platnosti, dokud Microsoft stránku znovu neprojde a nenajde na ní novou předvolbu pro ukotvování, nebo do 30. září 2027, podle toho, co nastane dříve.