Google intenționează să ofere suport pentru un control comun al antrenării IA în robots.txt

Pe 30 octombrie 2026, Google a anunțat că intenționează să ofere suport pentru un control comun al antrenării IA în robots.txt, oferind proprietarilor de site-uri o modalitate unică de a-și exprima preferințele privind antrenarea pentru mai mulți furnizori de IA. Angajamentul a fost anunțat în aceeași zi cu angajamente similare din partea Microsoft și OpenAI.

Cum va aplica Google controlul

Planul a fost prezentat într-o articol de pe blogul Google Search Central de John Mueller, reprezentant Google Search. Controlul se bazează pe activitatea grupului de lucru AI Preferences din cadrul Internet Engineering Task Force (IETF) și dezvoltă soluția Google-Extended, un control pentru antrenarea IA despre care Google spune că îl oferă din 2023.

În loc să gestioneze instrucțiuni separate pentru fiecare dezvoltator de IA, proprietarii de site-uri vor putea folosi un token de politică comun în robots.txt pentru a stabili preferințe generale valabile pentru furnizorii de IA participanți. Dacă un site folosește tokenul pentru a refuza utilizarea conținutului său la antrenare și nu a specificat explicit Google-Extended, Google intenționează să interpreteze acest lucru ca și cum editorul ar fi interzis Google-Extended. Alți furnizori de IA pot trata semnalul în mod similar, astfel încât proprietarii să poată refuza participarea tuturor furnizorilor participanți dintr-o singură mișcare sau să aleagă individual.

Potrivit articolului, controalele existente, specifice fiecărei companii, vor continua să funcționeze alături de semnalul comun. Astfel, proprietarii de site-uri își vor putea exprima o opțiune generală prin intermediul semnalului la nivelul întregii industrii, adaptând în același timp instrucțiunile pentru fiecare dezvoltator prin controale precum Google-Extended. Site-urile care permit în mod explicit Google-Extended pot apărea în răspunsuri și pot primi clicuri prin funcția de ancorare din Gemini Apps.

Google a declarat că propunerea reflectă opiniile editorilor, ale grupurilor societății civile, ale autorităților de reglementare și ale altor părți interesate, care au cerut controale privind antrenarea IA aplicabile la nivelul întregii industrii. Compania a mai spus că sprijinul marilor furnizori de IA ar crea un standard durabil, funcțional în întreaga industrie. De asemenea, Google a afirmat că propunerea este în concordanță cu Codul de bune practici al UE pentru furnizorii de modele de IA de uz general, prevăzut de Regulamentul UE privind IA, care recunoaște robots.txt drept o metodă principală prin care editorii web își pot exprima preferințele într-un format care poate fi citit automat. Google intenționează să ofere suport pentru noul control în 2027, alături de alți furnizori de IA, și a declarat că va comunica actualizări despre progresul său.

OpenAI și-a asumat un angajament similar în aceeași zi. Anunțul OpenAI preciza că firma va respecta semnalul comun din robots.txt, că intenționează să îl implementeze în lunile următoare și că va menține controalele existente pentru crawlerul său, continuând să le respecte. OpenAI a declarat în anunț că se alătură celorlalți participanți la grupul de lucru AI Preferences și a îndemnat alți furnizori de IA să respecte semnalul.

Proiectul IETF care stă la baza semnalului

Mecanismul este descris într-un proiect de internet intitulat „Semnal de preferință privind antrenarea, care poate fi citit automat”, redactat de Kevin Kelley de la Anthropic și datat 30 octombrie 2026. Documentul este destinat procesului de standardizare și expiră la 3 mai 2027; potrivit IETF Datatracker, este o propunere individuală, care nu este susținută de IETF și nu are statut oficial în procesul de standardizare.

Potrivit proiectului, operatorul unui serviciu asociază preferințele de utilizare cu anumite căi prin adăugarea în robots.txt a unor grupuri obișnuite, identificate printr-un token de politică specific fiecărui scop, __usage_ai-training, în linia User-Agent. Grupul din exemplul proiectului exprimă preferința de a nu folosi conținutul întregului site pentru antrenarea IA, cu excepția căilor aflate sub /press-kit/. Mecanismul nu introduce niciun nume nou de directivă și nicio sintaxă nouă: limbajul căilor, prioritatea celei mai lungi potriviri și structura grupurilor din standardul robots.txt, RFC 9309, rămân neschimbate. Prin urmare, analizatoarele deja implementate pe internet vor ignora grupurile identificate prin tokenuri de politică pe care nu le recunosc. Grupurile cu metacaracter, cele care conțin User-Agent: *, nu trebuie interpretate ca potrivindu-se cu tokenul de politică, iar un fișier robots.txt fără niciun grup __usage_ai-training nu exprimă nicio preferință.

Tokenul își capătă sensul din definiția antrenării IA din vocabularul AIPREF: „Folosirea unui activ pentru a modifica parametrii învățați ai unui model de IA generativă.” Definiția exclude antrenarea modelelor utilizate exclusiv pentru sarcini non-generative, chiar și atunci când modelul poate îndeplini sarcini generative. Proiectul subliniază și că tokenul exprimă o preferință privind utilizarea conținutului, nu o directivă referitoare la comportamentul de accesare cu crawlere, deși consumatorii pot ține cont de preferințe atunci când accesează conținutul cu crawlere; exprimările specifice ar trebui să prevaleze asupra celor generale, iar acordurile private pot înlocui preferințele exprimate.

Pe 30 octombrie 2026, Kelley a anunțat proiectul pe lista de discuții ai-control a IETF, scriind că Anthropic a început deja să implementeze suportul pentru acesta. El a descris inițiativa drept o completare a controalelor existente ale crawlerului Anthropic, nu un înlocuitor al acestora.

Adoptarea de către Microsoft și datele tranziției

Microsoft și-a anunțat adoptarea în aceeași zi, într-un articol de pe blogul Bing semnat de Krishna Madhavan, manager principal de produs pentru Microsoft Bing. Microsoft a declarat că a fost prima companie care a oferit editorilor controale pentru antrenarea IA și ancorare, invocând etichetele NoArchive și NoCache, introduse în 2023.

Microsoft adoptă preferința comună pentru antrenarea IA la nivel de site și de cale și o extinde la nivelul paginii prin etichete meta și antete de răspuns HTTP, adăugând totodată o preferință separată pentru fundamentarea IA la nivel de pagină. Pe lângă opțiunile Allow și Disallow, preferința privind fundamentarea introduce o nouă opțiune, DisallowExtended, care limitează folosirea pentru fundamentare la experiențele operate de Microsoft, precum AI Mode, AI Overview, Copilot și Microsoft 365, excluzând serviciile de fundamentare pe care Microsoft le oferă terților, precum Web IQ și fundamentarea prin acces API în Foundry. Ambele preferințe sunt setate implicit la Allow dacă nu este publicată nicio preferință. Microsoft a avertizat că selectarea opțiunii Disallow sau DisallowExtended pentru fundamentare reduce vizibilitatea mărcii în experiențele IA; preferințele nu modifică eligibilitatea pentru rezultatele tradiționale ale căutării Bing și nu stabilesc acorduri de licențiere sau de plată.

Noile preferințe vor înlocui NoArchive și NoCache pentru antrenare și fundamentare și vor intra în vigoare începând cu 1 februarie 2027, pe măsură ce Microsoft accesează cu crawlere site-urile. Preferințele temporare de tranziție pentru fundamentare vor fi disponibile în Bing Webmaster Tools începând cu 15 decembrie 2026, pentru site-urile care folosesc etichetele mai vechi la acea dată. Aceste site-uri trebuie să publice noile preferințe și să înregistreze o preferință temporară privind fundamentarea înainte de 1 martie 2027; după această dată, NoArchive și NoCache nu vor mai fi interpretate ca preferințe pentru antrenare sau fundamentare. Preferințele temporare rămân în vigoare până când Microsoft accesează din nou cu crawlere o pagină și detectează noua preferință privind fundamentarea sau până la 30 septembrie 2027, oricare dintre aceste date survine mai întâi.