Google prevede di supportare un controllo condiviso dell’addestramento dell’IA tramite robots.txt

Il 30 ottobre 2026 Google ha annunciato l’intenzione di supportare un controllo condiviso dell’addestramento dell’IA in robots.txt, offrendo ai proprietari di siti web un unico modo per esprimere le proprie preferenze sull’addestramento nei confronti di più fornitori di IA. L’impegno è stato annunciato lo stesso giorno di quelli di Microsoft e OpenAI.

Come applicherà Google il controllo

Il piano è stato illustrato in un articolo sul blog Google Search Central di John Mueller, consulente della Ricerca Google. Il controllo si basa sul lavoro del gruppo di lavoro AI Preferences dell’Internet Engineering Task Force (IETF) e si fonda su Google-Extended, il controllo per l’addestramento dell’IA che, secondo Google, è disponibile dal 2023.

Anziché gestire istruzioni separate per ogni sviluppatore di IA, i proprietari di siti web potranno usare un token di policy condiviso in robots.txt per definire preferenze generali valide per i fornitori di IA che partecipano all’iniziativa. Se un sito web usa il token per escludere i propri contenuti dall’addestramento e non ha specificato esplicitamente Google-Extended, Google intende interpretare tale scelta come se l’editore avesse disabilitato Google-Extended. Gli altri fornitori di IA possono gestire il segnale in modo analogo, così i proprietari potranno escludere i propri contenuti da tutti i fornitori partecipanti in una volta sola oppure scegliere quali coinvolgere.

Secondo l’articolo, i controlli specifici delle singole aziende continueranno a funzionare insieme al segnale condiviso. I proprietari di siti web potranno quindi esprimere una preferenza generale tramite il segnale di settore e, al tempo stesso, personalizzare le istruzioni per i singoli sviluppatori usando controlli come Google-Extended. I siti web che autorizzano esplicitamente Google-Extended possono comparire nelle risposte e ricevere clic grazie all’ancoraggio nelle app Gemini.

Google ha dichiarato che la proposta tiene conto dei riscontri di editori, gruppi della società civile, autorità di regolamentazione e altri soggetti interessati, che hanno chiesto controlli sull’addestramento dell’IA validi per l’intero settore, e che il sostegno dei principali fornitori di IA porterebbe a uno standard duraturo e applicabile in tutto il settore. L’azienda ha inoltre affermato che la proposta è in linea con il Codice di buone pratiche dell’UE per i fornitori di modelli di IA per finalità generali, previsto dall’AI Act dell’UE, che riconosce robots.txt come metodo principale per consentire agli editori web di esprimere preferenze leggibili dalle macchine. Google intende supportare il nuovo controllo nel 2027, insieme agli altri fornitori di IA, e ha dichiarato che aggiornerà il pubblico sui progressi compiuti.

Lo stesso giorno OpenAI ha assunto un impegno analogo. Nell’annuncio di OpenAI si afferma che l’azienda rispetterà il segnale condiviso di robots.txt, punta a implementarlo nei prossimi mesi e manterrà attivi i controlli esistenti per i propri crawler, continuando a rispettarli. OpenAI ha dichiarato nell’annuncio di unirsi agli altri partecipanti al gruppo di lavoro AI Preferences e ha invitato gli altri fornitori di IA a rispettare il segnale.

La bozza IETF alla base del segnale

Il meccanismo è descritto in una bozza Internet intitolata «Segnale leggibile dalle macchine per le preferenze sull’addestramento», redatta da Kevin Kelley di Anthropic e datata 30 ottobre 2026. Il documento è destinato al percorso di standardizzazione e scade il 3 maggio 2027; secondo IETF Datatracker, si tratta di una proposta individuale non approvata dall’IETF e priva di valore formale nel processo di standardizzazione.

Secondo la bozza, un operatore di servizi associa le preferenze d’uso ai percorsi inserendo in robots.txt normali gruppi identificati da un token di policy specifico per ciascuna finalità, __usage_ai-training, nella riga User-Agent. Il gruppo d’esempio della bozza esprime la preferenza di non usare i contenuti per l’addestramento dell’IA nell’intero sito, fatta eccezione per i percorsi sotto /press-kit/. Il meccanismo non introduce nuovi nomi di direttive né nuove regole sintattiche: il linguaggio dei percorsi, la precedenza della corrispondenza più lunga e la struttura dei gruppi previsti dallo standard robots.txt, RFC 9309, restano invariati. Di conseguenza, i parser già in uso su Internet ignoreranno i gruppi identificati da token di policy che non riconoscono. I gruppi jolly, quelli con User-Agent: *, non devono essere interpretati come corrispondenti al token di policy; inoltre, un file robots.txt privo di gruppi __usage_ai-training non esprime alcuna preferenza.

Il significato del token deriva dalla definizione di addestramento dell’IA contenuta nel vocabolario AIPREF: «Usare una risorsa per modificare i parametri appresi di un modello di IA generativa». La definizione esclude l’addestramento di modelli usati esclusivamente per attività non generative, anche quando il modello è in grado di svolgere attività generative. La bozza sottolinea inoltre che il token esprime una preferenza sull’uso dei contenuti, non una direttiva sul comportamento dei crawler, sebbene chi utilizza il segnale possa tenerne conto nel crawling; le indicazioni specifiche dovrebbero prevalere su quelle generali e gli accordi privati possono prevalere sulle preferenze espresse.

Il 30 ottobre 2026 Kelley ha annunciato la bozza nella lista di distribuzione ai-control dell’IETF, scrivendo che Anthropic ha già avviato l’implementazione del supporto. Ha descritto il lavoro come un’integrazione dei controlli esistenti di Anthropic per i crawler, non come una loro sostituzione.

L’adozione di Microsoft e le date di transizione

Microsoft ha annunciato la propria adesione lo stesso giorno in un articolo sul blog di Bing di Krishna Madhavan, responsabile principale di prodotto per Microsoft Bing. Microsoft ha dichiarato di essere stata la prima azienda a offrire agli editori controlli per l’addestramento dell’IA e l’ancoraggio, citando i tag NoArchive e NoCache introdotti nel 2023.

Microsoft adotterà la preferenza condivisa per l’addestramento dell’IA per siti e percorsi e la estenderà a livello di pagina tramite meta tag e intestazioni di risposta HTTP, aggiungendo al contempo una preferenza distinta per il grounding dell’IA a livello di pagina. Oltre a Allow e Disallow, la preferenza per il grounding introduce la nuova opzione DisallowExtended, che limita l’uso del grounding alle esperienze gestite da Microsoft, come AI Mode, AI Overview, Copilot e Microsoft 365, escludendo i servizi di grounding che Microsoft fornisce a terzi, come Web IQ e il grounding tramite accesso API in Foundry. Se non viene pubblicata alcuna preferenza, entrambe le preferenze sono impostate per default su Allow. Microsoft ha avvertito che selezionare Disallow o DisallowExtended per il grounding riduce la visibilità del marchio nelle esperienze di IA; le preferenze non modificano l’idoneità a comparire nei risultati di ricerca tradizionali di Bing e non definiscono accordi di licenza o pagamento.

Le nuove preferenze sostituiranno NoArchive e NoCache per l’addestramento e il grounding ed entreranno in vigore dal 1° febbraio 2027, man mano che Microsoft eseguirà la scansione dei siti. Il 15 dicembre 2026 si aprirà in Bing Webmaster Tools la possibilità di impostare preferenze temporanee di transizione per il grounding, riservata ai siti che a quella data utilizzano i tag precedenti. Questi siti dovranno pubblicare le nuove preferenze e registrare una preferenza temporanea per il grounding prima del 1° marzo 2027; da quel momento, NoArchive e NoCache non saranno più letti come preferenze per l’addestramento o il grounding. Le preferenze temporanee resteranno in vigore finché Microsoft non eseguirà nuovamente la scansione di una pagina e rileverà la nuova preferenza per il grounding oppure fino al 30 settembre 2027, a seconda di quale evento si verifichi per primo.