OpenAI rispetterà il segnale condiviso in robots.txt per le preferenze sull’addestramento dell’IA

OpenAI ha annunciato il 30 ottobre 2026 che rispetterà un segnale condiviso in robots.txt, il file che i siti web utilizzano per esprimere preferenze sulle modalità d’uso dei propri contenuti, così che i gestori dei siti possano comunicare a più fornitori aderenti, con un unico segnale, la propria preferenza sull’addestramento dell’IA.

Un segnale volontario condiviso tra i fornitori

Nel suo annuncio, OpenAI ha descritto l’iniziativa come volontaria e ha affermato che risponde a un onere già esistente: finora, i gestori dei siti web dovevano identificare i singoli crawler e mantenere regole separate per ogni fornitore. Un segnale condiviso, ha spiegato l’azienda, consente agli editori e ai gestori dei siti web di comunicare la stessa preferenza a più fornitori aderenti con un’unica operazione. OpenAI ha dichiarato di voler implementare il segnale nei prossimi mesi e di voler condividere un nuovo aggiornamento con i dettagli dell’implementazione al momento opportuno.

L’azienda ha dichiarato che il nuovo segnale non sostituirà i controlli che già mette a disposizione tramite robots.txt, i quali, ha precisato, continueranno ad applicarsi e saranno rispettati. OpenAI ha presentato l’iniziativa come un contributo al lavoro in corso del gruppo di lavoro AI Preferences dell’Internet Engineering Task Force, ha affermato di unirsi agli altri partecipanti del gruppo nel fare questo annuncio e ha invitato gli altri fornitori di IA a rispettare il segnale. L’azienda ha descritto questo passo come un avvicinamento a un web aperto, dove le persone possano pubblicare e scoprire informazioni e i proprietari dei siti web dispongano di modalità più chiare e semplici per comunicare le proprie scelte sull’uso dei contenuti. Ha inoltre dichiarato che continuerà ad adeguare le proprie pratiche man mano che evolverà il confronto su questi standard.

Come funziona il segnale

Il segnale è definito in una bozza individuale di Internet intitolata Segnale leggibile da una macchina per le preferenze sull’addestramento (draft-kelley-aipref-training-preference-signal-00), redatta da Kevin Kelley di Anthropic, datata 30 ottobre 2026 e in scadenza il 3 maggio 2027. Il datatracker dell’IETF precisa che una bozza individuale di Internet non è approvata dall’IETF e non ha alcun valore formale nel processo di definizione degli standard dell’organizzazione.

Secondo la bozza, un gestore di servizi associa preferenze d’uso, come «niente addestramento dell’IA», a determinati percorsi inserendo nei normali gruppi di robots.txt un token di policy specifico per finalità nella riga User-Agent. La bozza non introduce nuovi nomi di direttive né nuove regole sintattiche: il linguaggio dei percorsi, la precedenza delle corrispondenze più lunghe e la struttura dei gruppi dello standard robots.txt, pubblicato come RFC 9309, rimangono invariati. Di conseguenza, afferma la bozza, i parser già distribuiti su Internet continueranno a interpretare i segnali di gestione del traffico come in precedenza e ignoreranno i gruppi con token di policy, come farebbero con qualsiasi gruppo che indichi uno user agent non riconosciuto.

La bozza definisce il token di policy indipendente dal fornitore __usage_ai-training. Nel gruppo di esempio, la riga «User-Agent: __usage_ai-training» è abbinata a «Disallow: /» e «Allow: /press-kit/», esprimendo una preferenza contraria all’addestramento dell’IA per tutti i percorsi, tranne quelli contenuti in /press-kit/. I gruppi con caratteri jolly, cioè «User-Agent: *», non devono essere interpretati come corrispondenti al token di policy; se nessun gruppo di un file contiene il token, non è stata espressa alcuna preferenza.

La bozza specifica inoltre che il token di policy non è una direttiva relativa al comportamento di scansione. Le preferenze sull’uso dei contenuti e i segnali di gestione del traffico dei crawler sono indipendenti e ortogonali, afferma, e gli accordi privati possono prevalere sulle preferenze espresse tramite questo meccanismo. Tra gli obiettivi dichiarati figurano l’associazione a percorsi specifici, uno scostamento minimo da RFC 9309, l’assenza di duplicazioni su larga scala delle regole, il mantenimento del comportamento invariato dei parser che non implementano il meccanismo e un’interpretazione coerente da parte di tutti i soggetti che lo utilizzano.

Il vocabolario alla base del segnale

Il significato del token si basa sulla bozza di vocabolario del gruppo di lavoro, Un vocabolario per esprimere le preferenze sull’uso dell’IA (draft-ietf-aipref-vocab-08), redatta da Paul Keller di Open Future e Martin Thomson di Mozilla e aggiornata l’ultima volta nel settembre 2026 come documento del gruppo di lavoro destinato a diventare uno Standard proposto. Il vocabolario definisce l’addestramento dell’IA come l’uso di una risorsa per modificare i parametri appresi di un modello di IA generativa, escludendo l’addestramento di modelli utilizzati esclusivamente per attività non generative. Definisce inoltre un modello di IA generativa come un modello utilizzato, o reso disponibile per l’uso, per generare contenuti sintetici in una o più modalità.

Il vocabolario definisce anche una categoria distinta, Uso dell’IA, che comprende le risorse utilizzate come input di un modello di IA generativa, anziché essere fornite direttamente da un utente, e una categoria Ricerca per le applicazioni il cui scopo principale è selezionare risorse e indirizzare gli utenti ai relativi luoghi. A ogni categoria viene assegnato un valore di preferenza: consentito, non consentito o sconosciuto; in caso di conflitto tra le dichiarazioni, si applica la preferenza più restrittiva. La bozza del vocabolario afferma che non garantisce il rispetto delle preferenze e lascia al destinatario la scelta di seguirle o meno; una nota rivolta ai lettori avverte inoltre che il contenuto non riflette ancora il consenso del gruppo di lavoro. Una sezione, la cui inclusione è tuttora oggetto di una questione aperta, afferma che rispettare le preferenze sull’addestramento comporta trasmettere, insieme al modello al momento della sua distribuzione, anche le preferenze associate alle risorse di addestramento.

I ringraziamenti della bozza relativa al segnale di addestramento nominano i presidenti del gruppo di lavoro Mark Nottingham di Cloudflare e Suresh Krishnan di Cisco, i curatori del vocabolario Thomson e Keller e il direttore dell’area competente Mike Bishop di Akamai. Elencano inoltre i singoli partecipanti, indicando le affiliazioni a solo scopo identificativo, poiché i partecipanti all’IETF contribuiscono a titolo individuale, provenienti da organizzazioni tra cui OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation e Creative Commons.

I controlli esistenti di OpenAI sui crawler

La documentazione di OpenAI sui crawler, che secondo l’azienda resterà in vigore insieme al nuovo segnale, descrive GPTBot come l’agente che esegue la scansione dei contenuti che potrebbero essere utilizzati per addestrare i suoi modelli fondazionali di IA generativa; vietare GPTBot indica che i contenuti di un sito non dovrebbero essere utilizzati per tale addestramento. OAI-SearchBot fa comparire i siti web nelle funzionalità di ricerca di ChatGPT: i siti che scelgono di escluderlo non appariranno nelle risposte della ricerca di ChatGPT, ma potranno comunque comparire come link di navigazione. OAI-AdsBot verifica la sicurezza delle pagine web inviate come annunci su ChatGPT e i dati che raccoglie non vengono utilizzati per addestrare modelli fondazionali di IA generativa. ChatGPT-User gestisce le visite alle pagine avviate dalle azioni degli utenti in ChatGPT, anziché la scansione automatica, e la documentazione segnala che le regole di robots.txt potrebbero non applicarsi a queste visite.

Secondo la documentazione, ciascuna impostazione è indipendente dalle altre: un webmaster può quindi consentire a OAI-SearchBot di comparire nei risultati di ricerca e, allo stesso tempo, vietare GPTBot per l’addestramento. Dopo l’aggiornamento del file robots.txt di un sito, le modifiche alla ricerca possono richiedere circa 24 ore. OpenAI ha dichiarato che condividerà i dettagli di implementazione del segnale condiviso quando lo implementerà, nei prossimi mesi.