OpenAI va respecta un semnal comun din robots.txt privind preferințele de antrenare a IA

Pe 30 octombrie 2026, OpenAI a anunțat că va respecta un semnal comun din robots.txt — fișierul pe care site-urile îl folosesc pentru a-și exprima preferințele privind modul de utilizare a conținutului lor — astfel încât administratorii site-urilor să poată comunica simultan aceeași preferință privind antrenarea IA mai multor furnizori participanți.

Un semnal voluntar comun mai multor furnizori

În anunțul său, OpenAI a descris inițiativa ca fiind voluntară și a spus că aceasta răspunde unei dificultăți existente: până acum, administratorii site-urilor trebuiau să identifice fiecare crawler în parte și să mențină reguli separate pentru fiecare furnizor. Potrivit companiei, un semnal comun le permite editorilor și administratorilor site-urilor să comunice simultan aceeași preferință mai multor furnizori participanți. OpenAI a declarat că intenționează să implementeze semnalul în lunile următoare și că, atunci când o va face, va publica o nouă actualizare cu detalii despre implementare.

Compania a declarat că noul semnal nu va înlocui controalele pe care le pune deja la dispoziție prin robots.txt și că acestea vor rămâne valabile și vor fi respectate. OpenAI a prezentat inițiativa ca bazându-se pe activitatea în curs a grupului de lucru AI Preferences al Internet Engineering Task Force, a spus că se alătură celorlalți participanți la grupul de lucru pentru a face anunțul și a încurajat alți furnizori de IA să respecte semnalul. Compania a descris acest pas ca pe o evoluție către un internet deschis, în care oamenii pot publica și descoperi informații, iar proprietarii de site-uri au modalități mai clare și mai simple de a-și comunica opțiunile privind utilizarea conținutului lor. De asemenea, a spus că își va adapta în continuare practicile pe măsură ce evoluează discuțiile despre aceste standarde.

Cum funcționează semnalul

Semnalul este definit într-o ciornă individuală Internet-Draft, intitulată Semnal de preferință privind antrenarea, care poate fi citit automat (draft-kelley-aipref-training-preference-signal-00), redactată de Kevin Kelley de la Anthropic, datată 30 octombrie 2026 și cu termen de expirare la 3 mai 2027. Datatracker-ul IETF precizează că o ciornă individuală Internet-Draft nu este aprobată de IETF și nu are un statut oficial în procesul de standardizare al IETF.

Potrivit ciornei, un operator de servicii asociază preferințe de utilizare, precum „fără antrenare IA”, anumitor căi, scriind grupuri obișnuite în robots.txt, identificate printr-un token de politică specific fiecărui scop în linia User-Agent. Ciorna nu introduce nume noi de directive și nici o gramatică nouă: limbajul căilor, prioritatea celei mai lungi potriviri și structura grupurilor din standardul robots.txt publicat ca RFC 9309 rămân neschimbate. Prin urmare, afirmă ciorna, analizatoarele existente, implementate pe internet, vor continua să interpreteze semnalele de gestionare a traficului ca înainte și vor ignora grupurile cu tokenuri de politică, așa cum ar ignora orice grup care denumește un agent utilizator pe care nu îl recunosc.

Ciorna definește tokenul de politică inter-furnizori __usage_ai-training. În exemplul de grup, linia „User-Agent: __usage_ai-training” este asociată cu „Disallow: /” și „Allow: /press-kit/”, ceea ce exprimă o preferință împotriva antrenării IA pentru toate căile, cu excepția celor din /press-kit/. Grupurile cu caractere wildcard, adică „User-Agent: *”, nu trebuie interpretate ca potrivindu-se cu tokenul de politică; dacă niciun grup dintr-un fișier nu conține tokenul, nu a fost exprimată nicio preferință.

Ciorna mai precizează că tokenul de politică nu este o directivă privind comportamentul de crawling. Preferințele privind utilizarea conținutului și semnalele de gestionare a traficului crawlerelor sunt independente și ortogonale, afirmă aceasta, iar acordurile private pot prevala asupra preferințelor exprimate prin acest mecanism. Printre obiectivele declarate se numără asocierea preferințelor cu anumite căi, abaterea minimă de la RFC 9309, evitarea duplicării regulilor la scară largă, păstrarea comportamentului neschimbat pentru analizatoarele care nu implementează mecanismul și asigurarea unei interpretări consecvente de către toți cei care îl utilizează.

Vocabularul din spatele semnalului

Sensul tokenului corespunde proiectului de vocabular al grupului de lucru, Un vocabular pentru exprimarea preferințelor privind utilizarea IA (draft-ietf-aipref-vocab-08), redactat de Paul Keller de la Open Future și Martin Thomson de la Mozilla și actualizat ultima dată în septembrie 2026, ca document al grupului de lucru destinat să devină un Standard propus. Vocabularul definește antrenarea IA ca utilizarea unui activ pentru a modifica parametrii învățați ai unui model de IA generativă, cu excepția antrenării modelelor folosite exclusiv pentru sarcini non-generative. De asemenea, definește un model de IA generativă ca fiind un model utilizat sau pus la dispoziție pentru a genera conținut sintetic într-una sau mai multe modalități.

Vocabularul definește și o categorie distinctă, Utilizarea IA, care include activele folosite ca intrare pentru un model de IA generativă, nu pe cele furnizate direct de un utilizator, precum și o categorie de Căutare pentru aplicațiile al căror scop principal este selectarea activelor și îndrumarea utilizatorilor către locațiile acestora. Fiecare categorie primește una dintre următoarele valori de preferință: permis, interzis sau necunoscut, iar atunci când declarațiile intră în conflict, se aplică preferința cea mai restrictivă. Proiectul de vocabular precizează că nu garantează respectarea preferințelor și lasă destinatarului decizia dacă le urmează; o notă adresată cititorilor avertizează că documentul nu reflectă încă un consens al grupului de lucru. O secțiune, a cărei includere figurează în continuare ca problemă nerezolvată, afirmă că respectarea preferințelor privind antrenarea presupune transmiterea, împreună cu un model atunci când acesta este distribuit, a preferințelor asociate activelor de antrenare.

Mulțumirile din proiectul semnalului de antrenare îi menționează pe copreședinții grupului de lucru Mark Nottingham de la Cloudflare și Suresh Krishnan de la Cisco, pe editorii vocabularului Thomson și Keller și pe directorul responsabil de domeniu Mike Bishop de la Akamai. Sunt enumerați și participanți individuali, ale căror afilieri sunt menționate doar în scop de identificare, deoarece participanții IETF contribuie în nume personal; aceștia provin din organizații precum OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation și Creative Commons.

Controalele existente ale crawlerelor OpenAI

Documentația OpenAI despre crawlere, despre care compania a spus că va rămâne în vigoare alături de noul semnal, îl descrie pe GPTBot drept agentul care accesează cu crawlere conținut ce poate fi folosit la antrenarea modelelor sale fundamentale de IA generativă; interzicerea accesului pentru GPTBot indică faptul că acest conținut nu ar trebui folosit în acest scop. OAI-SearchBot afișează site-uri web în funcțiile de căutare ale ChatGPT, iar site-urile care renunță la includerea sa nu vor apărea în răspunsurile oferite de căutarea ChatGPT, deși pot apărea în continuare ca linkuri de navigare. OAI-AdsBot verifică siguranța paginilor web trimise ca reclame pe ChatGPT, iar datele pe care le colectează nu sunt folosite la antrenarea modelelor fundamentale de IA generativă. ChatGPT-User gestionează vizitele pe pagini declanșate de acțiunile utilizatorilor în ChatGPT, nu accesarea automată cu crawlere, iar documentația menționează că este posibil ca regulile din robots.txt să nu se aplice acestor vizite.

Potrivit documentației, fiecare setare este independentă de celelalte, astfel încât un administrator web poate permite afișarea OAI-SearchBot în rezultatele căutării, interzicând în același timp GPTBot pentru antrenare. Modificările în rezultatele căutării pot necesita aproximativ 24 de ore după actualizarea fișierului robots.txt al unui site. OpenAI a declarat că va comunica detalii despre implementarea semnalului comun atunci când îl va implementa, în lunile următoare.