ChatGPT-5 și Gemini 2.5 prezintă halucinații în 40% din interogările testate de tip redacție

O nouă studiu a descoperit că ChatGPT-5 și Google Gemini produc halucinații în 40% din interogările de tip redacție, inventând adesea afirmații care sună încrezător, dar care nu sunt susținute de fapte verificabile. Google NotebookLM se descurcă mai bine, cu o rată de 13% – o rată care ar fi suficientă pentru a face ca orice jurnalist din lume să fie dat afară. Studiul a constatat că modelele distorsionează adesea sursele, transformând opiniile în fapte și eliminând atributele, ceea ce le face unelte riscante pentru jurnalism. Autorii solicită unelte mai bune și dedicate pentru aceste sarcini.

Modelele de limbaj mari au fost adoptate rapid în jurnalism în ultimul timp, în medii de lucru care, în orice caz, au redus costurile, bugetele și personalul de la apariția jurnalismului digital care a distrus două secole de tradiție într-un proces inexorabil care a început la începutul anilor 2000.

De fapt, terenul era deja fertil, deoarece mass-media se obișnuiseră să taie locurile de muncă prin “inovație” de la cel puțin introducerea turbulentă a tehnologiei de tipărire digitală în anii 1980, precum și la apariția radioului și televiziunii.

Calea neîncetată a inteligenței artificiale în redacții și instituții media nu a fost lipsită de întârzieri, cu toate acestea; într-un context în care 55% din companii regretă înlocuirea oamenilor cu inteligență artificială și în care Gartner previne că organizațiile vor reduce drastic planurile de adoptare a inteligenței artificiale în următorii doi ani, o serie de instituții media și-au reangajat jurnaliștii înlocuiți de inteligență artificială, deoarece lipsurile și, adesea, înfrângerea alternativelor de învățare automată a devenit evidentă.

Greșeala nu este doar umană

Deși halucinațiile s-au dovedit a fi o problemă enormă pentru domenii în care citarea exactă este esențială (cu atenție publică notabilă pentru cazurile de eșec ale inteligenței artificiale în drept, cercetare și jurnalism), un nou studiu din Statele Unite constată că inteligența artificială în jurnalism se confruntă cu provocări mai ample decât s-a anticipat.

Cercetătorii au evaluat ChatGPT, Google Gemini și NotebookLM pe o sarcină de raportare: utilizând un corpus de 300 de documente axat pe litigiile și politica TikTok în Statele Unite.

Cercetătorii au variat specificitatea promptului și numărul de documente furnizate, apoi au analizat rezultatele utilizând o taxonomie concepută pentru a captura tipul și gravitatea halucinațiilor.

În toate ieșirile, 30% conțineau cel puțin o halucinație, în timp ce ChatGPT și Gemini au arătat fiecare o rată de halucinație de 40% – cu aproximativ trei ori mai mare decât rata de eroare de 13% a lui NotebookLM.

În loc să inventeze fapte sau entități, cercetătorii notează că modelele au afișat adesea încredere interpretativă, adăugând caracterizări nesuportate și transformând opiniile atribuite în declarații generale:

‘Calitativ, majoritatea erorilor nu au implicat entități inventate sau numere; în schimb, am observat încredere interpretativă – modelele au adăugat caracterizări nesuportate ale surselor și au transformat opiniile atribuite în declarații generale. ‘

‘Aceste modele relevă un decalaj epistemologic fundamental: în timp ce jurnalismul necesită surse explicite pentru fiecare afirmație, LLM-urile generează texte care sună autoritare, indiferent de suportul evidențial. ‘

‘Propunem extensii specifice jurnalismului la taxonomiile de halucinații existente și argumentăm că uneltele eficiente de redacție necesită arhitecturi care să impună atribute exacte, în loc să optimizeze pentru fluență.’

Studiul nou, o lectură fascinantă, dar scurtă, la cinci pagini, se intitulează Nu sunt greșite, dar nu sunt adevărate: LLM cu încredere în interogări bazate pe documente și provine de la trei cercetători de la Universitatea Northwestern și Universitatea Minnesota.

Teorie și Metodă

Cauza exactă a halucinațiilor este disputată la diferite momente; deși aproape toate teoriile agreează că calitatea datelor și/sau distribuțiile sunt un factor care contribuie la momentul antrenării, s-a propus chiar că 100% din ieșirile LLM sunt, în esență, halucinații (cu excepția faptului că unele dintre aceste halucinații coincid cu realitatea).

Autorii observă^†:

‘Din punct de vedere tehnic, halucinațiile apar din capacitatea LLM-urilor de a genera texte care urmează modele comune, fără a avea o înțelegere a ceea ce este adevărat. Această caracteristică duce la răspunsuri plauzibile care nu reflectă realitatea – de exemplu, LLM-fabricate cazuri de lege care ajung în procese. ‘

‘Și, deși capacitățile LLM-urilor au crescut dramatic în ultimii cinci ani, halucinațiile rămân o problemă, în unele cazuri chiar crescând pe măsură ce modelele devin mai capabile.’

Sectorul de cercetare, observă articolul, a explorat o serie de modalități de a reduce sau a înțelege mai bine halucinațiile LLM, care tind să cadă în trei domenii principale: în primul rând, context, modelele pot fi ancorate în surse externe, cum ar fi baze de date, colecții de documente sau conținut web, pentru a-și susține afirmațiile.

Acest lucru funcționează bine atunci când materialul este fiabil și complet, dar lacunele, informațiile învechite sau datele de calitate slabă încă provoacă erori; și modelele au, de asemenea, obiceiul de a face declarații încrezătoare care depășesc ceea ce spun sursele.

În al doilea rând, prompting și decoding se referă la utilizarea unor instrucțiuni atente pentru a ghida modelele. Acest lucru poate implica solicitarea modelelor să verifice dovezi, să împartă sarcini în pași mai mici sau să urmeze formate mai stricte.

Uneori, modelele sunt chiar direcționate să-și revizuiască propria muncă sau să compareze multiple răspunsuri.

Aceste tehnici pot detecta greșeli, dar ele cresc, de asemenea, costurile și adesea nu reușesc să detecteze erorile subtile; prin urmare, fără verificarea fiabilă a dovezilor, o mare parte a sarcinii de verificare încă cade pe user.

În al treilea rând, modele și unelte se referă la oferirea LLM-urilor acces la resurse care pot sprijini verificarea, cum ar fi motoare de căutare sau calculatoare – deși acuratețea poate, de asemenea, să se îmbunătățească atunci când modelele sunt antrenate pe date bine surse sau atunci când funcțiile de citare sunt integrate.

Cu toate acestea, aceste măsuri nu sunt infailibile și încă se bazează pe calitatea surselor, claritatea ghidurilor și supravegherea umană, pentru a preveni răspândirea informațiilor false.

Tik Tok

Pentru a afla care abordări ar putea fi cu adevărat utile pentru jurnaliști, studiul a efectuat evaluări concepute pentru a reflecta fluxurile de lucru și standardele redacției, cu halucinații examinate în contextul sarcinilor de raportare tipice.

Modelele de frontieră au fost testate utilizând strategii de prompt comun și setări de ancorare a documentelor, astfel încât atât frecvența, cât și tipul de erori de halucinație să poată fi măsurate – împreună cu ceea ce aceste erori semnifică pentru integrarea inteligenței artificiale în redacții.

Analiza s-a concentrat pe tipul de interogare bazată pe documente, caracteristic jurnalismului de cercetare și investigație. Autorii au căutat să creeze un corpus menit să reflecte un proiect de redacție mic sau mediu, dar care să fie suficient de mare pentru a capta complexitatea raportării din lumea reală; în acest scop, au selectat efortul legal în curs de a interzice TikTok în Statele Unite.

Documentele au fost adunate de la Washington Post, New York Times, ProQuest și Westlaw, rezultând o colecție de 300 de documente care cuprinde cinci articole academice, 150 de articole de știri și 145 de depuneri legale (cu compilarea completă disponibilă pentru cercetătorii academici la cerere prin repository).

Deoarece răspunsurile LLM depind puternic de modul în care este formulat promptul și de cantitatea de context furnizat, autorii au proiectat cinci interogări care variază de la foarte largi la foarte specifice – de la întrebări generale despre interzicerea TikTok, la prompturi detaliate care solicită mărturii din cauze specifice.

Numărul de documente furnizate fiecărui model a variat la 10, 100 – sau toate 300, din corpusul complet, cu două documente cheie incluse în fiecare eșantion, pentru a asigura coerența. S-au produs 15 răspunsuri pentru fiecare model, cu excepția ChatGPT, care a fost limitat la 10 răspunsuri.

Concurenții

Trei unelte au fost testate, fiecare reflectând o abordare diferită pentru interogarea bazată pe documente: ChatGPT-5 a fost evaluat utilizând caracteristica Proiecte, care a limitat încărcarea la 100 de documente; Google Gemini 2.5 Pro a putut procesa corpusul complet de 300 de documente în context (utilizând fereastra de context de un milion de token pentru a ingera direct toți cei 923.000 de token); Google NotebookLM, care oferă recuperare de citare integrată, a fost testat utilizând notebook-uri dedicate pentru fiecare eșantion.

Deși metodele de manipulare a documentelor diferă, toate cele trei reprezintă unelte reale disponibile jurnaliștilor; și, în orice caz, stadiul actual este mai experimental decât omogen, cu paritate de funcții și domeniu de aplicare care diferă inevitabil între ofertele actuale.

Pentru a captura gama de comportamente de halucinație posibile, s-a utilizat o taxonomie dintr-o lucrare anterioară din 2023, cu halucinații codificate prin orientare (distorșionare vs. elaborare); categorie (tip de eroare); și grad (gravitate evaluată ca ușoară, moderată sau alarmantă).

Toate ieșirile modelului au fost notate de un autor uman, care a examinat fiecare propoziție și a aplicat aceste coduri. Erorile care nu au fost acoperite de taxonomie au fost marcate ca diverse și ulterior analizate pentru a dezvolta categorii specifice jurnalismului.

Date și Teste

În testul inițial pentru prevalența halucinațiilor, 12 din 40 de răspunsuri ale modelului au conținut cel puțin o halucinație, cu variații notabile între unelte. ChatGPT și Gemini au produs fiecare halucinații în 40% din ieșirile lor, în timp ce NotebookLM a produs halucinații în doar 13% din cazuri:

Ratele generale de halucinație pentru fiecare unealtă, cu Gemini și ChatGPT producând cea mai mare proporție de răspunsuri cu erori. Sursă: https://arxiv.org/pdf/2509.25498

În legătură cu aceste rezultate, autorii comentează:

‘Acest lucru indică faptul că, deși majoritatea răspunsurilor de pe toate uneltele nu conțin halucinații, alegerea uneltei face o diferență pentru același corpus de documente și set de interogări.’

Halucinațiile rareori apar în mod izolat, observă articolul; Gemini a avut în medie patru halucinații pe răspuns defect, NotebookLM trei, și ChatGPT 1,5. Majoritatea au fost moderate în gravitate, dar 14% au fost clasificate ca alarmante. Într-un caz, ChatGPT a inventat o motivație de răzbunare pentru interzicerea TikTok care nu apărea în sursă:

‘[În]tr-o interogare, ChatGPT a prezentat o posibilă interzicere a TikTok ca o măsură reciprocă a legiuitorilor americani, ca răspuns la politica chineză, o afirmație complet absentă din documentul sursă.’

În general, 64% din răspunsurile care au halucinat au introdus inexactități factuale sau tangențe, ceea ce ridică întrebări cu privire la faptul dacă utilizarea LLM ar putea economisi realmente timp în acest tip de flux de lucru bazat pe informații, cel puțin la stadiul actual.

În acest test inițial, majoritatea halucinațiilor nu au încăput în categoriile existente, implicând adesea citate fabricate sau extinderi incorecte de acronime, ceea ce sugerează că cadrul actual poate fi prea îngust pentru cazurile de utilizare în jurnalism.

Rata mai mică de halucinație a lui NotebookLM, observă autorii, sugerează că sistemul său RAG bazat pe citare oferă o ancorare mai fiabilă decât caracteristica Proiecte a lui ChatGPT sau procesarea contextuală a lui Gemini, în special atunci când documente specifice trebuie să fie citate.

În ceea ce privește studiul caracteristicilor calitative ale halucinațiilor observate în rezultatele testului, cercetătorii observă că halucinațiile nu provin în primul rând din fapte inventate, ci din depășirea interpretativă:

‘Modelele au adăugat caracterizări încrezătoare despre scopurile documentelor, publicul țintă și intențiile vorbitorului, care păreau autoritare, dar nu aveau nicio bază în textul real. Ele au transformat declarații tentative sau atribuite în afirmații definitive.’

Încrederea excesivă a luat două forme: în primul rând, modelele au adăugat afirmații nesuportate despre publicul sau scopul unui document, cum ar fi etichetarea unui articol ca ‘scris pentru public’ sau a unei depuneri ca ‘destinate avocaților’.

În al doilea rând, ele au transformat opiniile atribuite în declarații care par a fi fapte, ascunzând sursa originală și subminând evaluarea sursei.

Aceste comportamente au apărut în toate uneltele și nu au fost limitate la o singură arhitectură – și majoritatea erorilor nu au fost fabricații, ci mai degrabă interpretări excesive.

Majoritatea halucinațiilor au fost etichetate ca diverse, deoarece nu au încăput în categoriile existente, estompând diferențele cheie între tipurile de erori. Problemele frecvente, cum ar fi lipsa de atribuire și descrierile vagi ale surselor, sugerează că taxonomiile actuale ratează tipurile de erori care contează cel mai mult în jurnalism, unde sursa clară este esențială.

Autorii observă că ‘Modelele adaugă analize încrezătoare pe care documentele nu le susțin și elimină atributele esențiale.’

Concluzie

Oricine a experimentat cu cele trei modele studiate în noul articol va ști că fiecare are puncte slabe și forte. Deși NotebookLM performează mult mai bine la citare decât ChatGPT sau Gemini, s-ar putea considera că a fost construit în mod special pentru această funcționalitate și, totuși, livrează o rată de eroare care ar face ca majoritatea jurnaliștilor, cercetătorilor sau avocaților să fie dați afară, cu incidente repetate.

În plus, NotebookLM, poziționându-se ca un cadru de cercetare, lipsește multe dintre rafinamentele UX care fac celelalte două platforme o experiență de scriere mai ușoară.

Cu toate acestea, cel puțin NotebookLM pare să citească realmente documentele încărcate, în loc să cadă în obiceiul distructiv al lui ChatGPT de a infera ce ar putea spune un document încărcat, pe baza ceea ce știe despre distribuția generală a documentelor similare. Poate fi o luptă dificilă să obții orice versiune a lui ChatGPT să facă o citire completă a materialului încărcat, în loc să se bazeze pe metadate sau pe presupunerile/proiecțiile sale.

Pentru domenii în care proveniența și standardele de citare sunt critice, cum ar fi dreptul, jurnalismul și cercetarea științifică, pare a fi zero unelte native antrenate pe piața actuală care pot îmbunătăți capacitatea limitată de a extrage și manipula informații pe care utilizatorul le direcționează.

În acest moment, și până la sosirea sistemelor auxiliare care pot oferi o interfață mai bună cu LLM-urile decât un simplu prompt de sistem sau setare MCP, tot ceea ce aceste sisteme produc pentru aceste sectoare critice pentru misiune încă necesită verificare de către acei oameni scumpi, incomozi și, în general, deranjanți.

* Google Cloud oferă o prezentare interesantă și cuprinzătoare a subiectului aici.

^† Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată miercuri, 1 octombrie 2025. Revizuit joi, 2 octombrie, pentru a corecta o eroare în TL;DR și a modifica o eroare stilistică din primul paragraf.