IA citează adesea pagini web pe care nici măcar nu le-a citit

Uneori, în fluxul de articole științifice al zilei apare o lucrare care mă irită cu adevărat — nu pentru că ar fi inexactă sau ofensatoare, ci pentru că observă și studiază ceva ce mă sâcâie de multă vreme, la marginea conștiinței, într-un mod vag și nespecific (poate fiindcă eram prea ocupat ca să fac altceva decât să ignor problema).

O astfel de lucrare a apărut astăzi, fiind semnată de trei autori de la Departamentul de Informatică al Imperial College London. Intitulată Recuperate, dar necitite: înțelegerea motivului pentru care LLM-urile augmentate cu căutare nu folosesc dovezile disponibile, noua cercetare investighează de ce modelele lingvistice mari (LLM-uri) îți oferă frecvent URL-uri menite să le susțină răspunsurile (citări irelevante din articole științifice, linkuri către articole web îndoielnice etc.) fără să le citească măcar.

Autorii afirmă:

„Am constatat că modelele răspund adesea pe baza fragmentelor din rezultatele căutării, fără să deschidă paginile-sursă, iar acest lucru este asociat cu o frecvență mai mare a răspunsurilor învechite și a citărilor inexacte. Experimentele noastre controlate și analiza pe straturi dezvăluie o discrepanță între disponibilitatea dovezilor și utilizarea lor efectivă.

„Chiar și atunci când dovezile recuperate influențează predicțiile interne, modelele pot continua să prefere informațiile învechite în răspunsurile finale.”

Autorii au testat un LLM proprietar al OpenAI (GPT-5.6 Luna) și șase configurații de modele cu ponderi deschise pe sute de fapte care se schimbaseră de la datele-limită de antrenare ale modelelor.

Apoi au analizat cât de des se bazau sistemele pe fragmente din rezultatele căutării în loc să deschidă paginile-sursă; cum afecta acest lucru acuratețea răspunsurilor și a citărilor; și de ce informațiile învechite aveau uneori câștig de cauză chiar și atunci când li se furnizau direct dovezi mai noi.

Testele au arătat că modelele răspundeau frecvent la întrebări fără să deschidă niciuna dintre paginile găsite prin căutări pe web și că acest comportament era asociat cu o frecvență semnificativ mai mare a răspunsurilor învechite și a citărilor înșelătoare:

Rezultatele testelor arată cât de des citează modelele de IA surse web fără să le citească efectiv. În opt configurații, cercetătorii au măsurat acuratețea răspunsurilor, dependența de fragmentele din rezultatele căutării fără deschiderea paginilor-sursă și citările care contraziceau afirmațiile modelelor. În unele cazuri, peste jumătate dintre căutări s-au încheiat fără ca măcar o pagină să fie deschisă. Toate valorile sunt procente; primul rând folosește căutarea web în timp real, iar celelalte folosesc rezultate de căutare standardizate. Sursa

Cercetătorii au constatat, de asemenea, că furnizarea directă a dovezilor corecte putea reduce considerabil aceste eșecuri, deși unele modele continuau să prefere informațiile învechite chiar și atunci când li se prezentau direct faptele mai recente.

Motive ascunse?

Cele mai evidente două motive pentru care LLM-urile ne bombardează frecvent cu documente justificative care „par corecte”, dar nu sunt pertinente, sunt: a) economisirea banilor, deoarece descărcarea și citirea chiar și a unui rezumat al materialului propriu-zis costă lățime de bandă și timp, iar materialul s-ar putea să nici nu fie disponibil; și b) reducerea latenței, ca și cum să-ți ofere rapid un răspuns greșit sau parțial greșit ar fi preferabil să întârzie puțin un răspuns mai bun.

Autorii noii lucrări sunt însă mai interesați să stabilească mecanismele de bază ale acestei deficiențe de calitate decât să afle cum ar fi putut fi proiectată sau concepută inițial.

În mod previzibil, experiența mea de până acum, discutând cu modele de vârf despre economia de scară a LLM-urilor, a dus la ceea ce nu pot decât să presupun că este un răspuns defensiv prestabilit.

Cel puțin mie, economia manipulării în acest fel a comportamentului LLM-urilor în privința citărilor mi se pare logică; însă tehnologiile propriu-zise sunt încă atât de puțin explorate, într-o stare atât de schimbătoare și atât de predispuse la rezultate neobișnuite, încât, deocamdată, este greu să dovedim existența unor asemenea motive.

Metodă

Pentru a testa cât de bine folosesc efectiv modelele dovezile de pe web, cercetătorii au compilat 225 de fapte care se schimbaseră după 16 februarie 2026 — cea mai recentă dată-limită de antrenare raportată dintre modelele testate.

Faptele proveneau din informații despre medicamente publicate de FDA (62 de fapte); finanțe (52); sport (47); persoane (43); documente depuse la SEC (13); și clasificări chimice (8). Au fost excluse schimbările care intraseră deja în vigoare până la data-limită sau fuseseră anunțate înainte de 1 februarie, precum și afirmațiile medicale la care se putea răspunde pe baza cunoștințelor generale. Au fost folosite și fapte care nu se schimbaseră, drept grup de control, pentru a le permite cercetătorilor să distingă eșecurile legate de informațiile noi de erorile mai generale.

Pentru a stabili un punct de referință, GPT-5.6 Luna a fost testat fără acces la căutarea pe web și a răspuns corect la doar 23,3% dintre cele 103 întrebări despre faptele modificate.

Un model de inteligență artificială nespecificat a fost folosit pentru a rescrie clauzele de etichetare ale FDA din setul de date menționat anterior sub forma unor afirmații factuale ce puteau fi testate individual, fiecare dintre acestea fiind apoi verificată manual*.

Configurațiile de modele cu ponderi deschise testate au fost GLM-5.3-Flash, de la Z.ai; gpt-oss-120b și gpt-oss-20b, de la OpenAI; gemma-4-31b, de la Google DeepMind, testat atât cu, cât și fără raționament; și qwen3-8b, de la Qwen.

Modelele cu ponderi deschise și GPT-5.6 Luna au primit aceleași rezultate ale căutării pe web, astfel încât răspunsurile lor să poată fi comparate în condiții echitabile. Luna a fost testat și separat, folosind propria funcție integrată de căutare pe web.

Pentru 223 dintre cele 225 de fapte, au fost colectate în avans zece rezultate ale căutării folosind Brave Search. Toate modelele au primit aceleași rezultate și au putut deschide pagini sau căuta în interiorul lor cu ajutorul unor instrumente identice.

Pagina care conținea răspunsul „corect” a fost întotdeauna pusă la dispoziție – dacă apărea în mod firesc printre primele zece rezultate, poziția sa rămânea neschimbată; în caz contrar, era introdusă în rezultate pe o poziție stabilită în prealabil, permițând cercetătorilor să examineze cum foloseau modelele dovezile disponibile în condiții comparabile.

Pentru a face testele mai consecvente, temperatura a fost setată la zero pentru modelele care acceptau această setare, iar fiecare model a fost testat prin intermediul aceluiași furnizor pe tot parcursul experimentelor.

Aspectul prompturilor

Dintre cele două prompturi folosite pentru testarea faptelor, primul era o întrebare deschisă, precum „La ce club joacă Bernardo Silva?” – cu sau fără solicitarea unei surse; al doilea îi cerea modelului să verifice o afirmație care conținea informații actuale sau depășite, permițând cercetătorilor să compare modul în care era tratată fiecare versiune.

În rezultatele cumulate au fost incluse alte patru tipuri de prompturi: întrebări deschise cu indicii; solicitări de citate; solicitări de furnizare a unei citări care să susțină o afirmație dată; și verificări ale fișelor informative, în care modelului i se cerea să identifice o afirmație depășită printre mai multe afirmații corecte.

Exemple de prompturi reale folosite pentru testarea modelelor, bazate pe întrebări și afirmații despre fotbalistul Bernardo Silva. Tabelul arată cum a fost prezentată aceeași chestiune factuală prin diferite solicitări de răspunsuri, verificări, citate și referințe. Toate prompturile începeau cu data de 8 august 2026, iar majoritatea cereau un răspuns final standardizat, precizat în instrucțiunile marcate cu litere de sub tabel.

Fiecare prompt preciza o dată, iar majoritatea cereau răspunsuri într-un format fix, care permitea răspunsul ‘NU SE POATE VERIFICA‘, astfel încât rezultatele să poată fi evaluate fără arbitraj uman sau realizat de un model lingvistic de mari dimensiuni.

Indicatorii folosiți au fost profunzimea lecturii (dacă paginile-sursă au fost deschise și citate); acuratețea răspunsurilor (procentul răspunsurilor corecte, excluzând abținerile); și fidelitatea citărilor (dacă paginile citate contraziceau afirmațiile modelului).

Evaluarea a fost automatizată ori de câte ori a fost posibil, un model lingvistic de mari dimensiuni (nespecificat) putând aproba citările doar dacă acestea erau susținute de un pasaj exact din pagina arhivată; evaluările negative care necesitau interpretare au fost încredințate unor evaluatori umani; iar faptele de control care nu se schimbaseră au fost folosite pentru a stabili rata de eroare de referință a fiecărui model în privința citărilor.

Rezultate

În testele inițiale (prezentate la începutul acestui articol), accesul la căutarea pe web a îmbunătățit capacitatea modelelor de a răspunde corect la întrebări. La verificarea corectitudinii afirmațiilor factuale, scorurile acestora au crescut cu 27–42 de puncte procentuale. Când răspundeau direct la întrebări, au dat răspunsuri corecte în 85,8–95,4% dintre cazuri.

Cu toate acestea, multe răspunsuri au fost generate fără ca modelele să acceseze efectiv site-urile web găsite prin căutare. În schimb, s-au bazat pe fragmentele scurte de text afișate alături de rezultatele căutării. Chiar și când primeau aceleași rezultate, proporția căutărilor în care nu era deschisă nicio pagină varia de la 2,6% la 76%, în funcție de model.

În acest context, GPT-5.6 Luna a avut o performanță deosebit de superficială:

‘Când primesc aceleași rezultate ale căutării, modelele răspund în 2,6–76,0% dintre cazuri fără să deschidă nicio pagină. În cazul căutării native, Luna răspunde în 53,6% dintre cazuri doar pe baza fragmentelor afișate.‘

Rezultatele testelor compară răspunsurile învechite și citările înșelătoare în funcție de cât de amănunțit au examinat modelele rezultatele căutării. „Fragment” înseamnă că nu a fost deschisă nicio pagină web; „Deschisă” înseamnă că a fost deschisă o pagină, dar nu a fost citată; Integr. înseamnă că a fost citată o pagină deschisă. Toate valorile sunt procente agregate pentru șapte configurații de model și toate tipurile de prompturi. Erorile au fost, în general, mai frecvente când modelele s-au bazat exclusiv pe fragmentele din rezultatele căutării.

În cele șapte configurații de model, 6.4% dintre răspunsurile bazate exclusiv pe fragmente erau învechite, față de 1.3% dintre cele în care au fost citate pagini deschise. Citările înșelătoare au fost, de asemenea, mai frecvente, cu 6.4% față de 2.3%, după cum se arată mai sus. În cazul întrebărilor despre sport, procentul răspunsurilor învechite în rândul modelelor cu ponderi deschise a ajuns la 20.2%, față de 2.1%. Când răspunsurile erau învechite, 81.8% dintre citările care le susțineau contraziceau afirmațiile respective, față de numai 0.9% în cazul răspunsurilor actualizate. În testele cu fișe informative s-au observat tipare similare.

Practic, asta înseamnă că modelele AI studiate sunt mai predispuse să dea răspunsuri greșite când se bazează pe descrierile scurte afișate în rezultatele căutării, în loc să citească paginile web propriu-zise. Mai rău, uneori trimit către pagini care dovedesc că răspunsurile lor sunt greșite.

Eșec comun

Dacă selecția folosită pentru aceste teste nu reprezintă „excepții colective”, pare rezonabil să presupunem că și alte modele, fie ele cu sursă închisă sau deschisă, sunt afectate de acest sindrom. De fapt, dintre cele nouă tipuri de eșec observate în căutările live pe web ale GPT-5.6 Luna, șapte au fost asociate semnificativ cu eșecurile înregistrate la testarea altor modele folosind aceleași rezultate fixe ale căutării, ceea ce sugerează că problemele nu se limitau la Luna.

Furnizarea directă a paginii Wikipedia corecte a redus numărul răspunsurilor învechite: de la 14 la zero pentru gemma-4-31b, de la 11 la unu pentru gpt-oss-20b și de la 16 la opt pentru qwen3-8b. Repetarea întrebării inițiale după deschiderea fiecărei pagini a corectat, de asemenea, 26.1% dintre verificările nereușite anterioare ale fișelor informative.

Rezultate care arată cât de des au acceptat gemma-4-31b, gpt-oss-20b și qwen3-8b afirmații învechite în diferite condiții. Aceleași dovezi fie nu au fost furnizate, fie au fost incluse direct în prompt, fie au fost puse la dispoziție prin rezultatele căutării; în teste separate s-au solicitat surse care să susțină răspunsurile. Furnizarea directă a paginii corecte a fost considerabil mai eficientă decât să li se ceară modelelor să o găsească singure. Valorile indică numărul de eșecuri raportat la numărul total de teste.

Regulile cluburilor

În cele din urmă, pentru a înțelege mai bine de ce AI ignoră uneori informațiile corecte, cercetătorii au testat trei modele cu ponderi deschise pe cazul unor fotbaliști care își schimbaseră clubul: gpt-oss-20b, gemma-4-31b și qwen3-8b.

Fiecărui model i s-au furnizat informații învechite despre clubul unui jucător, uneori împreună cu pagina Wikipedia corectă, apoi s-a analizat care răspuns era favorizat în timpul procesării.

Rezultatele au arătat că modelele puteau să recunoască clubul corect – dar tot ofereau răspunsul greșit:

Rezultatele testelor arată cum a evaluat qwen3-8b cluburile de fotbal corecte și învechite în timp ce formula un răspuns. Graficul din stânga prezintă răspunsurile reușite, în care clubul corect a rămas în avantaj; cel din dreapta prezintă eșecurile, în care clubul învechit l-a depășit pe cel corect în ultimele etape ale procesării. Zonele umbrite indică variația dintre teste.

În cazul qwen3-8b, clubul corect a ajuns uneori în frunte la nivel intern, înainte ca cel învechit să-l depășească chiar înainte de generarea răspunsului (vezi mai sus). Un tipar similar a apărut la gpt-oss-20b, în timp ce gemma-4-31b a favorizat, în general, clubul „învechit” pe tot parcursul procesării.

Prin urmare, se pare că, chiar și atunci când dovezile corecte sunt disponibile și recunoscute, informațiile învechite le pot prevala totuși în răspunsul final.

În concluzie, autorii sugerează că modelele ar trebui să folosească mai bine paginile web pe care le găsesc, în loc să se bazeze pe fragmentele din rezultatele căutării. Ei speră, de asemenea, să afle de ce modelele se agață uneori de informații învechite, deși au răspunsul corect, și dacă schimbările aduse modului în care modelele procesează informațiile ar putea ajuta. Nu este însă sugerată nicio soluție definitivă.

Concluzie

Deși oferă câteva perspective valoroase, noua lucrare nu explică de ce LLM-urile folosesc cu atâta nonșalanță citările și referințele. Ca utilizator și, la rândul meu, analist rezonabil al tiparelor, am impresia că LLM-urile pe care le folosesc recomandă lucrări sau URL-uri fiindcă acestea sunt recomandate de alte… site-uri recomandate…? Așadar, de unde provine, de fapt, impresia de autoritate?

Adevărul este că nu este o problemă pe care am reușit să o rezolvăm nici măcar în lumea de dinaintea AI-ului, așa că poate că nu este surprinzător dacă se dovedește că LLM-urile nu reduc nici costurile, nici latența, ci doar propagă aceleași zvonuri chinezești pe care ne mulțumim să le considerăm „adevăr”.

* Lucrarea nu precizează cine a efectuat aceste evaluări.

Publicat pentru prima dată vineri, 16 octombrie 2026