Unghiul lui Anderson
Progresul științific bazat pe IA, amenințat de o obsesie ciudată

Puncte cheieRecenzorii AI mai noi se concentrează asupra anexelor, în timp ce recenzorii umani se…
Vezi mai mult
- Recenzorii AI mai noi se concentrează asupra anexelor, în timp ce recenzorii umani se concentrează asupra principalelor constatări ale unei lucrări.
- Modelele lingvistice tratează fiecare pasaj ca fiind la fel de important, astfel încât ratează care secțiuni contează de fapt.
- Prejudecata față de anexe persistă indiferent de metodele de acces și produce feedback superficial care abia îi ajută pe autori să se îmbunătățească.
Un nou studiu din SUA sugerează că modelele de IA care evaluează lucrări științifice dezvoltă o obsesie ciudată pentru anexele lucrărilor, în detrimentul corpului principal al textului, acordând adesea mai multă atenție detaliilor secundare de susținere decât concluziilor principale. Pe măsură ce modelele lingvistice sunt folosite tot mai mult pentru a-i asista sau chiar înlocui pe recenzenții umani, tendința identificată recent pare să se răspândească și în evaluarea inter pares realizată de oameni, putând să frâneze progresul cercetării în domeniul IA:

Din noua lucrare, creșterea numărului de critici referitoare la anexe în evaluările inter pares ale lucrărilor științifice realizate de oameni. După ce s-a menținut sub 11% timp de mai mulți ani, proporția a ajuns la 27,6% în cele mai recente evaluări, în urma lansării unor modele de IA despre care s-a constatat că își formulează peste jumătate dintre critici pe baza anexelor. Liniile întrerupte marchează lansările unor modele majore. Sursa
Într-un test pe 2.000 de lucrări științifice provenite de la patru conferințe populare, cercetătorii care au realizat noul studiu au constatat că modelele mai noi își formulează aproximativ 50–70% dintre critici pe baza anexelor, comparativ cu mai puțin de 30% în cazul modelului mai vechi GPT-5.
Două dintre cele mai cunoscute modele de IA mai noi, care aparent îi determină chiar și pe recenzenții umani să se concentreze asupra anexelor și să neglijeze rezultatele principale, mai importante, sunt GPT-6.1-Sol și GPT-6-Astra de la OpenAI, ambele lansate în 2026.
Lucrarea afirmă*:
„Diferența dintre generații este mare. În cazul GPT-5, doar o mică parte dintre punctele slabe identificate au legătură cu anexele. Ambele modele mai noi, GPT-6.1-Sol și GPT-6-Astra, se bazează mult mai mult pe acestea, iar acest lucru se observă la fiecare conferință.
„Acest lucru sugerează că predilecția pentru anexe este, în principal, o caracteristică a modelelor mai noi. Deși modelele noi reprezintă o îmbunătățire, predilecția lor pentru anexe s-a accentuat. Capacitatea de a citi o lucrare în detaliu nu le-a învățat care părți sunt cele mai importante.”
Studiul a constatat și că această fixare asupra anexelor diferă în funcție de metodele prin care IA primește lucrarea, întrucât interfețele API, Codex și web nu procesează PDF-urile în același mod — iar Codex nu citește deloc partea din mijloc a unui PDF de lungime medie, ci o parcurge ulterior doar în „fragmente”, dacă este necesar. Cu toate acestea, s-a constatat că toate metodele favorizează materialele din anexe.
Până de curând, evaluările realizate de oameni și cele generate de IA nu împărtășeau această obsesie:
„[Human] recenzenții tratează corpul principal și materialele suplimentare foarte diferit față de modelele lingvistice mari. Modelele lingvistice mari atribuie peste 50% dintre punctele slabe materialelor legate de anexe, în timp ce oamenii atribuie acestora mai puțin de 10%.
„Diferența se observă și la nivelul evaluărilor individuale. Dintre cele 200 de lucrări eșantionate în fiecare an, din 2021 până în 2024, doar 159 în total au primit o evaluare umană care să menționeze vreun punct slab legat de anexe. În schimb, toate cele 200 de evaluări generate de modele lingvistice mari pentru ICLR 2027 au inclus cel puțin o critică referitoare la anexe.”

Comparație între criticile referitoare la anexe din evaluările inter pares realizate de oameni și cele generate de IA. Recenzenții umani au atribuit materialelor din anexe doar 8,4% dintre punctele slabe identificate, față de 62% în cazul modelelor de IA. A doua coloană prezintă criticile referitoare exclusiv la anexe, fără să indice o problemă corespunzătoare în lucrarea principală.
După cum arată tabelul testului de mai sus, recenzenții IA au fost de peste șapte ori mai predispuși decât oamenii să identifice puncte slabe în anexe și de peste trei ori mai predispuși să formuleze critici care vizau doar materialele suplimentare — un indiciu că unele dintre cele mai recente modele de IA de ultimă generație acordă acum prioritate detaliilor pe care recenzenții umani le-ar considera în mod tradițional secundare față de contribuția științifică principală a unei lucrări.
De ce?
Din câte se poate deduce — acesta este primul studiu care a identificat fenomenul — o parte a problemei este că sistemele de IA nu înțeleg sau nu au dedus din vastul material pe care au fost antrenate că anexa unei lucrări nu este, de regulă, locul în care se găsește conținutul esențial; tendința lor generală de a trata toate textele ca fiind la fel de importante le împiedică să țină cont de contextul materialelor din anexe, care sunt adesea necuratoriate și prezentate mult mai sumar decât corpul principal al lucrării:
„Modelele lingvistice mari critică aproape niciodată primele pagini, în care autorii își formulează problema și explică de ce este importantă. Oamenii contestă adesea tocmai această formulare, în timp ce modelele lingvistice mari par să o accepte și să treacă mai departe la cifre.
‘[Humans and LLMs] citește anexele într-un mod foarte diferit. Criticile oamenilor se estompează rapid pe măsură ce avansează lectura anexelor și aproape dispar în ultimele lor pagini. Slăbiciunile LLM-urilor nu se estompează deloc. De fapt, ele se accentuează mult mai departe în anexe, nu la începutul acestora, și persistă chiar și după pagina 30, unde evaluatorii umani ridică aproape nicio obiecție.
‘Pentru un LLM, un detaliu de la pagina 25 este la fel de legitim ca țintă a criticii precum tabelul cu principalele rezultate.’
Autorii observă că abordarea egalitară a LLM-urilor față de text le-ar fi putut determina în mod firesc să se concentreze mai mult asupra materialului din anexe, deoarece, după cum s-a menționat mai sus, acesta tinde să conțină mai multe erori.
Prin urmare, concluzia generală pe care o desprind din acest nou studiu este că, de-a lungul timpului, LLM-urile s-au concentrat asupra unei secțiuni a lucrărilor științifice noi în care apar frecvent multe erori sau confuzii, pur și simplu pentru că acea parte este tratată atât de des de autorii umani ca un loc dezordonat în care să înghesuie dovezi și demonstrații secundare.
Din acest motiv, IA găsește tot mai interesante anexele decât corpul principal, atent structurat, pentru că acolo are mai multe lucruri de analizat și corectat; în consecință, notează lucrarea, LLM-urile tind să trateze partea introductivă a lucrării drept o relatare factuală, acceptând-o fără rezerve:
‘Oamenii se așteaptă ca partea principală a lucrării să se susțină de una singură, așa că obiectează când secțiuni esențiale sunt mutate în anexe. LLM-urile aproape niciodată nu ridică această obiecție.
‘Acest lucru evidențiază o diferență esențială: oamenii înțeleg că partea principală are o importanță mai mare decât anexele, în timp ce LLM-urile nu înțeleg acest lucru. ‘
Consecințe și soluții
Această concentrare neașteptată asupra detaliilor minore ar putea avea implicații grave pentru cercetarea științifică asistată de IA, mai ales dacă importanța principalelor rezultate ale unei lucrări este trecută cu vederea. Întrucât această tendință pare să fi apărut abia la cele mai noi modele, efectele sale pe termen lung sunt încă necunoscute.
Lucrarea recunoaște că evaluatorii IA pot identifica erori valoroase, chiar și atunci când acestea sunt îngropate adânc într-o anexă. Totuși, avertizează că se poate acorda prea multă atenție detaliilor minore, în detrimentul principalelor rezultate ale lucrării, ceea ce duce la recenzii lungi, cu puțină valoare practică:
‘Evaluatorii LLM ridică ștacheta, deoarece nu lasă nicio parte a lucrării neexaminată. Totuși, o evaluare eficientă presupune și discernământ în privința aspectelor care contează cel mai mult. Când majoritatea punctelor slabe ale unei recenzii provin din conținutul anexelor, care nu are legătură cu contribuția principală, feedbackul rămâne superficial. Nu abordează esența lucrării și îi ajută prea puțin pe autori să o îmbunătățească. ‘
Autorii noii lucrări, intitulate Evaluările realizate de IA sunt părtinitoare în favoarea anexelor, au fost inspirați să urmărească această idee după ce au observat anumite tipare neobișnuite în modul în care evaluările asistate sau generate de LLM-uri le analizau propriile lucrări trimise spre publicare. Codul studiului este disponibil pe GitHub.
Metodă și teste
Pentru teste au fost selectate patru modele de IA de top de la OpenAI și Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; și Claude-Sonnet-5.5. Modelele au fost accesate prin Codex și Claude Code, iar comportamentul lor în evaluarea lucrărilor a fost comparat cu cel observat prin accesul la API și prin interfața web.
Lucrările de cercetare au fost colectate de la patru conferințe importante din domeniul IA și al procesării limbajului natural: ACL 2026; EMNLP 2026; COLM 2026; și ICLR 2027 – toate fiind alese pentru că au formate similare de trimitere și evaluare a lucrărilor, cu limite stricte de pagini pentru lucrarea principală, dar, în general, fără restricții privind anexele plasate după referințe.
Au fost examinate în total 2.000 de lucrări: 1.200 de la ICLR din perioada 2021–2026 și 800 de la patru conferințe recente (câte 200 selectate de la fiecare). Toate cele 800 de lucrări recente aveau anexe de cel puțin 15 pagini. Lucrările trimise la ICLR 2027 erau deja anonime, în timp ce numele autorilor, afilierile, adresele de e-mail și linkurile care le puteau dezvălui identitatea au fost eliminate din lucrările de la ACL, EMNLP și COLM, pentru a împiedica evaluatorii IA să afle cine le-a scris.
Accesul la internet a fost dezactivat pentru modele, asigurându-se astfel că evaluările se bazau exclusiv pe fișierele PDF furnizate.
Mai întâi, IA a fost rugată să redacteze o evaluare în stilul conferinței respective, prezentând punctele forte și punctele slabe ale lucrării, precum și un scor general. Instrucțiunile au fost menținute în mod deliberat simple, pentru a reflecta modul în care IA ar putea fi folosită de un evaluator real. Apoi, lucrarea și evaluarea completată au fost furnizate din nou aceluiași model de IA, căruia i s-a cerut să identifice la ce secțiune a lucrării se referea fiecare critică. Acest lucru a fost stabilit examinând critica împreună cu lucrarea originală:

Procesul de evaluare în trei etape folosit în studiu. Au fost selectate lucrări cu anexe de cel puțin 15 pagini, din patru conferințe, și anonimizate înainte de a fi evaluate de modele de inteligență artificială. Fiecare evaluare a fost apoi analizată alături de lucrarea originală, iar criticile individuale au fost atribuite secțiunilor la care se refereau.
Separarea acestor sarcini a permis examinarea părților lucrărilor care au atras critici fără ca evaluările originale să fie influențate de instrucțiuni suplimentare.
Printre rezultatele pe care nu le-am discutat până acum se numără testul autorilor privind locul în care își au originea punctele slabe din evaluările generate de LLM-uri:

Comparație între locurile în care evaluările generate de IA au identificat puncte slabe în cadrul a patru conferințe. Verdele reprezintă criticile la adresa lucrării principale, roșul reprezintă criticile legate de anexe, iar zonele hașurate indică acele critici care privesc doar anexele. În aproape fiecare test, anexelor le-au fost atribuite peste jumătate dintre critici, cea mai puternică tendință fiind înregistrată pentru GPT-6-Astra.
După cum se arată mai sus, aproximativ jumătate sau mai mult dintre criticile formulate de toate cele patru modele de IA s-au bazat pe materialele din anexe — un tipar observat în toate cele patru conferințe. Unele critici au vizat exclusiv anexele, fără nicio legătură cu lucrarea principală, reprezentând 17.33% dintre punctele slabe identificate de modelele GPT, față de 10.16% în cazul lui Claude.
Potrivit lucrării, rezultatele indică faptul că materialelor din anexe li s-a acordat o atenție disproporționată, iar uneori detalii relativ minore au fost tratate drept motive de critică a lucrării în ansamblu.
Pentru a stabili dacă tendința de a favoriza anexele era influențată de modul în care era accesată IA, au fost comparate mai multe metode. Folosind GPT-6-Astra, au fost evaluate o sută de lucrări trimise la ICLR 2027 prin Codex, prin interfața web ChatGPT și printr-un API căruia i-a fost furnizat fie PDF-ul original, fie textul extras din acesta.
Cu Codex, textul a fost extras și analizat prin intermediul comenzilor; prin API, a fost furnizat direct fie PDF-ul complet, fie textul extras din acesta; în schimb, documentele încărcate au fost procesate prin sistemul propriu, opac, al interfeței web:

Comparație între criticile legate de anexe formulate de modelele de IA și metodele de accesare a acestora. În stânga, se arată că GPT-5 a citat materialele din anexe mult mai rar decât modelele GPT mai noi în cadrul a patru conferințe. În dreapta, se arată că tendința s-a menținut în cazul celor patru modalități de accesare a GPT-6-Astra, criticile legate de anexe reprezentând între 62.2% și 73.7% din total. Zonele hașurate indică criticile îndreptate exclusiv către anexe.
După cum se arată mai sus, materialele legate de anexe au fost citate în 62.2%–73.7% dintre critici în cazul celor patru metode, cea mai mare proporție fiind înregistrată atunci când textul extras a fost furnizat direct prin API. Prin urmare, s-a constatat că tendința se menține indiferent de modul în care a fost accesat modelul.
Majoritatea celorlalte teste au fost deja prezentate mai devreme în articol, iar pentru informații suplimentare trimitem cititorii la materialul-sursă.
Șiretlicuri la trimiterea lucrărilor
Așa cum subiectul le este personal autorilor noii lucrări, îmi este și mie, fiindcă citesc frecvent lucrări științifice și am învățat pe propria piele care sunt regulile ascunse și cum sunt ele eludate — reguli care dictează modul în care sunt redactate și prezentate lucrările.
IA nu este, în general, de învinuit pentru că acordă atenție anexelor, chiar dacă o face din motive greșite, întrucât autorii ascund adesea acolo „capcanele” lucrării — factori sau rezultate care pot practic să anuleze ori să califice sever afirmațiile din corpul principal al lucrării.
Nici autorii nu sunt neapărat de învinuit că mută materiale importante în anexe, deoarece șabloanele publicațiilor populare, precum cele folosite ca surse de date în noul studiu, stabilesc limite maxime de pagini sau de cuvinte pentru corpul principal al lucrării.
Când prezintă rezultatele unor studii complexe, mulți autori consideră, în mod evident, că aceasta este o restricție severă; în ceea ce aș numi „cele mai grave cazuri”†, corpul principal al lucrării ajunge pur și simplu să fie un index al materialelor mutate la final pentru a evita încălcarea regulilor (deși regulile ajung din urmă și interzic acest „truc”).
Tensiunea tot mai mare în acest scenariu este între nevoia instituțiilor ca autorii să-și disciplineze și să-și tempereze prezentările — o nevoie tot mai importantă pe măsură ce crește volumul lucrărilor trimise — și frustrarea evidentă a cercetătorilor, care vor să prezinte roadele muncii lor, obținute cu greu, într-un context cât mai complet și cuprinzător, pe măsura efortului depus, așa cum îl percep ei.
* Accentuările autorilor, nu ale mele.
†Deoarece, atunci când selectează lucrările pe care să le abordeze, chiar și AI-ul poate avea dificultăți în a identifica această relegare a materialului în anexe; însă aceasta îl poate încurca serios pe recenzent dacă acesta își alocase timp pentru evaluarea a zece pagini și descoperă acum că trebuie să analizeze 30 de pagini de material în același interval de timp.
Publicat pentru prima dată luni, 16 noiembrie 2026












