Articolele științifice scrise cu încredere îi influențează pe evaluatorii IA – indiferent de valoarea lor

Încrederea este un avantaj distinct în evoluție – și, potrivit unei noi lucrări de cercetare din Germania, și un avantaj atunci când un articol științific este evaluat de modele lingvistice mari (LLM-uri), în loc de colegii autorului (o necesitate tot mai frecventă, pe măsură ce volumul articolelor științifice crește vertiginos, datorită sporurilor de productivitate generate de IA).

Noul studiu constată că evaluatorii IA (adică non-umani) acordă în mod constant scoruri mai mari articolelor științifice redactate într-un limbaj încrezător și categoric – chiar și atunci când cercetarea de la bază este identică cu cea prezentată în articolele cu un ton mai puțin încrezător. În unele cazuri, se dovedește suficientă simpla schimbare a formulării pentru ca un articol respins să fie acceptat.

Autorii afirmă:

„Experimentele noastre dezvăluie preferințe semnificative ale evaluatorilor LLM pentru [papers] folosirea unui limbaj care exprimă un grad ridicat de încredere. Esențial este faptul că aceste preferințe duc adesea la schimbarea deciziei, de la acceptare la respingere sau invers, afectând direct rezultatele evaluării.

„Dincolo de scoruri, constatăm că aspectele semnalate în evaluări diferă ca frecvență și ton în funcție de caracteristicile lingvistice ale articolului, ceea ce poate influența deciziile finale.”

Este ironic, deoarece fenomenul identificat de autori seamănă foarte mult cu modul în care IA poate atât de des să „greșească cu încredere” atunci când răspunde la propriile noastre solicitări și întrebări; numai că, în acest caz, decizia este luată de oameni, iar responsabilitatea individuală și colectivă este reală, indiferent dacă oamenii de știință care au contribuit la aceste articole chiar cred sau nu în propriile afirmații.

Dacă IA ajunge să decidă tot mai des ce articole științifice sunt publicate, oamenii de știință ar putea învăța să „pară mai încrezători” ca tactică de competiție, poate mai ales atunci când lucrările trimise spre evaluare au defecte; astfel, cercetările științifice mai slabe ar putea căpăta pe nedrept un punct de sprijin în rezerva de atenție disponibilă, care se reduce neîncetat.

Lăudăroșenia, o cale spre victorie

Potrivit studiului*, evaluatorii IA au fost mai înclinați să laude metodele, teoriile și contribuțiile științifice ale articolelor redactate cu încredere, chiar și atunci când acestea erau identice cu cele din versiunile mai puțin categorice. În testele autorilor, 504 de articole științifice au fost rescrise în stiluri diferite și evaluate de șase modele IA, inclusiv GPT-5.5, Claude Sonnet 4.6 și Gemini 3.5 Flash. A fost necesară generarea unor versiuni artificiale/modificate ale articolelor, pentru ca excentricitățile și particularitățile lucrărilor reale trimise spre evaluare să nu denatureze rezultatele:

Exemple ale aceluiași fragment științific rescris în patru stiluri diferite. Evidențierile colorate indică modificările menite să facă textul să pară mai mult sau mai puțin încrezător ori mai apropiat de engleza academică scrisă de vorbitori nativi sau non-nativi. Cu toate acestea, constatările și cifrele de la bază rămân neschimbate. Sursa

Articolele au fost selectate dintre lucrările trimise la conferința ICLR 2026, incluzând un număr egal de articole acceptate și respinse. Claude Opus 5 a rescris apoi fiecare lucrare pentru a o face să pară mai mult sau mai puțin încrezătoare^†, păstrând neschimbat conținutul științific și permițând astfel ca diferențele dintre evaluările IA să fie atribuite stilului de redactare, adică nivelului diferit de încredere exprimat.

În rezultatele obținute, evaluatorii IA au acordat scoruri mai mari articolelor științifice redactate într-un limbaj încrezător, chiar și atunci când dovezile erau identice. Claude Sonnet 4.6 a manifestat cea mai puternică tendință, favorizând versiunile încrezătoare de șapte ori mai des decât pe cele prudente. În 21% dintre cazuri, a recomandat acceptarea unui articol redactat cu încredere, respingând în același timp o versiune formulată mai prudent a aceluiași articol.

Noul studiu afirmă:

„Constatările noastre ridică semne de întrebare importante cu privire la utilizarea LLM-urilor în evaluarea colegială. Dacă articole cu un conținut echivalent primesc scoruri și argumente de evaluare diferite doar din cauza proprietăților lingvistice, atunci judecățile evaluatorilor nu reflectă exclusiv calitatea științifică.

„Prin urmare, evaluatorii LLM ar trebui testați riguros cu rescrieri care păstrează conținutul, pentru a stabili dacă modificările lingvistice le influențează în mod sistematic evaluările.”

Autorii sugerează în continuare că aceste teste ar trebui să examineze explicit atât scorurile acordate articolelor, cât și evaluările scrise, pentru a stabili dacă limbajul încrezător este confundat cu dovezi științifice mai solide.

Metodă

Au fost selectate în total 504 de articole științifice dintre lucrările trimise la International Conference on Learning Representations (ICLR) 2026. Eșantionul a fost împărțit în mod egal între articolele acceptate și cele respinse, fiind selectate câte 24 de lucrări din fiecare dintre cele 21 de categorii de cercetare ale conferinței:

Metoda de testare în trei etape. Lucrările științifice au fost rescrise pentru a varia nivelul aparent de competență în limba engleză sau de încredere, păstrându-le însă concluziile; înainte de a fi evaluate de sisteme de inteligență artificială în condiții identice, versiunile rescrise au fost verificate pentru a depista schimbări de stil și de sens; apoi au fost comparate diferențele dintre punctajele evaluărilor.

Fiecare lucrare a fost anonimizată și rescrisă cu Claude Opus 5, pentru a crea versiuni alternative care să testeze atât încrederea cu care erau formulate afirmațiile, cât și nivelul aparent de competență a autorului în limba engleză. Pentru testele privind încrederea, afirmațiile au fost formulate fie mai categoric, fie mai prudent. Cuvinte care exprimă certitudine, precum „în mod clar” și „cu siguranță”, au fost folosite mai frecvent în versiunile „încrezătoare”, în timp ce formulări de nuanțare, precum „poate” și „sugerează” , au fost preferate în versiunile mai rezervate.

În toate cazurile, afirmațiile științifice, dovezile, rezultatele, terminologia tehnică și structura generală au rămas neschimbate. Autorii precizează că instrucțiunile de rescriere s-au bazat pe cercetări lingvistice consacrate, nu pe solicitări generale de imitare a unor anumite stiluri de scriere.

Verificarea versiunilor rescrise

Pentru verificare, fiecare versiune rescrisă a fost comparată cu originalul prin măsurarea similarității semantice, care evaluează dacă pasajele își păstrează sensul, și a similarității TF-IDF (care măsoară păstrarea vocabularului și a terminologiei). Ambele scoruri s-au apropiat de 1, confirmând o asemănare puternică cu textele originale:

Verificarea lucrărilor rescrise. Versiunile încrezătoare au folosit un limbaj mai categoric, în timp ce versiunile prudente au exprimat mai multă incertitudine. Scorurile apropiate de 1 confirmă o asemănare puternică cu textele originale, iar evidențierile colorate indică valorile mai mari pentru fiecare măsură vizată.

Au fost testați șase evaluatori bazați pe inteligență artificială: modelele proprietare GPT-5.5, Claude Sonnet 4.6 și Gemini 3.5 Flash, precum și modelele cu ponderi deschise Gemma 3, Qwen3 VL și GLM 4.7. Acestea au fost alese, în parte, deoarece toate au date de încheiere a antrenării anterioare anului 2026, ceea ce reduce riscul să fi cunoscut dinainte deciziile privind acceptarea lucrărilor.

Fiecare lucrare rescrisă a fost evaluată independent, conform unor criterii similare celor folosite la conferințe. Pentru a stabili în ce măsură punctajele puteau varia de la o evaluare repetată la alta, fiecare model a evaluat de zece ori zece lucrări selectate aleatoriu.

Rezultate

Testele au urmărit să determine dacă cei șase evaluatori bazați pe inteligență artificială selectați ar favoriza în mod consecvent anumite stiluri de scriere și au comparat lucrări redactate într-un limbaj „încrezător” sau „prudent”, precum și lucrări care semănau cu texte academice în limba engleză scrise de vorbitori nativi sau nenativi^†.

Rezultatele compară scorurile acordate de sistemele de inteligență artificială în evaluarea a 504 lucrări științifice rescrise în stiluri diferite. Procentele de preferință arată care versiune a obținut un scor mai mare, egalitățile fiind indicate între paranteze; rapoartele arată de câte ori a fost preferată mai des o versiune; iar schimbările deciziei arată cât de des modificarea formulării a inversat o decizie de acceptare sau respingere. Valorile statistice evidențiate cu caractere aldine indică diferențe semnificative. Secțiunea relevantă este cea de jos, deoarece ipoteza de sus nu este analizată în acest articol (a se vedea notele de subsol).

Toți cei șase evaluatori bazați pe inteligență artificială au preferat în mod consecvent scrierea încrezătoare. Cea mai puternică preferință a fost manifestată de Claude Sonnet 4.6, care, așa cum s-a menționat mai devreme, a acordat scoruri mai mari versiunilor „încrezătoare” de șapte ori mai des decât celor „prudente”.

O lucrare era considerată acceptată dacă obținea un scor de cel puțin 4,5 din 10, însă schimbările de stil o puteau face uneori să treacă peste sau sub acest prag, inversând decizia; în general, aceste inversări au favorizat scrierea încrezătoare.

Claude Sonnet 4.6 a avut rezultate deosebit de slabe: în 21% dintre cazuri, a acceptat versiunea „încrezătoare”, dar a respins-o pe cea „prudentă”. Situația inversă s-a produs în doar 2,8% dintre cazuri.

Efectul s-a observat și în evaluările scrise: evaluatorii bazați pe inteligență artificială erau mai înclinați să laude metodele, teoriile și contribuțiile științifice ale unei lucrări dacă afirmațiile acesteia erau formulate cu încredere. Întrucât cercetarea în sine nu se schimbase, aceste evaluări mai favorabile nu puteau fi atribuite decât diferențelor de prezentare și de ton.

Concluzie

De fiecare dată când oamenii folosesc IA pentru a îmbunătăți raportul semnal-zgomot, chiar dacă fără să-și dea seama, IA este testată ca soluție – în acest caz, pentru a face față creșterii considerabile a numărului de lucrări de cercetare în domeniul inteligenței artificiale trimise spre publicare; un val care a sporit în ultima vreme puterea de filtrare și parametrii de selecție ai Arxiv. Totuși, până acum ar trebui să fie clar că modelele lingvistice mari de ultimă generație și toate categoriile inferioare lor au încă mult prea multe particularități pentru a putea fi însărcinate, în general, cu rolul de evaluatori, cu excepția situațiilor parametrizate în cel mai strict mod.

În astfel de cazuri, ar fi probabil o idee mai bună să transformăm modelele lingvistice mari de dimensiuni mai mici în instrumente specializate de evaluare prin ajustare fină sau LoRA-uri. Totuși, asta presupune cel puțin un mic efort suplimentar, dacă nu chiar și o mică investiție în plus, pe când instalările locale „standard” sau apelurile API sunt mai rapide și relativ ieftine.

Cu toate că este redactată destul de succint, această lucrare ar putea prezenta totuși un interes mai mare decât de obicei pentru utilizatorii finali ai modelelor lingvistice mari, deoarece aceștia cunosc deja „entuziasmul” ca pe o problemă pe care trebuie să o ocolească pentru a lucra eficient cu IA; iar dacă această problemă și altele asemănătoare ale modelelor lingvistice mari nu pot fi încă remediate, ele pot fi cel puțin luate în calcul.

Înainte să adoptăm un ton prea batjocoritor față de acest tip de echivalență facilă în evaluarea IA, merită să ne amintim că, în privința epistemologiei – căutarea unei autorități definitive –, aceste sisteme sunt la fel de dezorientate ca noi toți; și noi, de-a lungul istoriei, am fost foarte înclinați să confundăm semnalul cu lucrul în sine.

* Intitulată „Stilul înaintea substanței? Biasul lingvistic în evaluarea inter pares bazată pe modele lingvistice mari”

^† Sau să semene cu engleza academică scrisă de vorbitori nativi sau non-nativi – o ipoteză paralelă pe care lucrarea nu a reușit să o demonstreze la fel de convingător și care nu este abordată în acest articol.

Publicat pentru prima dată marți, 27 octombrie 2026