Inteligența Artificială de Programare Tinde să Suferă de Efectul Dunning-Kruger

Noi cercetări arată că inteligența artificială de programare, cum ar fi ChatGPT, suferă de efectul Dunning-Kruger, adesea acționând cu cea mai mare încredere atunci când sunt mai puțin competenți. Atunci când abordează limbaje de programare nefamiliare sau obscure, ei afirmă o certitudine ridicată, chiar și atunci când răspunsurile lor se destramă. Studiul leagă supraincrederea modelului de performanță slabă și lipsă de date de antrenament, ridicând noi îngrijorări cu privire la ceea ce știu cu adevărat aceste sisteme despre ceea ce nu știu.

Oricine a petrecut chiar și o perioadă moderată de timp interactând cu Modelele de Limbaj Mare despre chestiuni factuale va ști deja că LLM-urile sunt adesea dispuse să ofere un răspuns încrezător și greșit la o întrebare a utilizatorului.

Împreună cu forme mai evidente de halucinații, motivul pentru această lăudăroșenie goală nu este 100% clar. Cercetările publicate pe parcursul verii sugerează că modelele oferă răspunsuri încrezătoare chiar și atunci când știu că sunt greșite, de exemplu; cu toate acestea, alte teorii atribuie supraincrederea unor alegeri arhitecturale, printre alte posibilități.

Ceea ce utilizatorul final poate fi sigur este că experiența este incredibil de frustrantă, deoarece suntem codificați pentru a avea încredere în estimările oamenilor cu privire la propriile lor capacități (nu în ultimul rând pentru că, în astfel de cazuri, există consecințe, legale și altele, pentru o persoană care se laudă și nu își respectă promisiunile); și o anumită translație antropomorfică înseamnă că tendința noastră de a replica acest comportament cu sistemele de inteligență conversațională.

Dar un LLM este o entitate fără responsabilitate, care poate și va returna efectiv un ‘Whoops! Butterfingers…’ după ce a ajutat utilizatorul să distrugă involuntar ceva important, sau cel puțin să irosească o după-amiază din timpul său; presupunând că va admite răspunderea în orice caz.

Mai rău, această lipsă de precauție prudentă pare imposibil de a fi îndepărtată, cel puțin în ChatGPT, care va asigura abundent utilizatorul de validitatea sfaturilor sale și va explica defectele din gândirea sa numai după ce s-a produs dauna. Nici actualizarea memoriei persistente a sistemului, nici utilizarea de prompturi repetitive nu par să aibă un impact semnificativ asupra problemei.

Oamenii pot fi la fel de încăpățânați și auto-înșelați – deși oricine a greșit atât de profund și de des ar fi probabil dat afară devreme. Astfel de oameni suferă de opusul “sindromului impostorului” (în care un angajat se teme că a fost promovat peste capacitățile sale) – efectul Dunning Kruger, în care o persoană supraestimează semnificativ abilitatea sa de a efectua o sarcină.

Costul Inflației

Un nou studiu de la Microsoft examinează valoarea efectului Dunning-Kruger în ceea ce privește performanța eficientă a arhitecturilor de codare asistate de IA (cum ar fi Copilot), într-un efort de cercetare care este primul care abordează în mod specific acest subsector al LLM-urilor.

Lucrarea analizează modul în care arhitecturile de codare asistate de IA se autoevaluează propriile răspunsuri în comparație cu modul în care au performant realmente, în zeci de limbaje de programare. Rezultatele arată un model uman: atunci când modelele erau mai puțin capabile, erau mai sigure de ele însele.

Efectul a fost mai puternic în limbajele obscure sau cu resurse reduse, unde datele de antrenament erau subțiri – cu cât modelul era mai slab sau limba mai rară, cu atât mai mare era iluzia de abilitate:

Performanța reală și percepută a GPT-4o în limbajele de programare, sortate după performanța reală. Sursă: https://arxiv.org/pdf/2510.05457

Cei patru autori, toți contribuitori egali care lucrează pentru Microsoft, susțin că lucrarea ridică noi întrebări despre cât de mult pot fi încredințate aceste instrumente pentru a-și evalua propriile ieșiri și afirmă:

‘Prin analizarea încrederii modelului și a performanței sale într-un ansamblu divers de limbaje de programare, descoperim că modelele IA oglindesc modelele umane de supraincredere, mai ales în domenii nefamiliare sau cu resurse reduse.

‘Experimentele noastre demonstrează că modelele mai puțin competente și cele care operează în limbaje de programare rare prezintă o puternică tendință de supraincredere, sugerând că forța acestei tendințe este proporțională cu competența modelelor. Acest lucru se aliniază cu experimentele umane privind tendința.’

Cercetătorii contextualizează această linie de studiu ca o modalitate de a înțelege cum devine încrederea modelului neverosimilă atunci când performanța este slabă și de a testa dacă sistemele IA prezintă același tip de supraincredere observat la oameni – cu implicații în aval pentru încredere și implementare practică.

Deși noul articol defie legea lui Betteridge a titlurilor, el poartă totuși titlul Modelele de Cod Sunt Afectate de Efectul Dunning-Kruger?. Deși autorii afirmă că codul a fost lansat pentru această lucrare, preprintul curent nu conține detalii despre aceasta.

Metodă

Studiul a testat cât de precis arhitecturile de codare asistate de IA își pot evalua propriile răspunsuri, oferindu-le mii de întrebări cu multiple variante de răspuns, cu fiecare întrebare aparținând unui anumit domeniu de limbaj, de la Python și Java la Perl și COBOL:

Domeniile de limbaje de programare utilizate în studiu, împreună cu numărul de întrebări cu multiple variante de răspuns eșantionate pentru fiecare domeniu.

Modelele au fost însărcinate să aleagă varianta corectă și să estimeze cât de încrezători sunt în alegerea lor, cu performanța reală măsurată de cât de des au obținut răspunsul corect – și încrederea autoevaluată indicând cât de buni credeau că sunt. Compararea acestor două metrice a permis cercetătorilor să vadă unde încrederea și competența diverg.

Pentru a măsura cât de încrezători par a fi modelele, studiul a utilizat două metode: încrederea absolută și încrederea relativă. În prima, modelul a fost solicitat să ofere un punctaj de la zero la unu alături de fiecare răspuns, cu încrederea sa pentru un anumit limbaj definită de media acelor punctaje pe întrebări în acel limbaj.

Cea de-a doua metodă a examinat cât de încrezători erau modelele atunci când alegeau între două întrebări; pentru fiecare pereche, modelul a trebuit să spună care dintre ele se simțea mai sigur. Aceste alegeri au fost evaluate utilizând sisteme de clasificare inițial concepute pentru jocuri competitive, tratând fiecare întrebare ca și cum ar fi un jucător într-un meci. Punctajele finale au fost normalizate și mediate pentru fiecare limbaj pentru a oferi un punctaj de încredere relativ.

Două forme stabilite ale efectului Dunning-Kruger sunt examinate în articol: una care urmărește modul în care un singur model greșește evaluarea performanței sale în diferite domenii; și alta care compară nivelurile de încredere între modele mai slabe și mai puternice.

Prima formă, numită intra-participant DKE, examinează dacă un singur model devine mai supraincrezător în limbajele în care performează slab. A doua, inter-participant DKE, întreabă dacă modelele care performează mai slab în general tendință să se autoevalueze mai ridicat.

În ambele cazuri, decalajul dintre încredere și performanță reală este utilizat pentru a măsura supraincrederea, cu decalaje mai mari în setări cu performanță scăzută indicând un comportament similar cu DKE.

Rezultate

Studiul testează efectul Dunning-Kruger pe parcursul a șase modele de limbaj mare: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1 și GPT-4o.

Fiecare model a fost testat pe întrebări cu multiple variante de răspuns din setul de date public CodeNet, cu 37 de limbaje reprezentate pentru a arăta cum variază încrederea și acuratețea în diferite domenii de codare.

Analiza inter-model arată un model clar Dunning-Kruger:

Performanța reală versus percepută pe parcursul a șase modele de cod, arătând cum modelele cu performanță mai scăzută, cum ar fi Mistral și Phi-3, prezintă o încredere ridicată în ciuda acurateței scăzute, în timp ce modelele mai puternice, cum ar fi GPT-4o, prezintă niveluri de încredere mai bine calibrate sau chiar subestimate.

Modelele cu acuratețe mai scăzută, inclusiv Mistral și Phi-3, tendință să supraestimeze propriile capacități, în timp ce sistemele cu performanță mai ridicată, cum ar fi GPT-4o, au niveluri de încredere care se potrivesc mai bine cu performanța lor reală, mai ales atunci când evaluate prin încredere relativă.

Rezultatele indică, de asemenea, că modelele mai capabile pot uneori subestima propriile capacități (un model pe care punctajele de încredere absolută nu reușesc să îl capteze).

Rezultatele arată, de asemenea, că analiza intra-model susține prezența efectului Dunning-Kruger. În tabelul de rezultate prezentat la începutul articolului, putem vedea cum fiecare model a performant în diferite limbaje de programare, aranjate după performanța reală.

În limbajele în care modelele au obținut scoruri slabe, în special în cele rare sau cu resurse reduse, cum ar fi COBOL, Prolog și Ceylon, încrederea lor a fost vizibil mai ridicată decât o justificau rezultatele. În limbajele mai cunoscute, cum ar fi Python și JavaScript, încrederea lor s-a aliniat mai mult cu acuratețea reală și, uneori, a scăzut sub aceasta.

Acest model a apărut atât în măsurile de încredere absolută, cât și în cele relative, sugerând că modelele sunt mai puțin conștiente de propriile limite atunci când operează în domenii de codare nefamiliare.

Tratarea modelelor ca participanți a introdus unele limitări, deoarece numărul mic de modele afectează diversitatea; diferențele din interiorul ieșirilor unui model sunt ignorate; și distribuția datelor poate să nu reflecte cea a participanților umani reali.

Pentru a compensa acest lucru, studiul a testat trei configurații alternative: mai întâi, fiecare model a primit o persoană distinctă; în al doilea rând, răspunsurile au fost eșantionate la o temperatură mai ridicată pentru a crea mai multă variație; în al treilea rând, prompturile au fost reformulate de mai multe ori, cu fiecare versiune tratată ca participant separat:

Corelația dintre supraincredere și performanță reală în diferite configurații experimentale, arătând că modelul Dunning-Kruger rămâne consistent în toate condițiile și este mai puternic atunci când se eșantionează multiple răspunsuri diverse din același model.

Tabelul de rezultate de mai sus arată cât de puternic se manifestă efectul Dunning-Kruger în aceste condiții, rămânând prezent în toate cazurile; și că DKE a fost mai pronunțat atunci când s-au eșantionat multiple răspunsuri din același model la temperatură ridicată.

Pentru a înțelege mai bine cum se abate performanța percepută de la cea reală, studiul a comparat estimările de încredere absolută și relativă, calculând cât de mult fiecare model a supraestimat propriile capacități (în special, diferența dintre punctajul de încredere și acuratețea reală), și apoi măsurând cum această supraestimare se relaționează cu performanța reală a modelului:

Corelația dintre supraincredere (măsurată ca încredere absolută minus încredere relativă) și acuratețe reală în diferite domenii de programare și tipuri de modele, arătând că o supraestimare mai mare este asociată în mod constant cu o performanță mai scăzută.

Tabelul de rezultate de mai sus ilustrează cum se relaționează supraestimarea cu performanța reală, atât în diferite domenii de programare, cât și în diferite modele. În ambele cazuri, putem vedea că modelele cu acuratețe mai scăzută prezintă o supraincredere mai mare.

Rezultatele indică, de asemenea, că modelele specializate, antrenate pe domenii mai înguste, au arătat efecte DKE mai puternice decât cele generaliste:

Corelația dintre supraestimare și performanță reală pentru modelele de bază, specializate pe un singur domeniu și pe multiple domenii, arătând efecte DKE mai puternice pe măsură ce specializarea crește.

Utilizând setul de date MultiPL-E în opt limbaje de programare, autorii au descoperit că antrenamentul pe un singur domeniu a condus la o supraincredere mai mare decât antrenamentul pe multiple domenii sau configurările de bază, sugerând că DKE se înrăutățește odată cu creșterea specializării.

Testele au arătat, de asemenea, că modelele tendință să fie mai supraincrezătoare în limbajele de programare rare. Pe parcursul clasamentelor GitHub, IEEE și TIOBE, raritatea se corelează puternic cu o încredere percepută mai ridicată, culminând la 0,797:

Corelația dintre supraincrederea modelului și raritatea limbajului, utilizând trei clasamente de popularitate. Limbajele mai puțin comune sunt asociate cu o performanță percepută mai ridicată.

În final, autorii au testat dacă efectul Dunning-Kruger apare și în generarea de cod, evaluând modelele pe setul de date MultiPL-E în limbajele Ada, Dart, Prolog, Swift, C++, Python, C# și Elixir.

Deși efectul a fost încă prezent, a fost semnificativ mai slab decât în setarea întrebărilor cu multiple variante de răspuns, probabil datorită dificultății mai mari de a evalua încrederea și corectitudinea în sarcini deschise:

Corelația dintre supraestimare și performanță reală în generarea de cod deschis, pe baza rezultatelor MultiPL-E în opt limbaje de programare.

În considerarea explicației încă disputate a efectului Dunning-Kruger, autorii concluzionează:

‘O posibilă explicație care ar putea fi comună atât oamenilor, cât și modelelor IA este explicația meta-cognitivă, care afirmă că evaluarea calității unei performanțe a unei abilități este o parte crucială a dobândirii acelei abilități.

‘Această explicație poate fi testată experimental în modelele IA prin studii controlate de strategii de antrenament diferite și prin a verifica dacă toate conduc la îmbunătățiri simultane ale performanței și ale capacității de a evalua calitatea performanței. Cu toate acestea, acest studiu este semnificativ dincolo de scopul acestui articol, și îl lăsăm pentru lucrări viitoare.’

Concluzie

Chiar și în domeniul său nativ, efectul Dunning-Kruger (așa cum notează articolul) poate fi atribuit fie unei cauze statistice, fie uneia cognitive. Dacă este o cauză statistică, aplicarea unui sindrom anterior considerat exclusiv uman la un context de învățare automată este de fapt validă.

Deși autorii speculează că cauza ar putea fi găsită a fi ‘cognitivă’ în ambele cazuri, acest lucru ar necesita o abordare ușor mai metafizică.

Poate cea mai interesantă descoperire din articol este măsura în care mai multe arhitecturi de codare asistate de IA tendință să se autodistrugă în circumstanțele lor mai nefavorabile, adică prin manifestarea unei încrederi maxime atunci când se confruntă cu limbajele de programare mai rare sau mai puțin cunoscute – o strategie care ar fi aproape imediat auto-distructivă într-un mediu de lucru real.

* Limbajele de programare utilizate au fost Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript și Visual Basic.

Publicat pentru prima dată miercuri, 8 octombrie 2025