Kodnings-AI lider ofta av Dunning-Kruger-effekten

Nya studier visar att kodnings-AI som ChatGPT lider av Dunning-Kruger-effekten, ofta agerar mest självsäkert när de är minst kompetenta. När de tacklar okända eller obskyra programmeringsspråk, hävdar de hög säkerhet även om deras svar faller isär. Studien kopplar modellens överförtroende till både dålig prestation och brist på träningsdata, vilket väcker nya farhågor om hur mycket dessa system verkligen vet om vad de inte vet.

Den som har tillbringat även en måttlig mängd tid med att interagera med stora språkmodeller om faktamässiga frågor kommer redan att veta att LLM är ofta benägna att ge ett självsäkert felaktigt svar på en användarfråga.

I kombination med mer uppenbara former av hallucinationer, är orsaken till denna tomma skrytsamhet inte 100% klar. Forskning publicerad under sommaren tyder på att modeller ger självsäkra svar även när de vet att de är fel, till exempel; medan andra teorier tillskriver överförtroende till arkitekturval, bland andra möjligheter.

Det som slutanvändaren kan vara säker på är att upplevelsen är otroligt frustrerande, eftersom vi är hårdkodade för att ha tillit till människors uppskattningar av sina egna förmågor (inte minst för att det finns konsekvenser, juridiska och andra, för en person som lovar för mycket och levererar för lite); och en sorts antropomorfisk överföring innebär att vi tenderar att replikera detta beteende med konversations-AI-system.

Men en LLM är en oansvarig enhet som kan och kommer att effektivt returnera en ‘Whoops! Butterfingers…’ efter att den har hjälpt användaren att oavsiktligt förstöra något viktigt, eller åtminstone slösa bort en eftermiddag av deras tid; antagande att den kommer att medge ansvar alls.

Värre, denna brist på försiktig försiktighet verkar vara omöjlig att prompta bort, åtminstone i ChatGPT, som kommer att rikligt försäkra användaren om giltigheten av sin rådgivning, och förklara bristerna i sin tankegång först efter att skadan är skedd. Varken uppdatering av systemets beständiga minne, eller användning av upprepade prompter, verkar ha någon större inverkan på problemet.

Människor kan vara lika envist och självbedrägliga – fast någon som begick ett sådant djupt och ofta fel skulle troligen bli avskedad tidigt. Sådana lider av motsatsen till “impostersyndrom” (där en anställd fruktar att de har blivit befordrade över sin förmåga) – Dunning-Kruger-effekten, där en person betydligt överskattar sin förmåga att utföra en uppgift.

Kostnaden för inflation

En ny studie från Microsoft undersöker värdet av Dunning-Kruger-effekten i relation till den effektiva prestationen av AI-stödda kodarkitekturer (såsom Redmonds egna Copilot), i en forskningsinsats som är den första att specifikt behandla denna subsektor av LLM.

Arbetet analyserar hur säkert sådana kodskrivande AI bedömer sina egna svar mot hur bra de faktiskt presterade, över flera dussin programmeringsspråk. Resultaten visar ett tydligt mönster som liknar det mänskliga: när modellerna var minst kapabla, var de mest säkra på sig själva.

Effekten var starkast i obskyra eller lågresursspråk, där träningsdata var tunn – ju svagare modellen eller ju ovanligare språket, desto större var illusionen av färdighet:

GPT-4o’s faktiska och upplevda prestation över programmeringsspråk, sorterade efter faktisk prestation. Källa: https://arxiv.org/pdf/2510.05457

De fyra författarna, alla lika bidragande som arbetar för Microsoft, hävdar att arbetet väcker nya frågor om hur mycket dessa verktyg kan lita på att bedöma sin egen utdata, och de påstår:

‘Genom att analysera modellens förtroende och prestation över en mångfaldig uppsättning programmeringsspråk, avslöjar vi att AI-modeller speglar mänskliga mönster av överförtroende, särskilt i okända eller lågresursspråk.

‘Våra experiment visar att mindre kompetenta modeller och de som opererar i sällsynta programmeringsspråk uppvisar starkare DKE-liknande bias, vilket tyder på att styrkan i biasen är proportionell mot modellens kompetens. Detta överensstämmer med mänskliga experiment för bias.’

Forskarna sammanhangsätter denna linje av studier som ett sätt att förstå hur modellens förtroende blir otillförlitligt när prestationen är svag, och för att testa om AI-system visar samma typ av överförtroende som ses hos människor – med nedströmskonsekvenser för tillit och praktisk utplacering.

Även om den nya artikeln trotsar Betteridges lag om rubriker, har den ändå titeln Har kodmodeller Dunning-Kruger-effekten?. Medan författarna påstår att koden har släppts för arbetet, innehåller den aktuella preprinten inga detaljer om detta.

Metod

Studien testade hur korrekt kodnings-AI kunde bedöma sina egna svar genom att ge dem tusentals flervalsfrågor om programmering, med varje fråga som tillhörde ett specifikt språkområde, från Python och Java till Perl och COBOL:

Programmeringsspråk som användes i studien, tillsammans med antalet flervalsfrågor som sampades för varje språk.

Modellerna fick i uppgift att välja det korrekta alternativet och sedan uppskatta hur säkra de var på sitt val, med deras faktiska prestation mätt av hur ofta de fick svaret rätt – och deras självbedömda förtroende som indikerade hur bra de trodde de var. Att jämföra dessa två mått tillät forskarna att se var förtroende och kompetens skiljde sig åt.

För att mäta hur säkra modellerna tycktes vara, använde studien två metoder: absolut förtroende och relativt förtroende. I den första fick modellen ge ett betyg från noll till ett bredvid varje svar, med dess förtroende för ett visst språk definierat av genomsnittet av dessa betyg över frågor i det språket.

Den andra metoden tittade på hur säker modellen var när den valde mellan två frågor; för varje par fick modellen säga vilken den kände sig mer säker på. Dessa val bedömdes med hjälp av rankningssystem som ursprungligen utvecklats för tävlingsspel, där varje fråga behandlades som en spelare i en match. De slutliga poängen normaliserades och genomsnittlig för varje språk för att ge ett relativt förtroendebetyg.

Två etablerade former av Dunning-Kruger-effekten undersöks i artikeln: en som spårar hur en enskild modell missbedömer sin prestation över olika områden; och en annan som jämför förtroendenivåer mellan svagare och starkare modeller.

Den första formen, kallad intra-deltagare DKE, undersöker om en enskild modell blir mer överförtroendefull i språk där den presterar dåligt. Den andra, inter-deltagare DKE, frågar om modeller som presterar sämre överlag också tenderar att bedöma sig själva högre.

I båda fallen används gapet mellan förtroende och faktisk prestation för att mäta överförtroende, med större gap i lågpresterande inställningar som pekar på DKE-liknande beteende.

Resultat

Studien testar Dunning-Kruger-effekten över sex stora språkmodeller: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1, och GPT-4o.

Varje modell testades på flervalsfrågor om programmering från den offentligt tillgängliga CodeNet-databasen, med 37 språk* representerade för att visa hur förtroende och noggrannhet varierade över bekanta och obskyra koddomäner.

Den inter-modellanalysen visar ett tydligt Dunning-Kruger-mönster:

Faktiskt och upplevt prestanda över sex kodmodeller, som visar hur modeller med lägre noggrannhet, som Mistral och Phi-3, tenderar att överskatta sin egen förmåga, medan starkare modeller som GPT-4o visar förtroendenivåer som mer överensstämmer med deras faktiska prestanda, särskilt när de bedöms av relativt förtroende.

Modeller med lägre noggrannhet, inklusive Mistral och Phi-3, tenderade att överskatta sin egen förmåga, medan starkare system som GPT-4o visade förtroendenivåer som mer överensstämde med deras faktiska prestanda, särskilt när de bedömdes av relativt förtroende.

Resultaten visar också att de mest kapabla modellerna ibland kan underskatta sig själva (ett mönster som absoluta förtroendebetyg inte fångar).

Resultaten visar också att den intra-modellanalysen stöder förekomsten av Dunning-Kruger-effekten. I resultattabellen som visas i början av artikeln ser vi hur varje modell presterade över olika programmeringsspråk, sorterade efter faktisk prestanda.

I språk där modellerna presterade dåligt, särskilt i sällsynta eller lågresursspråk som COBOL, Prolog och Ceylon, var deras förtroende märkbart högre än vad deras resultat berättigade. I bekanta språk som Python och JavaScript överensstämde deras förtroende mer med deras faktiska noggrannhet, och ibland till och med understeg den.

Detta mönster visades i både absoluta och relativa förtroendebetyg, vilket tyder på att modeller är mindre medvetna om sina egna begränsningar när de opererar i okända koddomäner.

Att behandla modeller som deltagare införde vissa begränsningar, eftersom det låga antalet modeller påverkar mångfalden; skillnader inom en enskild modells utdata ignoreras; och datafördelningen kanske inte återspeglar den som finns i verkliga mänskliga deltagare.

För att kompensera för detta testade studien tre alternativa inställningar: först gavs varje modell en distinkt persona; för det andra sampades svar vid en högre temperatur för att skapa mer variation; för det tredje parafraserades prompterna flera gånger, med varje version behandlad som en separat deltagare:

Korrelation mellan överförtroende och faktisk prestanda över olika experimentella inställningar, som visar att Dunning-Kruger-mönstret förblir konsekvent under alla förhållanden och är starkast när flera olika svar sampas från samma modell.

Resultattabellen ovan visar hur starkt Dunning-Kruger-effekten manifesterar sig under dessa förhållanden, och att DKE var mest uttalad när flera svar sampades från samma modell vid hög temperatur.

För att bättre förstå hur upplevd prestanda skiljer sig från faktisk prestanda, jämförde studien absoluta och relativa förtroendebetyg, genom att beräkna hur mycket varje modell överskattade sin egen förmåga (specifikt, skillnaden mellan dess förtroendebetyg och dess faktiska noggrannhet), och sedan mäta hur den överskattningen relaterade till modellens faktiska prestanda:

Korrelation mellan överförtroende (mätt som absolut minus relativt förtroende) och faktisk noggrannhet över programmeringsspråk och modelltyper, som visar att större överskattning konsekvent är associerad med lägre prestanda.

Resultattabellen ovan illustrerar hur överskattning relaterar till faktisk prestanda, både över programmeringsspråk och över modeller. I båda fallen kan vi se att modeller med lägre noggrannhet tenderar att visa större överförtroende.

Ytterligare visar resultaten att specialiserade modeller som tränats på smalare domäner visade starkare DKE-effekter än generalister:

Korrelation mellan överskattning och faktisk prestanda för bas-, enkel-domän- och multi-domän-specialiserade modeller, som visar att DKE-effekterna blir starkare med ökad specialisering.

Med hjälp av MultiPL-E-databasen över åtta programmeringsspråk, fann författarna att enspråksträning ledde till större överförtroende än multi-domän- eller basinställningar, vilket tyder på att DKE förvärras med ökad specialisering.

Tester visade också att modeller tenderade att vara mer överförtroendefulla i sällsynta programmeringsspråk. Över GitHub, IEEE och TIOBE-rankningar, korrelerar sällsynthet starkt med högre upplevd prestanda, med en topp på 0,797:

Korrelation mellan modellens överförtroende och språksällsynthet, med hjälp av tre popularitetsrankningar. Mindre vanliga språk är associerade med högre upplevd prestanda.

Slutligen testade författarna om Dunning-Kruger-effekten förekommer i kodgenerering, genom att utvärdera modeller på MultiPL-E-databasen över åtta programmeringsspråk.

Även om effekten fortfarande var närvarande, var den märkbart svagare än i flervalsfrågesättningen, vilket troligen beror på den större svårigheten att bedöma förtroende och korrekthet i öppna uppgifter:

Korrelation mellan överskattning och faktisk prestanda i öppen kodgenerering, baserat på MultiPL-E-resultat över åtta programmeringsspråk.

När de fortfarande omtvistade förklaringarna till Dunning-Kruger-effekten övervägs, drar författarna följande slutsats:

‘En möjlig förklaring som kan vara gemensam för både människor och AI-modeller är den metakognitiva förklaringen, som säger att bedömning av kvaliteten på en prestation av en färdighet är en avgörande del av att förvärva en färdighet.

‘Denna förklaring kan potentiellt testas experimentellt i AI-modeller med en kontrollerad studie av olika träningsstrategier och om de alla leder till samtidiga förbättringar av prestanda och förmåga att bedöma kvaliteten på prestandan. Men denna studie ligger betydligt utanför ramen för denna artikel, och vi lämnar den för framtida arbete.’

Slutsats

Även i sin ursprungliga domän kan Dunning-Kruger-effekten (som artikeln påpekar) tillskrivas antingen en statistisk eller kognitiv orsak. Om den tillskrivs en statistisk orsak, är tillämpningen av ett tidigare unikt mänskligt syndrom på en maskinlärningskontext faktiskt ganska giltig.

Även om författarna spekulerar att orsaken kan ha visat sig vara ‘kognitiv’ i båda fallen, skulle det kräva en något mer metafysisk ståndpunkt.

Kanske den mest intressanta upptäckten i artikeln är den utsträckning till vilken flera kodnings-LLM tenderar att dubbla ner i sina minst gynnsamma omständigheter, d.v.s. genom att visa maximalt förtroende när de hanterar de glesaste eller minst kända språken – vilket skulle vara en nästan omedelbart självförstörande strategi i en verklig arbetsmiljö.

* De programmeringsspråk som användes var Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript och Visual Basic.

Publicerad första gången onsdag, 8 oktober 2025