Koding-AIer lider av Dunning-Kruger-effekten

Nye studier viser at koding-AIer som ChatGPT lider av Dunning-Kruger-effekten, og ofte opptrer mest selvbevisst når de er minst kompetente. Når de møter ukjente eller obskure programmeringsspråk, hevder de høy sikkerhet selv om svarene deres faller fra hverandre. Studien kobler modellens overmot til både dårlig ytelse og manglende treningsdata, og dette fører til nye bekymringer om hvor mye disse systemene virkelig vet om det de ikke vet.

Alle som har brukt en moderat mengde tid på å samhandle med store språkmodeller om faktiske spørsmål, vil allerede vite at LLM-er ofte er utsatt for å gi selvbevisst feil svar på en brukerspørsmål.

I tillegg til mer åpenbare former for hallusinasjoner, er årsaken til denne tomme selvbekreftelsen ikke 100% klar. Forskning publisert over sommeren antyder at modellene gir selvbevisst svar selv når de vet at de er feil, for eksempel; selv om andre teorier tilskriver overmot til arkitektoniske valg, blant andre muligheter.

Hva sluttbrukeren kan være sikker på er at opplevelsen er usedvanlig frustrerende, siden vi er hardkodet til å ha tillit til personers egne vurderinger av deres egne evner (ikke minst fordi det finnes konsekvenser, både juridiske og andre, hvis en person lover for mye og holder for lite); og en form for antropomorf overføring gjør at vi tenderer til å gjenta dette mønsteret med konversasjonelle AI-systemer.

Men en LLM er en uregistrert enhet som kan og vil effektivt returnere en ‘Whoops! Butterfingers…’ etter at den har hjulpet brukeren til uvitende ødelegge noe viktig, eller i det minste kaste bort en ettermiddag av deres tid; antar at den vil inneholde ansvar overhode.

Verre, mangelen på forsiktig omsorg synes å være umulig å prompte vekk, i det minste i ChatGPT, som vil overflodig forsikre brukeren om gyldigheten av sin råd, og forklare feilene i sin tenkning bare etter at skaden er skjedd. Hverken oppdatering av systemets varige minne, eller bruk av repetitive promter synes å ha mye innvirkning på problemet.

Personer kan være like obstinate og selvbedragende – selv om noen som feiler så dypt og ofte ville sannsynligvis bli sparket tidlig. Slike lider av det motsatte av ‘impostersyndromet’ (hvor en ansatt frykter at de har blitt forfremmet over sine evner) – Dunning-Kruger-effekten, hvor en person betydelig overvurderer sin evne til å utføre en oppgave.

Kostnadene ved inflasjon

En ny studie fra Microsoft undersøker verdien av Dunning-Kruger-effekten i forhold til den effektive ytelsen av AI-basert kodearkitektur (som Redmonds egen Copilot), i en forskningsinnsats som er den første til å spesifikt behandle denne undersektoren av LLM-er.

Arbeidet analyserer hvordan sikkert kode-skriver AI-er kan vurdere sine egne svar mot hvor godt de faktisk utfører, på flere dusin programmeringsspråk. Resultatene viser en tydelig menneske-lignende mønster: når modellene var minst kompetente, var de mest sikre på seg selv.

Effekten var sterkere i obskure eller lav-resurs-språk, hvor treningsdata var tynn – jo svakere modellen eller sjeldnere språket, jo større illusjonen av ferdighet:

GPT-4o’s faktiske og opplevde ytelse over programmeringsspråk, sorter etter faktisk ytelse. Kilde: https://arxiv.org/pdf/2510.05457

De fire forfatterne, alle likeverdige bidragsytere som arbeider for Microsoft, hevder at arbeidet reiser nye spørsmål om hvor mye disse verktøyene kan bli betrodd til å dømme sine egne utdata, og de uttaler:

‘Ved å analysere modellens tillit og ytelse over en divers sett av programmeringsspråk, avdekker vi at AI-modeller speiler menneskelige mønstre av overmot, spesielt i ukjente eller lav-resurs-domener.

‘Våre eksperimenter demonstrerer at mindre kompetente modeller og de som opererer i sjeldne programmeringsspråk, viser sterkere DKE-lignende bias, og dette antyder at styrken av biasen er proporsjonal med kompetansen til modellene. Dette sammenfaller med menneskelige eksperimenter for biaset.’

Forskerne kontekstualiserer denne linjen av studier som en måte å forstå hvordan modellens tillit blir uforutsigbar når ytelsen er svak, og å teste om AI-systemer viser den samme type overmot som ses hos mennesker – med nedstrøms implikasjoner for tillit og praktisk utbredelse.

Selv om den nye artikkelen trosser Betteridges lov om overskrifter, har den likevel tittelen Do Code Models Suffer from the Dunning-Kruger Effect?. Selv om forfatterne uttaler at koden er utgitt for arbeidet, inneholder den nåværende forhåndsutgaven ingen detaljer om dette.

Metode

Studien testet hvordan nøye koding-AI-er kunne vurdere sine egne svar ved å gi dem tusenvis av multiple-valg programmeringsspørsmål, med hvert spørsmål tilhørende et bestemt språkdomene, fra Python og Java til Perl og COBOL:

Programmeringsspråkdomener brukt i studien, sammen med antallet multiple-valg programmeringsspørsmål sampet for hvert domene.

Modellene ble bedt om å velge det riktige alternativet, og deretter anslå hvor sikre de var på sitt valg, med deres faktiske ytelse målt av hvor ofte de fikk svaret riktig – og deres selv-vurderte tillit indikerte hvor god de trodde de var. Sammenligning av disse to målene tillot forskerne å se hvor tillit og kompetanse divergerer.

For å måle hvor sikre modellene syntes å være, brukte studien to metoder: absolutt tillit og relativ tillit. I den første, ble modellen bedt om å gi en score fra null til en ved siden av hvert svar, med dens tillit for et bestemt språk definert av gjennomsnittet av disse scorene over spørsmål i det språket.

Den andre metoden så på hvor sikre modellen var når den valgte mellom to spørsmål; for hvert par, måtte modellen si hvilket spørsmål den følte seg mer sikker på. Disse valgene ble scoret ved hjelp av rangeringssystemer opprinnelig designet for konkurranse-spill, og behandlet hvert spørsmål som om det var en spiller i en kamp. De endelige scorene ble normalisert og gjennomsnittlig for hvert språk for å gi en relativ tillitsscore.

To etablerte former for Dunning-Kruger-effekten blir undersøkt i artikkelen: en som sporer hvordan en enkelt modell misvurderer sin egen ytelse over forskjellige domener; og en annen som sammenligner tillitsnivåer mellom svakere og sterkere modeller.

Den første formen, kalt intra-deltager DKE, ser på om en enkelt modell blir mer overmotet i språk hvor den utfører dårlig. Den andre, inter-deltager DKE, spør om modeller som utfører dårligere også tenderer til å vurdere seg selv høyere.

I begge tilfeller brukes gapet mellom tillit og faktisk ytelse til å måle overmot, med større gap i lav-ytelsessettinger som peker på DKE-lignende atferd.

Resultater

Studien tester Dunning-Kruger-effekten over seks store språkmodeller: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1, og GPT-4o.

Hver modell ble testet på multiple-valg programmeringsspørsmål fra den offentlig tilgjengelige CodeNet-datasettet, med 37 språk representert for å avdekke hvordan tillit og nøyaktighet varierte over kjente og obskure kode-domener.

Inter-modell-analysen viser en tydelig Dunning-Kruger-mønster:

Faktisk versus opplevd ytelse over seks kode-modeller, som viser hvordan lavere-performende modeller som Mistral og Phi-3 viser høy tillit til tross for dårlig nøyaktighet, mens sterkere modeller som GPT-4o viser mer kalibrert eller til og med undermotet atferd.

Modeller med lavere nøyaktighet, inkludert Mistral og Phi-3, tenderer til å overvurdere sine egne evner, mens høyere-performende systemer som GPT-4o viser tillitsnivåer som mer nærmer seg deres faktiske ytelse, spesielt når de vurderes av relativ tillit.

Resultatene indikerer også at de mest kompetente modellene noen ganger kan undervurdere seg selv (et mønster som absolutt tillitsscore ikke fanger).

Resultatene viser også at intra-modell-analysen også støtter tilstedeværelsen av Dunning-Kruger-effekten. I resultatgrafen vist i begynnelsen av artikkelen, ser vi hvordan hver modell utfører seg over forskjellige programmeringsspråk, ordnet etter faktisk ytelse.

I språk hvor modellene scoret dårlig, spesielt i sjeldne eller lav-resurs-språk som COBOL, Prolog og Ceylon, var deres tillit merket høyere enn deres resultater berettiget. I kjente språk som Python og JavaScript, var deres tillit mer i samsvar med deres faktiske nøyaktighet, og noen ganger til og med falt under den.

Dette mønsteret dukket opp i både absolutt og relativ tillit, og dette antyder at modeller er mindre bevisste på sine egne begrensninger når de opererer i ukjente kode-domener.

Behandling av modeller som deltakere innførte noen begrensninger, siden det lille antallet modeller i spillet påvirker mangfold; forskjeller innen en enkelt modells utdata blir ignorert; og datadistribusjonen kan ikke reflektere den som virkelige menneskelige deltakere.

For å kompensere for dette, testet studien tre alternative oppsett: først, hver modell fikk en distinkt personlighet; andre, svarene ble sampet ved en høyere temperatur for å skape mer variasjon; tredje, promptene ble parafrasert flere ganger, med hver versjon behandlet som en separat deltaker:

Korrelasjon mellom overmot og faktisk ytelse over forskjellige eksperimentelle oppsett, som viser at Dunning-Kruger-mønsteret forblir konsistent under alle betingelser og er sterkest når flere forskjellige svar sampes fra samme modell.

Resultattabellen ovenfor viser hvordan sterk Dunning-Kruger-effekten manifesterer seg under disse betingelsene, og forblir til stede i alle tilfeller; og at DKE var mest uttalt når flere forskjellige svar sampes fra samme modell ved høy temperatur.

For å bedre forstå hvordan opplevd ytelse divergerer fra faktisk ytelse, sammenlignet studien absolutt og relativ tillit, ved å beregne hvor mye hver modell overvurderte sin egen evne (spesifikt, forskjellen mellom dens tillitsscore og dens faktiske nøyaktighet), og deretter målte hvordan denne overvurderingen relaterte til modellens faktiske ytelse:

Korrelasjon mellom overmot (målt som absolutt minus relativ tillit) og faktisk nøyaktighet over programmeringsspråk og modelltyper, som viser at større overvurdering er konsistent assosiert med lavere ytelse.

Fortsatt, viser spesialiserte modeller trenet på smalere domener sterkere DKE-effekter enn generalister:

Korrelasjon mellom overvurdering og faktisk ytelse for base-, enkelt-domene- og multi-domene spesialiserte modeller, som viser sterkere DKE-effekter når spesialisering øker.

Ved å bruke MultiPL-E-datasettet over åtte programmeringsspråk, fant forfatterne at enkelt-domene-trening ledet til større overmot enn multi-domene eller base-oppsett, og dette antyder at DKE forverres med økt spesialisering.

Tester viste også at modeller tenderer til å være mer overmotete i sjeldne programmeringsspråk. Over GitHub, IEEE og TIOBE-ranglinger, korrelerer sjeldenhet sterkt med høyere opplevd ytelse, med et toppunkt på 0,797:

Korrelasjon mellom modellens overmot og språksjeldenhet, ved hjelp av tre popularitetsranglinger. Mindre vanlige språk er assosiert med høyere opplevd ytelse.

Til slutt testet forfatterne om Dunning-Kruger-effekten viser seg i kode-generering, ved å evaluere modeller på MultiPL-E-datasettet over Ada, Dart, Prolog, Swift, C++, Python, C# og Elixir-språkene.

Selv om effekten fortsatt var til stede, var den merket svakere enn i multiple-valg-spørsmål-innstillingen, sannsynligvis på grunn av den større vanskeligheten i å vurdere tillit og riktighet i åpne oppgaver:

Korrelasjon mellom overvurdering og faktisk ytelse i åpne kode-genereringsoppgaver, basert på MultiPL-E-resultater over åtte programmeringsspråk.

I å vurdere den fortsatt omdiskuterte forklaringen på Dunning-Kruger-effekten, konkluderer forfatterne:

‘En mulig forklaring som kan være felles for både mennesker og AI-modeller er den metakognitive forklaringen, som sier at vurdering av kvaliteten på en ytelse er en kritisk del av å tilegne seg en ferdighet.

‘Denne forklaringen kan potensielt testes eksperimentelt i AI-modeller med en kontrollert studie av forskjellige treningsstrategier og om de alle fører til samtidige forbedringer i ytelse og evne til å vurdere kvalitet på ytelse. Imidlertid er denne studien betydelig utenfor denne artikkelen, og vi lar den til fremtidig arbeid.’

Konklusjon

Selv i sin native domene kan Dunning-Kruger-effekten (som artikkelen påpeker) være tilskrevet enten en statistisk eller kognitiv årsak. Hvis til en statistisk årsak, er anvendelsen av et tidligere unikt menneskelig syndrom til en maskinlæringssammenheng faktisk ganske gyldig.

Selv om forfatterne spekulerer på at årsaken kan bli funnet å være ‘kognitiv’ i begge tilfeller, ville det kreve en litt mer metafysisk standpunkt.

Kanskje det mest interessante funnet i artikkelen er omfanget av hvilken grad flere koding-LML-er tenderer til å doble ned i sine minst gunstige omstendigheter, dvs. ved å vise maksimal tillit når de håndterer de sjeldneste eller minst kjente språkene – noe som ville være en nærmest umiddelbar selvdestruktiv strategi i en virkelig arbeidsplass.

* De programmeringsspråkene som ble brukt, var Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript og Visual Basic.

Først publisert onsdag, 8. oktober 2025