Sikker forkert: Hvorfor de klogeste AI-modeller er de værste til at korrigere sig selv

Mange i AI-fællesskabet tror, at den næste store revolution vil være æraen for selvforbedrende AI, hvor AI kan forbedre sig selv uden menneskelig indgriben. Argumentet er: når modellerne bliver mere kapable, vil de til sidst lære ikke kun fra data, men fra sig selv. Hver iteration vil forfine den foregående. Fejl vil blive identificeret, korregeret og elimineret. Over tid kan denne akkumulation af forbedringer udløse en intelligens-eksplosion, hvor AI starter med at bygge AI. Denne vision ligger til grund for meget af begejstringen omkring rekursiv AI, autonome agenter og den langt ventede intelligens-eksplosion. I centrum af denne vision ligger evnen for AI-systemer til pålideligt at korrigere deres egne fejl. Men uden robust selvkorrektion kan selvforbedring ikke opnås. Et system, der ikke kan genkende, når det er forkert, kan ikke meningsfuldt lære fra sine egne output, uanset hvor kraftfuldt det ser ud.

Den herskende antagelse har været, at selvkorrektion ville naturligt opstå, når modellerne blev mere kapable. Denne antagelse føles intuitiv. Efter alt, stærkere modeller ved mere, resonnerer bedre og fungerer godt på tværs af opgaver. Men nyeste forskning afslører en modintuitiv opdagelse, nemlig at mere avancerede modeller ofte kæmper med at korrigere deres egne fejl, mens svagere modeller fungerer bedre med selvkorrektion. Dette fænomen, kendt som korrektions-paradokset, tvinger os til at omvurdere ikke kun, hvordan AI-systemer resonnerer, men også, hvor parate vi virkelig er til selvforbedrende AI.

Forståelse af selvforbedrende AI

Selvforbedrende AI refererer til et AI-system, der kan identificere sine egne fejl, lære fra dem og iterativt forfine sin adfærd. I modsætning til traditionelle modeller, der kun afhænger af træningsdata, der er kurateret af mennesker, vil selvforbedrende AI aktivt evaluere sine egne output og tilpasse sig over tid. I teorien skaber dette en feedback-løkke, hvor hver læringscyklus bygger på den foregående, og giver anledning til, hvad der ofte beskrives som en intelligens-eksplosion.

Men at opnå dette mål er langt fra trivialt. Selvforbedring kræver mere end blot rå beregningskraft eller større datasæt. Det kræver pålidelig selv-vurdering, herunder evnen til at detektere fejl, identificere deres kilder og producere korrekte løsninger. Uden disse evner kan en model ikke skelne mellem en korrekt resonans og en fejl. At iterere over den forkerte løsning, uanset hvor hurtigt, forstærker kun fejlene i stedet for at forbedre ydelsen.

Denne distinktion er kritisk. Hos mennesker indebærer læring fra fejl ofte refleksion, hypotesetestning og kurskorrektion. For AI må disse processer være indkodet i systemet selv. Hvis en model ikke kan pålideligt genkende og korrigere sine fejl, kan den ikke deltage meningsfuldt i en selvforbedrings-løkke, og løftet om rekursiv intelligens forbliver teoretisk snarere end praktisk.

Korrektions-paradokset

Selvkorrektion behandles ofte som en enkelt evne, men i virkeligheden kombinerer det flere distinkte evner, der skal vurderes separat. Som minimum kan vi opdele det i tre målbare under-evner: fejldetektering, fejlokalisering eller kilde-detektering og fejlkorrektion. Fejldetektering spørger, om en model kan genkende, at dens output er forkert. Fejlokalisering fokuserer på at identificere, hvor fejlen opstår. Fejlkorrektion refererer til evnen til at producere en korregeret løsning.

Ved at måle disse evner separat afslører forskerne vigtige indsigt om begrænsningerne i nuværende systemer. De viser, at modeller varierer bredt på tværs af disse evner. Nogle modeller er gode til at detektere fejl, men dårlige til at korrigere dem. Andre genkender knap fejl, men kan alligevel korrigere dem gennem gentagne forsøg. Endnu vigtigere er, at disse indsigt viser, at forbedring i ét område ikke garanterer forbedring i de andre.

Når forskerne testede avancerede modeller på komplekse matematiske resonans-opgaver, gjorde disse modeller færre fejl. Det var forventet. Men det, der var uventet, var, at: når disse modeller gjorde fejl, var de mindre tilbøjelige til at korrigere dem på egen hånd. Omvendt var svagere modeller, på trods af at de gjorde flere fejl, betydeligt bedre til at korrigere deres fejl uden ekstern feedback. Med andre ord fandt forskerne, at nøjagtighed og selvkorrektion bevægede sig i modsatte retninger, et paradoks, de kalder korrektions-paradokset. Dette fænomen udfordrer en dybt rodfæstet antagelse i AI-udvikling. Vi antager ofte, at skaleringsmodeller forbedrer alle aspekter af intelligens. Paradokset viser, at denne antagelse ikke altid holder, især for introspektive evner.

Fejl-dybhypotesen

Dette paradoks rejser en åbenlys spørgsmål: hvorfor udgør svagere modeller bedre selvkorrektion end stærkere modeller? Forskere finder svaret ved at undersøge typen af fejl, modellerne laver. De fandt, at stærkere modeller laver færre fejl, men fejlene, de laver, er “dybere” og mere modstandsdygtige over for korrektion. Omvendt laver svagere modeller “overfladiske” fejl, der let kan korrigeres under en anden gennemløb.

Forskere kalder denne indsigt for fejl-dybhypotesen. De kategoriserer fejl i opstilling, logik og beregningsfejl. Opstillingfejl indebærer misfortolkning af problemet. Logikfejl opstår, når resonansvejen er strukturelt fejl. Beregningsfejl er simple aritmetiske fejl. For GPT-3.5 udgør majoriteten af fejl (62%) simple beregningsfejl. Disse er overfladiske fejl. Når modellen bedes om at “kontrollere omhyggeligt”, kan den ofte finde den aritmetiske fejl og korrigere den. For DeepSeek udgør 77% af fejlene opstilling eller logikfejl. Disse dybe fejl kræver, at modellen grundlæggende omvurderer sin tilgang. Stærke modeller kæmper med dette, fordi de har en tendens til at fastholde deres oprindelige resonansvej. Som modellens intelligens øges, er det kun de mest robuste og sværeste fejl, der bliver tilbage.

Hvorfor fejldetektering ikke garanterer fejlkorrektion

En af de mest overraskende resultater af forskningen er, at fejldetektering ikke korrelerer med evnen til at korrigere fejl. En model kan korrekt identificere, at dens svar er forkert, men alligevel ikke korrigere det. En anden model kan knap detektere fejl, men forbedre sig gennem gentagne løsninger. Claude-3-Haiku giver det mest dramatiske eksempel. Claude detekterede kun 10,1% af sine egne fejl, det laveste blandt alle testede modeller. Trods denne svage detektering opnåede den den højeste intrinsiske korrektionsrate på 29,1%. I sammenligning detekterede GPT-3.5 81,5% af sine fejl, men korregerede kun 26,8%.

Dette antyder, at nogle modeller kan “tilfældigt” korrigere deres fejl ved blot at løse problemet igen gennem en anden stikprøve, selv om de ikke genkender, at den første forsøg var forkert. Denne afkobling er farlig for virkeligt anvendelse. Når en model er overbevidst og ikke kan detektere sine egne logiske fejl, kan den præsentere en plausibel, men helt forkert forklaring som sandhed. I nogle tilfælde kan det at bede en model om at identificere sine egne fejl forværre situationen. Når en model forkert identificerer, hvor den gik galt, fastholder den sig til en fejlbeskeden forklaring og fastholder fejlen. I stedet for at hjælpe kan selvgenererede hints låse modellen fast i den forkerte resonansvej. Dette adfærd ligner menneskelig kognitiv fordom.

Iteration hjælper, men ikke lige meget

Forskningen viser også, at iterativ refleksion ofte forbedrer resultaterne, men ikke alle modeller drager fordel af det på samme måde. Svagere modeller drager betydeligt fordel af multiple runder af omovervejelse, fordi hver iteration giver dem en ny chance for at korrigere deres overfladiske problemer. Stærkere modeller viser meget mindre forbedring fra iteration. Deres fejl er ikke let korrigerbare ved gentagenhed. Uden ekstern vejledning reproducerer yderligere forsøg ofte den samme fejlbeskeden resonans i andre ord. Denne indsigt antyder, at selv-forbedrings-teknikker ikke er universelt effektive. Deres succes afhænger af fejlens natur, ikke kun modellens intelligens.

Hvad dette betyder for AI-system-design

Disse indsigt har praktiske implikationer. Først bør vi stoppe med at antage, at højere nøjagtighed implicerer bedre selvkorrektion. Systemer, der afhænger af autonom selv-forbedring, skal testes eksplicit for korrektionsadfærd, ikke kun slut-ydelse. Anden, forskellige modeller kan kræve forskellige interventionsstrategier. Svagere modeller kan have fordel af simple verifikation og iteration. Stærkere modeller kan kræve ekstern feedback, struktureret verifikation eller værktøjsbaseret kontrol for at overvinde dybe resonansfejl. Tredje, selvkorrektions-pipelines skal være fejl-bevidste. Forståelse af, om en opgave er tilbøjelig til overfladiske eller dybe fejl, kan informere, om selvkorrektion sandsynligvis vil fungere overhovedet. Endelig bør evalueringstandarder skille detektering, lokalisation og korrektion. At behandle dem som en enkelt mål skjuler kritiske svagheder, der betyder noget i virkelige anvendelser.

Det afgørende punkt

Selvforbedrende AI afhænger ikke kun af at producere korrekte svar, men af evnen til at genkende, diagnosticere og revidere forkerte svar. Korrektions-paradokset afslører, at stærkere modeller ikke automatisk er bedre til dette. Som modellerne bliver mere kapable, bliver deres fejl dybere, sværere at detektere og mere modstandsdygtige over for selvkorrektion. Dette betyder, at fremgang i modell-skala alene ikke er nok. Hvis vi ønsker AI-systemer, der kan sandt lære fra deres egne fejl, skal selvkorrektion behandles som en distinkt evne, der skal måles, trænes og understøttes eksplicit.