Selvfortroende feil: Hvorfor de smarteste AI-modellene er de verst til å korrigere seg selv

Mange i AI-samfunnet tror at den neste store revolusjonen vil være epoken med selvforbedrende AI, der AI kan forbedre seg selv uten menneskelig innblanding. Argumentet er: jo mer kapable modellene blir, jo mer vil de til slutt lære ikke bare fra data, men fra seg selv. Hver iterasjon vil forbedre den forrige. Feil vil bli identifisert, korrigert og eliminert. Over tid kan denne kumulative forbedringen utløse en intelligens-eksplosjon der AI starter å bygge AI. Denne visjonen ligger til grunn for mye av spenningen rundt rekursiv AI, autonome agenter og den lenge ventede intelligens-eksplosjonen. I sentrum av denne visjonen ligger evnen til at AI-systemer kan pålitelig korrigere sine egne feil. Uten robust selvkorreksjon kan selvforbedring ikke oppnås. Et system som ikke kan gjenkjenne når det er feil, kan ikke meningfullt lære fra sine egne utdata, uansett hvor kraftfulle de ser ut.

Den rådende antakelsen har vært at selvkorreksjon ville naturlig oppstå når modellene blir mer kapable. Dette synes intuitivt. Etter all, sterke modeller vet mer, resonerer bedre og fungerer godt på tvers av oppgaver. Imidlertid viser nyere forskning en motintuitiv oppdagelse som viser at mer avanserte modeller ofte sliter med å korrigere sine egne feil, mens svakere modeller fungerer bedre med selvkorreksjon. Dette fenomenet, kjent som nøyaktighets-korreksjons-paradokset, tvinger oss til å tenke om ikke bare hvordan AI-systemer resonerer, men hvor godt vi egentlig er forberedt på selvforbedrende AI.

Forstå selvforbedrende AI

Selvforbedrende AI refererer til et AI-system som kan identifisere sine egne feil, lære fra dem og iterativt forbedre sitt atferd. I motsetning til tradisjonelle modeller, som bare baserer seg på treningdata kuratert av mennesker, ville selvforbedrende AI aktivt evaluere sine egne utdata og tilpasse seg over tid. I teorien skaper dette en tilbakemeldingsløkke der hver læringscyklus bygger på den forrige, og gir opphav til det som ofte beskrives som en intelligens-eksplosjon.

Men å oppnå dette målet er langt fra trivialt. Selvforbedring krever mer enn bare rå beregningskraft eller større datamengder. Det krever pålitelig selv-vurdering, inkludert evnen til å oppdage feil, identifisere deres kilder og produsere korrigerte løsninger. Uten disse evnene kan en modell ikke skille mellom en korrekt resoneringsvei og en feilaktig en. Å iterere over feil løsning, uansett hvor raskt, forsterker bare feilene i stedet for å forbedre ytelsen.

Dette skillet er kritisk. Hos mennesker innebærer læring fra feil ofte refleksjon, hypotesetesting og kursendring. For AI må disse prosessene være innkodet i systemet selv. Hvis en modell ikke kan pålitelig gjenkjenne og korrigere sine feil, kan den ikke delta meningfullt i en selvforbedringsløkke, og løftet om rekursiv intelligens forblir teoretisk snarere enn praktisk.

Nøyaktighets-korreksjons-paradokset

Selvkorreksjon behandles ofte som en enkelt evne, men i virkeligheten kombinerer den flere distinkte evner som må vurderes separat. Minst kan vi skille det inn i tre målbare under-evner: feilopptak, feilplassering eller kildeopptak, og feilkorreksjon. Feilopptak spør om en modell kan gjenkjenne at dens utdata er feil. Feilplassering fokuserer på å identifisere hvor feilen skjer. Feilkorreksjon refererer til evnen til å produsere en korrigert løsning.

Ved å måle disse evnene separat, avslører forskerne viktige innsikter om begrensningene i nåværende systemer. De viser at modellene varierer mye over disse evnene. Noen modeller er gode til å oppdage feil, men dårlige til å korrigere dem. Andre gjenkjenner knapt feil, men klarer likevel å korrigere dem gjennom gjentatte forsøk. Enda viktigere er at disse innsiktene viser at forbedring i ett område ikke garanterer forbedring i de andre.

Når forskerne testet avanserte modeller på komplekse matematiske resoneringsoppgaver, gjorde disse modellene færre feil. Det var forventet. Det uventede var funnet av at: når disse modellene gjorde feil, var de mindre sannsynlig til å korrigere dem på egen hånd. Omvendt var svakere modeller, til tross for å gjøre flere feil, betydelig bedre til å korrigere sine feil uten ekstern tilbakemelding. Med andre ord fant forskerne at nøyaktighet og selvkorreksjon beveget seg i motsatt retning, et paradoks de refererer til som nøyaktighets-korreksjons-paradokset. Dette funnet utfordrer en dypere tro i AI-utvikling. Vi antar ofte at å skalerer modeller forbedrer alle aspekter av intelligensen. Paradokset viser at denne antakelsen ikke alltid holder, spesielt for introspektive evner.

Feil-dybde-hypotesen

Dette paradokset reiser et åpenbart spørsmål: hvorfor utgjør svakere modeller bedre enn sterkere modeller når det gjelder selvkorreksjon? Forskerne finner svaret på dette spørsmålet ved å undersøke typen feil modellene gjør. De fant at sterkere modeller gjør færre feil, men feilene de gjør er “dypere” og mer motstandsdyktige mot korreksjon. Omvendt gjør svakere modeller “overfladiske” feil som lett kan korrigers i en andre gjennomgang.

Forskerne refererer til denne innsikten som feil-dybde-hypotesen. De kategoriserer feil i oppsettfeil, logiske feil og beregningsfeil. Oppsettfeil involverer misforståelse av problemet. Logiske feil skjer når resoneringsveien er strukturelt feilaktig. Beregningsfeil er enkle aritmetiske feil. For GPT-3.5 er majoriteten av feil (62%) enkle beregningsfeil. Disse er overfladiske feil. Når modellen blir bedt om å “sjekke nøye”, kan den ofte finne feilen og korrigere den. For DeepSeek er imidlertid 77% av feilene oppsett- eller logiske feil. Disse dype feilene krever at modellen grundig omvurderer sin tilnærming. Sterke modeller sliter med dette fordi de ofte fester seg til sin opprinnelige resoneringsvei. Ettersom modellens intelligens øker, er det bare de mest motstandsdyktige og vanskelige feilene som blir igjen.

Hvorfor feilopptak ikke garanterer feilkorreksjon

En av de mest overraskende funnene i forskningen er at feilopptak ikke korrelerer med evnen til å korrigere feil. En modell kan korrekt identifisere at dens svar er feil, men likevel ikke klare å korrigere det. En annen modell kan knapt oppdage feil, men likevel forbedre seg gjennom gjentatte forsøk. Claude-3-Haiku gir det mest dramatiske eksempelet. Claude oppdaget bare 10,1% av sine egne feil, det laveste blant alle testede modeller. Til tross for denne svake oppdagelsen, oppnådde den høyest intrinsisk korreksjonsrate på 29,1%. I sammenligning oppdaget GPT-3.5 81,5% av sine feil, men korrigerte bare 26,8%.

Dette antyder at noen modeller kan “tilfeldigvis” korrigere sine feil ved å bare løse problemet på nytt gjennom en annen stikprøvevei, selv om de ikke gjenkjenner at det første forsøket var feil. Denne frakoblingen er farlig for virkelige anvendelser. Når en modell er overmotivert og ikke gjenkjenner sine egne logiske feil, kan den presentere en plausibel, men fullstendig feilaktig forklaring som sannhet. I noen tilfeller kan det å be en modell om å identifisere sine egne feil forverre situasjonen. Når en modell feilaktig identifiserer hvor den gikk feil, fester den seg til en feilaktig forklaring og dobbler ned på feilen. I stedet for å hjelpe, kan selv-genererte hint kan låse modellen inn i feilaktig resoneringsvei. Dette atferd ligner menneskelig kognitiv bias. Når vi tror vi vet hva som gikk feil, stopper vi å søke etter dypere årsaker.

Iterasjon hjelper, men ikke like mye

Forskningen viser også at iterativ refleksjon ofte forbedrer resultater, men ikke alle modeller drar nytte av dette på samme måte. Svakere modeller drar betydelig nytte av flere runder med omtenkning, fordi hver iterasjon gir dem en ny mulighet til å korrigere sine overfladiske problemer. Sterkere modeller viser mye mindre gevinster fra iterasjon. Deres feil er ikke lett å løse gjennom gjentakelse. Uten ekstern veiledning, reproducerer flere forsøk ofte den samme feilaktige resoneringsvei i forskjellige ord. Denne innsikten antyder at selvforbedrings-teknikker ikke er universelt effektive. Deres suksess avhenger av feilenes natur, ikke bare modellens intelligens.

Hva dette betyr for AI-systemdesign

Disse innsiktene har praktiske implikasjoner. Først bør vi slutte å anta at høyere nøyaktighet medfører bedre selvkorreksjon. Systemer som baserer seg på autonom selvforbedring må testes eksplisitt for korreksjonsatferd, ikke bare sluttnøyaktighet. For det andre kan forskjellige modeller kreve forskjellige inngripenstrategier. Svakere modeller kan dra nytte av enkel verifisering og iterasjon. Sterkere modeller kan kreve ekstern tilbakemelding, strukturert verifisering eller verktøybasert kontroll for å overvinne dype resoneringsfeil. Tredje, selvkorreksjons-pipelines bør være feilbevisste. Å forstå om en oppgave er utsatt for overfladiske eller dype feil, kan informere om hvorvidt selvkorreksjon sannsynligvis vil fungere. Til slutt bør evalueringstandarder skille mellom oppdagelse, plassering og korreksjon. Å behandle dem som en enkelt måling skjuler kritiske svakheter som teller i virkelige anvendelser.

Bunnen av saken

Selvforbedrende AI avhenger ikke bare av å produsere korrekte svar, men også av evnen til å gjenkjenne, diagnostisere og revidere feilaktige svar. Nøyaktighets-korreksjons-paradokset avslører at sterkere modeller ikke automatisk er bedre til dette. Ettersom modellene blir mer kapable, blir deres feil dypere, vanskeligere å oppdage og mer motstandsdyktige mot selvkorreksjon. Dette betyr at fremgang i modell-skaleringsalene ikke er nok. Hvis vi ønsker AI-systemer som kan virkelig lære fra sine egne feil, må selvkorreksjon behandles som en distinkt evne, målt, trent og støttet.