Når mer tenkning gjør AI dummere: Den inverse skaleringsparadokset

Kunstig intelligens har blitt bygget på ideen om at å gi maskiner mer tid, data og beregningskraft forbedrer deres ytelse. Dette synet har ledet retningen for AI-forskning og utvikling i mange år. Den viktigste antagelsen som ligger til grunn for dette synet er at større modeller og flere ressurser ville skape mer intelligente systemer. Imidlertid har ny forskning begynt å spørre om denne tilnærmingen. Store språkmodeller, som OpenAI’s o1-serie, Anthropics Claude og DeepSeek’s R1, ble bygget for å løse problemer trinnvis, på samme måte som menneskelig resonnering. Forskerne forventet at å gi disse modellene mer tid til å tenke og prosessere informasjon ville forbedre deres beslutningstaking. Imidlertid viser nye studier at det motsatte kan skje. Når du gir disse modellene mer tid til å tenke, kan de noen ganger fungere dårligere, spesielt på enkle oppgaver. Dette fenomenet kalles inverse skaleringsparadokset. Det utfordrer troen på at mer beregningskraft og dypere resonnering alltid fører til bedre resultater. Disse funnene har betydelige konsekvenser for hvordan vi designer og bruker AI i virkelige situasjoner.

Forståelse av det inverse skaleringsfenomenet

Det “inverse skalerings”-fenomenet ble først oppdaget gjennom kontrollerte eksperimenter av forskere ved Anthropic. I motsetning til tradisjonelle skaleringslover, som sier at mer beregning forbedrer ytelsen, fant disse studiene at å gi AI mer tid til å resonere kan senke dens nøyaktighet på forskjellige oppgaver.

Forskingsteamet skapte oppgaver i fire områder: enkle telling med distraksjoner, regresjon med irrelevante egenskaper, deduksjon med begrensningssporing og komplekse AI-sikkerhetsscenarier. Resultatene var overraskende. I noen tilfeller begynte modeller som først ga riktige svar å gi feil svar etter å ha fått mer tid til å prosessere.

For eksempel, i en enkel tellingoppgave som “Hvor mange frukter har du hvis du har et eple og en appelsin?”, fikk Claude-modellene ofte feil svar når de fikk mer tid til å resonere. De ble distrahert av ekstra detaljer og kunne ikke gi det riktige svaret, som er to. I disse tilfellene var modellene overtenkende og endte opp med å gjøre feil.

Apples nyeste forskning støtter også disse funnene. De utførte eksperimentene i kontrollerte pusle-miljøer som Tower of Hanoi og River Crossing, i stedet for på standard-benchmark. Deres studier viste tre mønster: på enkle oppgaver gjorde standard AI-modeller bedre enn resonneringsmodeller; på middels komplekse oppgaver hadde resonneringsmodellene en fordel; og på svært komplekse oppgaver kjempet begge typene modeller.

De fem måtene AI-resonnering feiler

Forskere har funnet fem vanlige måter AI-modeller kan feile når de resonnerer over lengre perioder:

1. Distraksjon ved irrelevans: Når AI-modeller tenker for lenge, blir de ofte distrahert av detaljer som ikke er viktige. Dette er som en student som misser hovedpoenget i en oppgave mens han tenker dypt på oppgaven.
2. Overfitting til problemrammer: Noen modeller, som OpenAI’s o-serie, fokuserer for mye på problem-presentasjon. Mens de unngår distraksjoner, er de ikke fleksible og avhenger av problemformulering.
3. Spuriøs korrelasjonsendring: Over tid kan AI-modeller skifte fra rimelige antagelser til å avhenge av misvisende korrelasjoner. For eksempel, i regresjonsoppgaver, betrakter modellene først relevante egenskaper, men når de får mer tid til å tenke, kan de begynne å fokusere på irrelevante egenskaper og gi feil resultater.
4. Fokusdegradering: Ettersom oppgavene blir mer komplekse, har AI-modellene vanskeligere å holde sin resonnering klar og fokusert.
5. Forsterket bekymringsatferd: Mer tid til å resonere kan forverre negative atferder. For eksempel, viste Claude’s Sonnet 4 sterkere selvbevarelses-tendenser når de fikk ekstra tid til å tenke på nedleggelsesscenarier.

Hvordan AI-resonnering takler problemkompleksitet

Apple-forskere innførte begrepet “illusjonen av tenkning” for å forklare hva som skjer når resonneringsmodeller møter oppgaver med ulike kompleksitetsnivåer. I stedet for å fokusere på matematikkproblemer eller kode-tester, testet de AI-resonneringsmodeller i kontrollerte pusle-miljøer som Tower of Hanoi, Checker Jumping, River Crossing og Blocks World. Ved å langsomt øke vanskelighetsgraden av disse puslene, kunne de se hvordan modellene fungerte på hvert nivå. Denne metoden hjalp dem å undersøke ikke bare sluttsvar, men også hvordan modellene nådde disse svarene. Studien fant tre klare mønster i modell-ytelse basert på problemkompleksitet:

• For enkle pusler som Tower of Hanoi med ett eller to skiver, ga standard store språkmodeller (LLM) riktige svar mer effektivt. AI-resonneringsmodeller gjorde ofte ting for kompliserte gjennom sine lange resonneringskjeder, som ofte resulterte i feil svar.
• I moderat komplekse pusler, fungerte AI-resonnering bedre. De kunne bryte ned problemer i klare trinn, som hjalp dem å løse flertrinns-utfordringer mer effektivt enn standard LLM.
• I svært komplekse pusler, som Tower of Hanoi med mange skiver, kjempet begge typene modeller. Resonneringsmodellene reduserte ofte sin resonneringsinnsats når puslen ble vanskeligere, selv om de hadde nok beregningsressurser. Dette “gi opp”-atferden viser en nøkkel svakhet i å skalerer deres resonnering.

Utfordringen med AI-evaluering

Det inverse skaleringsfenomenet viser betydelige problemer i hvordan vi evaluerer AI-modeller. Mange nåværende benchmark-mål måler bare nøyaktigheten av sluttsvar, ikke kvaliteten av resonneringsprosessen. Dette kan føre til en falsk forestilling om en modells virkelige evner. En modell kan gjøre det bra på tester, men likevel feile med nye eller uvanlige problemer.

Det inverse skaleringsfenomenet peker også ut svakheter i resonneringsbenchmark og hvordan vi bruker dem. Mange modeller bruker kortveier og mønster-gjenkjenning i stedet for ekte resonnering. Dette kan gjøre dem smartere enn de faktisk er, men deres ytelse faller ofte i virkelige situasjoner. Dette problemet er relatert til større problemer med AI, som hallusinasjoner og pålitelighet. Ettersom modellene blir bedre på å produsere forklaringer som høres overbevisende ut, blir det vanskeligere å skille mellom ekte resonnering og oppdiktede svar.

Fremtiden for AI-resonnering

Det inverse skaleringsparadokset er både en utfordring og en mulighet for AI. Det viser at å legge til mer beregningskraft ikke alltid gjør AI smartere. Vi må omvurdere hvordan vi designer og trener AI-systemer som kan håndtere problemer med varierende kompleksitetsnivåer. Nye modeller må kanskje bestemme når de skal pause og tenke og når de skal svare raskt. I denne sammenheng kan AI dra nytte av kognitive arkitekturer som dual process theory som en retningslinje. Disse arkitekturerte forklarer hvordan menneskelig tenkning kombinerer raske, instinktive reaksjoner med langsomme, omsorgsfulle resonneringer. Det inverse skaleringsfenomenet minner oss også på at vi må fullt ut forstå hvordan AI tar beslutninger før vi bruker dem i kritiske områder. Ettersom AI brukes mer til beslutningstaking i områder som helse, lov og forretning, blir det enda viktigere å sikre at disse systemene resonnerer riktig.

Bunnen av saken

Det inverse skaleringsparadokset lærer oss en viktig lekse i AI-utvikling. Mer tid og beregningskraft gjør ikke alltid AI mer kompetent eller pålitelig. Ekte fremgang kommer fra å forstå når AI skal resonere og kjenne til dens begrensninger. For organisasjoner og forskere er det essensielt å bruke AI som et verktøy, ikke som en erstatning for menneskelig dømmekraft. Det er nødvendig å velge riktig modell for hver oppgave. Ettersom AI blir en del av viktige beslutninger, må vi nøye evaluere dens styrker og svakheter. Fremtiden for AI avhenger av å tenke riktig, ikke bare å tenke mer.