Når mere tænkning gør AI dummere: Den inverse skalaingsparadoks

Kunstig intelligens er bygget på idéen om, at giver maskiner mere tid, data og beregningskraft forbedrer deres præstation. Denne overbevisning har vejledt retningen for AI-forskning og udvikling i mange år. Den vigtigste antagelse, der ligger til grund for denne overbevisning, er, at større modeller og flere ressourcer vil skabe mere intelligente systemer. Imidlertid har ny forskning begyndt at sætte spørgsmålstegn ved denne tilgang. Store sprogmodeller, som OpenAI’s o1-serie, Anthropics Claude og DeepSeeks R1, blev bygget til at løse problemer trin for trin, ligesom menneskelig tænkning. Forskere forventede, at disse modeller ville tage bedre beslutninger, hvis de fik mere tid til at tænke og behandle information. Imidlertid viser nye studier, at det modsatte kan ske. Når disse modeller får mere tid til at tænke, kan de i stedet opføre sig dårligere, især på simple opgaver. Denne effekt kaldes inverse skalaering. Den udfordrer overbevisningen om, at mere beregningskraft og dybere tænkning altid fører til bedre resultater. Disse fund har betydelige konsekvenser for, hvordan vi designer og bruger AI i virkelige situationer.

Forståelse af den inverse skalaingsfenomen

“Inverse skalaering“-fenomenet blev først opdaget gennem kontrollerede eksperimenter af forskere ved Anthropic. I modsætning til traditionelle skalaeringslove, som siger, at mere beregning forbedrer præstationen, fandt disse studier, at at give AI mere tid til at tænke kan sænke dens nøjagtighed på forskellige opgaver.

Forskningsholdet skabte opgaver i fire områder: simpel tælling med distraktioner, regression med irrelevante funktioner, deduktion med begrænsningssporings og komplekse AI-sikkerhedsscenarier. Resultaterne var overraskende. I nogle tilfælde startede modeller, der først gav korrekte svar, med at give forkerte svar efter at have fået mere tid til at behandle.

For eksempel i en simpel tællingsopgave som “Hvor mange frugter har du, hvis du har en æble og en appelsin?”, fik Claude-modellerne ofte distraktioner fra ekstra detaljer, når de fik mere tid til at tænke. De kunne ikke give det korrekte svar, som er to. I disse tilfælde var modellerne ved at overtænke og endte med at begå fejl.

Apples nyeste forskning understøttede også disse fund. De udførte deres eksperimenter i kontrollerede puslespilsmiljøer som Tower of Hanoi og River Crossing, i stedet for på standardmål. Deres studier viste tre mønstre: på simple opgaver gjorde standard AI-modeller bedre end tænkemodeller; på middelkomplekse opgaver havde tænkemodellerne en fordel; og på meget komplekse opgaver kæmpede begge typer modeller.

De fem måder, AI-tænkning fejler

Forskere har fundet fem almindelige måder, hvorpå AI-modeller kan fejle, når de tænker i længere perioder:

1. Distraktion af irrelevans: Når AI-modeller tænker for længe, kan de ofte blive distraheret af detaljer, der ikke er vigtige. Dette er som en elev, der misser hovedpointen i en opgave, mens han tænker dybt over opgaven.
2. Overfitning til problemrammer: Nogle modeller, som OpenAI’s o-serie, fokuserer for meget på problempræsentationen. Selvom de undgår distraktioner, er de ikke fleksible og afhænger af problemformuleringen.
3. Spurious korrelationsændring: Over tid kan AI-modellerne skifte fra rimelige antagelser til at afhænge af misvisende korrelationer. For eksempel i regressionstasks, hvor modellerne først betragter relevante funktioner, men når de får mere tid til at tænke, kan de starte med at fokusere på irrelevante funktioner og give forkerte resultater.
4. Fokusdegradering: Når opgaverne bliver mere komplekse, har AI-modellerne svært ved at holde deres tænkning klar og fokuseret.
5. Forstærket bekymrende adfærd: Mere tid til at tænke kan forværre negative adfærder. For eksempel viste Claude’s Sonnet 4 stærkere selvbevarelses tendenser, når de fik ekstra tid til at tænke over lukningsscenarier.

Hvordan AI-tænkning tackler problemkompleksitet

Apple-forskere introducerede begrebet “illusion of thinking” for at forklare, hvad der sker, når tænkemodeller står over for opgaver med forskellige niveauer af kompleksitet. I stedet for at fokusere på matematikproblemer eller kodningstests, testede de AI-tænkemodeller i kontrollerede puslespilsmiljøer som Tower of Hanoi, Checker Jumping, River Crossing og Blocks World. Ved langsomt at øge sværhedsgraden af disse puslespil kunne de se, hvordan modellerne opførte sig på hvert niveau. Denne metode hjalp dem med at undersøge ikke kun de endelige svar, men også, hvordan modellerne nåede til disse svar. Studiet fandt tre klare mønstre i modellernes præstationer baseret på problemkompleksitet:

• For simple puslespil som Tower of Hanoi med en eller to skiver, gav standard store sprogmodeller (LLM’er) korrekte svar mere effektivt. AI-tænkemodellerne gjorde ofte tingene for komplicerede gennem deres lange tænkekæder, hvilket ofte resulterede i forkerte svar.
• I middelkomplekse puslespil opførte AI-tænkemodellerne sig bedre. De kunne bryde problemerne ned i klare trin, hvilket hjalp dem med at løse flertrins udfordringer mere effektivt end standard LLM’er.
• I meget komplekse puslespil, som Tower of Hanoi med mange skiver, kæmpede begge typer modeller. Tænkemodellerne reducerede ofte deres tænkeinsats, selvom de havde nok beregningsressourcer. Denne “give op”-adfærd viser en nøgle svaghed i at skala deres tænkning.

Udfordringen ved AI-evaluering

Den inverse skalaingsfenomen viser betydelige problemer i, hvordan vi evaluerer AI-modeller. Mange nuværende benchmarks måler kun nøjagtigheden af de endelige svar, ikke kvaliteten af tænkeprocessen. Dette kan føre til en falsk fornemmelse af en models virkelige evner. En model kan klare sig godt på tests, men stadig fejle med nye eller usædvanlige problemer.

Inverse skalaering peger også på svagheder i tænkebenchmarks og, hvordan vi bruger dem. Mange modeller bruger genveje og mønstergenkendelse i stedet for rigtig tænkning. Dette kan gøre dem klogere, end de faktisk er, men deres præstation falder ofte i virkelige situationer. Dette problem er relateret til større problemer med AI, såsom hallucinationer og pålidelighed. Når modellerne bliver bedre til at producere forklaringer, der lyder overbevisende, bliver det sværere at skelne mellem rigtig tænkning og opdigtede svar.

Fremtiden for AI-tænkning

Den inverse skalaingsparadoks er både en udfordring og en mulighed for AI. Den viser, at tilføjelse af mere beregningskraft ikke altid gør AI klogere. Vi må omvurder, hvordan vi designer og træner AI-systemer, der kan håndtere problemer med varierende kompleksitet. Nye modeller kan måske behøve at beslutte, hvornår de skal pause og tænke, og hvornår de skal svare hurtigt. I denne forbindelse kan AI måske drage fordel af kognitive arkitekturer som dual process theory som vejledende principper. Disse arkitekturer forklarer, hvordan menneskelig tænkning kombinerer hurtige, instinktive reaktioner med langsom, omhyggelig tænkning. Den inverse skalaering minder os også om, at vi må fuldt ud forstå, hvordan AI tager beslutninger, før vi bruger dem i kritiske områder. Når AI bruges mere til beslutningstagning i områder som sundhed, jura og forretning, bliver det endnu mere kritisk at sikre, at disse systemer tænker korrekt.

Bottom Line

Den inverse skalaingsparadoks lærer os en væsentlig lektie i AI-udvikling. Mere tid og beregningskraft gør ikke altid AI mere kompetent eller mere pålidelig. Rigigtig fremskridt kommer fra at forstå, hvornår AI skal tænke, og at kende dens begrænsninger. For organisationer og forskere er det afgørende at bruge AI som et værktøj, ikke som en erstatning for menneskelig dømmekraft. Det er nødvendigt at vælge det rigtige model for hver opgave. Når AI bliver en del af vigtige beslutninger, må vi omhyggeligt evaluere dens styrker og svagheder. Fremtiden for AI afhænger af, at tænke korrekt, ikke kun tænke mere.