Miraget av AI-resonemang: Varför Chain-of-Thought kanske inte är vad vi tror

Stora språkmodeller (LLM) har imponerat på oss med sin förmåga att bryta ned komplexa problem steg för steg. När vi ber LLM att lösa ett matematiskt problem visar de nu sitt arbete, genom att gå igenom varje logiskt steg innan de når ett svar. Denna metod, som kallas Chain-of-Thought (CoT)-resonemang, har gjort AI-system mer mänskliga i sitt tänkande. Men vad om denna imponerande resonemangs förmåga egentligen är en illusion? Ny forskning från Arizona State University tyder på att vad som ser ut som äkta logiskt tänkande kan vara en sofistikerad mönsterigenkännings-teknik. I den här artikeln kommer vi att undersöka denna upptäckt och analysera dess implikationer för hur vi utformar, utvärderar och litar på AI-system.

Problemet med nuvarande förståelse

Chain-of-thought-prompting har blivit en av de mest erkända framstegen inom AI-resonemang. Det tillåter modeller att hantera allt från matematiska problem till logiska pussel genom att visa sitt arbete genom mellanliggande steg. Denna synbara resonemangs förmåga har lett många att tro att AI-system utvecklar inferensförmågor liknande mänskligt tänkande. Men forskare har börjat ifrågasätta denna tro.

I en nylig studie observerade de att när de fick frågor som om USA grundades under ett skottår eller ett normalt år, gav LLM svärande svar. Medan de korrekt identifierade skälet till att 1776 är delbart med 4 och sa att det var ett skottår, drog modellerna ändå slutsatsen att USA grundades under ett normalt år. I det här fallet visade modellerna kunskap om reglerna och visade logiska steg, men nådde en motsägelsefull slutsats.

Sådana exempel tyder på att det kan finnas en grundläggande klyfta mellan vad som ser ut som resonemang och verklig logisk inferens.

En ny synvinkel för att förstå AI-resonemang

En viktig innovation i denna forskning är introduktionen av en “datafördelningslins” för att undersöka Chain-of-Thought (CoT)-resonemang. Forskarna antog att CoT är en avancerad mönsterigenkännings-teknik som opererar på statistiska regelbundenheter i träningsdata, snarare än verklig logisk inferens. Modellen genererar resonemangsvägar som approximerar vad den har sett tidigare, snarare än att utföra logiska operationer.

För att testa denna hypotes skapade forskarna DataAlchemy, en kontrollerad experimentmiljö. Istället för att testa förtränade LLM med komplexa träningshistorik, tränade de mindre modeller från scratch på noggrant utformade uppgifter. Denna metod eliminerar komplexiteten i stor skala förtränings- och möjliggör systematisk testning av hur distributionsförändringar påverkar resonemangsprestanda.

Forskarna fokuserade på enkla transformationsuppgifter som involverade sekvenser av bokstäver. Till exempel lärde de modellerna att applicera operationer som att rotera bokstäver i alfabetet (A blir N, B blir O) eller skifta positioner inom en sekvens (APPLE blir EAPPL). Genom att kombinera dessa operationer skapade forskarna multi-stegs resonemangskedjor med varierande komplexitet. Denna metod gav dem fördelen av precision. De kunde kontrollera exakt vad modellerna lärde sig under tränings- och sedan testa hur väl de generaliserade till nya situationer. Denna nivå av kontroll är omöjlig med stora kommersiella AI-system som tränats på massiva, diversa datamängder.

När AI-resonemang bryter samman

Forskarna testade CoT-resonemang över tre kritiska dimensioner där realvärldstillämpningar kan skilja sig från träningsdata.

Uppgiftsgeneralisering undersökte hur modeller hanterar nya problem som de aldrig har stött på tidigare. När de testades på transformationer som var identiska med träningsdata uppnådde modellerna perfekt prestanda. Men små variationer orsakade dramatiska misslyckanden i deras resonemangs förmåga. Även när de nya uppgifterna var sammansättningar av bekanta operationer misslyckades modellerna med att applicera sina inlärda mönster korrekt.

En av de mest oroande insikterna var hur modellerna ofta producerade resonemangssteg som var perfekt formaterade och verkade logiska, men ledde till felaktiga svar. I vissa fall genererade de korrekta svar genom tillfällighet medan de följde helt felaktiga resonemangsvägar. Dessa fynd tyder på att modellerna i princip matchar ytmönster snarare än att förstå underliggande logik.

Längdgeneralisering testade om modeller kunde hantera resonemangskedjor som var längre eller kortare än de i träningsdata. Forskarna fann att modeller som tränats på längd 4 misslyckades helt när de testades på längd 3 eller 5, trots att dessa var relativt små förändringar. Dessutom försökte modellerna att tvinga sitt resonemang in i det bekanta mönstret genom att lägga till eller ta bort steg på ett olämpligt sätt snarare än att anpassa sig till de nya kraven.

Formatgeneralisering bedömde känsligheten för ytanivåvariationer i hur problem presenteras. Även små förändringar som att införa brus tokens eller modifiera promptstrukturen orsakade betydande prestandaförsämring. Detta avslöjade hur beroende modellerna är av exakta formateringsmönster från träningsdata.

Skörhetproblemet

Över alla tre dimensioner visade forskningen en konsekvent mönster: CoT-resonemang fungerar bra när det tillämpas på data som liknar träningsexempel, men blir skört och benäget att misslyckas även under måttliga distributionsförändringar. Den synbara resonemangs förmågan är i princip en “skör mirage” som försvinner när modellerna möter obekanta situationer.

Denna skörhet kan manifestera sig på flera sätt. Modeller kan generera flytande, välstrukturerade resonemangskedjor som är helt felaktiga. De kan följa perfekt logisk form medan de saknar grundläggande logiska anslutningar. Ibland producerar de korrekta svar genom matematisk tillfällighet medan de visar felaktiga resonemangsprocesser.

Forskningen visade också att övervakad finjustering på små mängder nya data kan snabbt återställa prestanda, men detta utökar bara modellens mönsterigenkänningsrepertoar snarare än att utveckla äkta resonemangs förmåga. Det är som att lära sig att lösa ett nytt typ av matematiskt problem genom att memorera specifika exempel snarare än att förstå de underliggande matematiska principerna.

Verkliga implikationer

Dessa fynd kan ha allvarliga implikationer för hur vi distribuerar och litar på AI-system. I högriskområden som medicin, finans eller juridisk analys kan förmågan att generera trovärdiga, men grundligt felaktiga resonemang vara farligare än enkla felaktiga svar. Uppkomsten av logiskt tänkande kan leda användare att placera ogrundad tillit till AI-slut.

Forskningen föreslår flera viktiga riktlinjer för AI-praktiker. Först bör organisationer inte behandla CoT som en universell problemlösningslösning. Standardtestmetoder som använder data som liknar träningsuppsättningar är otillräckliga för att utvärdera verklig resonemangs förmåga. Istället är rigorös ut-av-distributions-testning avgörande för att förstå modellbegränsningar.

Andra, tendensen för modeller att generera “flytande nonsens” kräver noggrann mänsklig övervakning, särskilt i kritiska tillämpningar. Den sammanhängande strukturen i AI-genererade resonemangskedjor kan maskera grundläggande logiska fel som kanske inte är omedelbart uppenbara.

Tittar bortom mönsterigenkänning

Kanske viktigast utmanar denna forskning AI-samhället att gå bortom ytanivåförbättringar mot att utveckla system med verklig resonemangs förmåga. Nuvarande tillvägagångssätt som bygger på att skala upp data och parametrar kan nå grundläggande gränser om de i huvudsak är sofistikerade mönsterigenkännings-system.

Arbetet minskar inte den praktiska nyttan av nuvarande AI-system. Mönsterigenkänning i stor skala kan vara anmärkningsvärt effektiv för många tillämpningar. Men det betonar vikten av att förstå den verkliga naturen av dessa förmågor snarare än att tillskriva mänskligt resonemang där det inte finns.

Vägen framåt

Denna forskning öppnar viktiga frågor om framtiden för AI-resonemang. Om nuvarande tillvägagångssätt är grundläggande begränsade av deras träningsdistributioner, vilka alternativa tillvägagångssätt kan leda till mer robust resonemangs förmåga? Hur kan vi utveckla utvärderingsmetoder som skiljer mellan mönsterigenkänning och verklig logisk inferens?

Fynden betonar också vikten av transparens och korrekt utvärdering i AI-utveckling. När dessa system blir mer avancerade och deras utdata blir mer övertygande kan gapet mellan synbar och verklig förmåga bli allt farligare om det inte förstås ordentligt.

Sammanfattning

Chain-of-Thought-resonemang i LLM oftast reflekterar mönsterigenkänning snarare än verklig logik. Medan utdata kan se övertygande ut kan de misslyckas under nya förhållanden, vilket väcker oro för kritiska områden som medicin, lag och vetenskap. Denna forskning understryker behovet av bättre testning och mer tillförlitliga tillvägagångssätt för AI-resonemang.