Illusjonen om AI-resonnering: Hvorfor Chain-of-Thought kanskje ikke er det vi tror

Store språkmodeller (LLMs) har imponert oss med sin evne til å bryte ned komplekse problemer trinn for trinn. Når vi ber LLM-er om å løse et matematisk problem, viser de nå sitt arbeid, og går gjennom hver logisk trinn før de kommer til et svar. Denne tilnærmingen, kalt Chain-of-Thought (CoT)-resonnering, har gjort AI-systemer mer menneskelige i deres tenkingsprosess. Men hva hvis denne imponerende resonneringsevnen faktisk er en illusjon? Ny forskning fra Arizona State University suger at det som ser ut som ekte logisk tenkning kan være en sofistikert mønster-gjenkjenningsteknikk. I denne artikkelen vil vi utforske denne oppdagelsen og analysere dens implikasjoner for måten vi designer, vurderer og stoler på AI-systemer.

Problemet med nåværende forståelse

Chain-of-thought-prompting har blitt en av de mest anerkjente fremgangene i AI-resonnering. Det lar modellene håndtere alt fra matematiske problemer til logiske puslespill ved å vise sitt arbeid gjennom mellomliggende trinn. Denne åpenbare resonneringsevnen har ført mange til å tro at AI-systemer utvikler inferensielle evner lignende menneskelig tenkning. Imidlertid har forskere begynt å spørre om denne troen.

I en nylig studie observerte de at når de ble bedt om spørsmål som om USA ble etablert i et skuddår eller et normalt år, ga LLM-ene en inkonsistent beskjed. Mens de riktig identifiserte grunnen til at 1776 er delelig med 4 og sa at det var et skuddår, konkluderte modellene likevel med at USA ble etablert i et normalt år. I dette tilfelle viste modellene kunnskap om reglene og viste logiske trinn, men nådde en motsigende konklusjon.

Slike eksempler suger at det kan være en grunnleggende gap mellom det som ser ut som resonnering og faktisk logisk inferens.

En ny linse for å forstå AI-resonnering

En nøkkelinnovasjon i denne forskningen er innføringen av en “datafordelingslinse” for å undersøke Chain-of-Thought (CoT)-resonnering. Forskerne antok at CoT er en avansert mønster-gjenkjenningsteknikk som opererer på statistiske regelmessigheter i treningdata, snarere enn ekte logisk resonnering. Modellen genererer resonneringsbaner som approksimerer hva den har sett før, snarere enn å utføre logiske operasjoner.

For å teste denne hypotesen skapte forskerne DataAlchemy, en kontrollert eksperimentell miljø. I stedet for å teste forhånds trenede LLM-er med komplekse treningshistorier, trenet de mindre modeller fra scratch på nøye designede oppgaver. Denne tilnærmingen eliminerer kompleksiteten i stor skala forhånds trening og muliggjør systematisk testing av hvordan distribusjonsendringer påvirker resonneringsytelse.

Forskerne fokuserte på enkle transformasjonsoppgaver som involverte sekvenser av bokstaver. For eksempel, lærte de modellene å anvende operasjoner som å rotere bokstaver i alfabetet (A blir N, B blir O) eller å flytte posisjoner i en sekvens (APPLE blir EAPPL). Ved å kombinere disse operasjonene, skapte forskerne multi-trinns resonneringskjeder med varierende kompleksitet. Denne tilnærmingen ga dem fordelen av presisjon. De kunne kontrollere nøyaktig hva modellene lærte under trening og deretter teste hvor godt de generaliserte til nye situasjoner. Denne nivået av kontroll er umulig med store kommersielle AI-systemer trenet på massive, diverse datasamlinger.

Når AI-resonnering bryter sammen

Forskerne testet CoT-resonnering over tre kritiske dimensjoner hvor virkelige applikasjoner kan avvike fra treningdata.

Oppgavegeneralisering undersøkte hvordan modellene håndterer nye problemer de aldri har møtt før. Når testet på transformasjoner identiske med treningdata, oppnådde modellene fullstendig ytelse. Imidlertid forårsaket små variasjoner dramatiske feil i deres resonneringsevner. Selv når de nye oppgavene var sammensetninger av kjente operasjoner, feilet modellene i å anvende sine lærte mønster korrekt.

En av de mest bekymringsverdige innsiktene var hvordan modellene ofte produserte resonneringstrinn som var perfekt formatert og så logiske ut, men ledet til feil svar. I noen tilfeller genererte de korrekte svar gjennom tilfeldighet mens de fulgte helt feil resonneringsbaner. Disse funnene suger at modellene i realiteten matcher overflate-mønster snarere enn å forstå underliggende logikk.

Lengdegeneralisering testet om modellene kunne håndtere resonneringskjeder lengre eller kortere enn de i trening. Forskerne fant at modellene trenet på lengde 4 fullstendig feilet når de ble testet på lengder 3 eller 5, til tross for at disse var relativt mindre endringer. I tillegg prøvde modellene å tvinge sin resonnering inn i den kjente mønsterlengden ved å legge til eller fjerne trinn på en uaktuelt måte, snarere enn å tilpasse seg de nye kravene.

Formatgeneralisering vurderte sensitiviteten til overflate-nivå variasjoner i hvordan problemer ble presentert. Selv små endringer som å sette inn støytoken eller å modifisere promptstrukturen, forårsaket betydelig ytelsesnedgang. Dette avdekket hvor avhengige modellene er av eksakte formateringsmønster fra treningdata.

Skjørhetsproblemet

Over alle tre dimensjoner avdekket forskningen en konsistent mønster: CoT-resonnering fungerer godt når den blir anvendt på data lik treningseksemplene, men blir skjør og utsatt for feil selv under moderate distribusjonsendringer. Den åpenbare resonneringsevnen er essensielt en “skjør illusjon” som forsvinner når modellene møter ukjente situasjoner.

Dette skjørhetsproblemet kan manifestere seg på flere måter. Modellene kan generere flytende, velstrukturerte resonneringskjeder som er fullstendig feil. De kan følge perfekt logisk form mens de mangler grunnleggende logiske forbindelser. Noen ganger produserer de korrekte svar gjennom matematisk tilfeldighet mens de demonstrerer feil resonneringsprosesser.

Forskningen viste også at overvåket finjustering på små mengder nye data kan raskt gjenopprette ytelse, men dette utvider bare modellens mønster-gjenkjenningssamling snarere enn å utvikle ekte resonneringsevner. Det er som å lære å løse et nytt type matematisk problem ved å memorere spesifikke eksempler snarere enn å forstå de underliggende matematiske prinsippene.

Reelle verdens implikasjoner

Disse funnene kan ha alvorlige implikasjoner for hvordan vi deployer og stoler på AI-systemer. I høyrisk-domener som medisin, finans eller juridisk analyse, kan evnen til å generere plausibelt lydende, men fundamentalt feil resonnering, være mer farlig enn enkle feil svar. Fremveksten av logisk tenkning kan føre til at brukerne plasserer ufortjent tillit til AI-konklusjoner.

Forskningen suger flere viktige retningslinjer for AI-praktikere. Først bør organisasjoner ikke behandle CoT som en universell løsning for problemer. Standard test-tilnærming som bruker data lik treningssammenlinger er utilstrekkelige for å vurdere sanne resonneringsevner. I stedet er rigorøs ut-av-distribusjonstesting essensielt for å forstå modellbegrensninger.

For det andre krever modellenes tendens til å generere “flytende nonsens” nøye menneskelig overvåking, spesielt i kritiske applikasjoner. Den koherente strukturen i AI-genererte resonneringskjeder kan maskere grunnleggende logiske feil som kanskje ikke er umiddelbart åpenbare.

Se bort fra mønster-gjenkjenning

Kanskje mest viktig er at denne forskningen utfordrer AI-samfunnet til å gå bort fra overflate-nivå forbedringer mot å utvikle systemer med ekte resonneringsevner. Nåværende tilnærming som avhenger av å skalle opp data og parametre, kan nå fundamentale grenser hvis de i hovedsak er sofistikerte mønster-gjenkjenningssystemer.

Arbeidet diminuerer ikke den praktiske nytten av nåværende AI-systemer. Mønster-gjenkjenning i stor skala kan være bemerkelsesverdig effektiv for mange applikasjoner. Imidlertid understreker det viktigheten av å forstå den sanne naturen til disse evnene snarere enn å tilskrive menneskelig-lignende resonnering hvor ingen eksisterer.

Veien fremover

Denne forskningen åpner viktige spørsmål om fremtiden for AI-resonnering. Hvis nåværende tilnærming er fundamentalt begrenset av deres treningssammenlinger, hva alternative tilnærming kan føre til mer robuste resonneringsevner? Hvordan kan vi utvikle evalueringmetoder som skiller mellom mønster-gjenkjenning og ekte logisk inferens?

Funnene understreker også viktigheten av transparens og korrekt evaluering i AI-utvikling. Ettersom disse systemene blir mer sofistikerte og deres utdata mer overbevisende, kan gapet mellom åpenbar og faktisk evne bli stadig farligere hvis det ikke blir korrekt forstått.

Bunnen av saken

Chain-of-Thought-resonnering i LLM-er reflekterer ofte mønster-gjenkjenning snarere enn ekte logikk. Mens utdata kan se overbevisende ut, kan de feile under nye forhold, og vekke bekymring for kritiske felt som medisin, lov og vitenskap. Denne forskningen understreker behovet for bedre testing og mer pålitelige tilnærming til AI-resonnering.