LLM’er er ikke resonnerende – de er bare rigtig gode til planlægning

Store sprogmodeller (LLM’er) som OpenAI’s o3, Google’s Gemini 2.0 og DeepSeek’s R1 har vist bemærkelsesværdig fremgang i at løse komplekse problemer, generere menneske-lignende tekst og endda skrive kode med præcision. Disse avancerede LLM’er kaldes ofte for “resonneringsmodeller” på grund af deres bemærkelsesværdige evner til at analysere og løse komplekse problemer. Men gør disse modeller virkelig resonnering, eller er de bare exceptionelt gode til planlægning? Denne forskel er subtil, men dyb, og den har store konsekvenser for, hvordan vi forstår LLM’ers evner og begrænsninger.

For at forstå denne forskel, lad os sammenligne to scenarier:

• Resonnering: En detektiv, der undersøger en forbrydelse, må samle sammen modstridende beviser, slutte, hvilke der er falske, og nå en konklusion baseret på begrænsede beviser. Denne proces indebærer slutning, modstridighedsopløsning og abstrakt tænkning.
• Planlægning: En skakspiller, der beregner den bedste rækkefølge af træk for at matte sin modstander.

Selv om begge processer indebærer flere trin, engagerer detektiven sig i dyb resonnering for at slutte, evaluere modstridigheder og anvende generelle principper på et specifikt tilfælde. Skakspilleren, på den anden side, er primært engageret i planlægning, hvor han vælger den optimale rækkefølge af træk for at vinde spillet. LLM’er fungerer, som vi skal se, mere som skakspilleren end som detektiven.

At forstå forskellen: Resonnering vs. Planlægning

For at forstå, hvorfor LLM’er er gode til planlægning og ikke resonnering, er det vigtigt at først forstå forskellen mellem begge begreber. Resonnering er processen med at udlede nye konklusioner fra givne præmisser ved hjælp af logik og slutning. Det indebærer at identificere og korrigere inkonsistenser, generere nye indsigt i stedet for blot at give information, træffe beslutninger i tvetydige situationer og engagere sig i årsagsforståelse og kontrafaktisk tænkning som “Hvad hvis?”-scenarier.

Planlægning, på den anden side, fokuserer på at strukturere en række handlinger for at opnå et specifikt mål. Det afhænger af at bryde komplekse opgaver ned i mindre trin, følge kendte problem-løsningsstrategier, tilpasse tidligere lært mønstre til lignende problemer og udføre strukturerede sekvenser i stedet for at udlede nye indsigt. Selv om både resonnering og planlægning indebærer trin-for-trin-behandling, kræver resonnering dybere abstraktion og slutning, hvorimod planlægning følger etablerede procedurer uden at generere fundamentalt nye viden.

Hvordan LLM’er tilgår “resonnering”

Moderne LLM’er, som OpenAI’s o3 og DeepSeek-R1, er udstyret med en teknik, kendt som Chain-of-Thought (CoT)-resonnering, for at forbedre deres problem-løsningsfærdigheder. Denne metode opmuntrer modellerne til at bryde problemer ned i mellemtrin, hvilket efterligner, hvordan mennesker tænker logisk gennem et problem. For at se, hvordan det fungerer, overvej et simpelt matematikproblem:

Hvis en butik sælger æbler for 2 dollar hver, men tilbyder en rabat på 1 dollar per æble, hvis du køber mere end 5 æbler, hvor meget ville 7 æbler koste?

En typisk LLM, der bruger CoT-prompting, kan løse det på følgende måde:

1. Bestem den normale pris: 7 * 2 dollar = 14 dollar.
2. Identificer, at rabatten gælder (da 7 > 5).
3. Beregn rabatten: 7 * 1 dollar = 7 dollar.
4. Træk rabatten fra den totale pris: 14 dollar – 7 dollar = 7 dollar.

Ved at udtrykkeligt lægge ud en sekvens af trin, minimiserer modellen chancen for fejl, der opstår, når man forsøger at forudsige et svar på én gang. Selv om denne trin-for-trin-nedbrydning gør LLM’er til at se ud, som om de resonnerer, er det i virkeligheden en form for struktureret problem-løsning, meget lig en trin-for-trin-opskrift. På den anden side ville en sand resonneringsproces måske genkende en generel regel: Hvis rabatten gælder for mere end 5 æbler, så koster hvert æble 1 dollar. Et menneske kan slutte sådan en regel straks, men en LLM kan ikke, da den blot følger en struktureret sekvens af beregninger.

Hvorfor Chain-of-Thought er planlægning, ikke resonnering

Selv om Chain-of-Thought (CoT) har forbedret LLM’ers præstationer på logik-orienterede opgaver som matematikordproblemer og kodningsudfordringer, indebærer det ikke ægte logisk resonnering. Dette skyldes, at CoT følger procedurkundskab, hvor man afhænger af strukturerede trin i stedet for at generere nye indsigt. Det mangler en sand forståelse af årsagsforhold og abstrakte relationer, hvilket betyder, at modellen ikke engagerer sig i kontrafaktisk tænkning eller overvejer hypotetiske situationer, der kræver intuition ud over set data. Derudover kan CoT ikke fundamentalt ændre sin tilgang ud over de mønstre, den er blevet trænet på, hvilket begrænser dens evne til at resonere kreativt eller tilpasse sig i ukendte situationer.

Hvad ville det tage for LLM’er at blive sande resonneringsmaskiner?

Så, hvad har LLM’er brug for for at virkelig resonere som mennesker? Her er nogle nøgleområder, hvor de kræver forbedring, og potentielle tilgange til at opnå det:

1. Symbolisk forståelse: Mennesker resonnerer ved at manipulere abstrakte symboler og relationer. LLM’er mangler dog en ægte symbolisk resonneringsmekanisme. Integration af symbolisk AI eller hybridmodeller, der kombinerer neurale netværk med formelle logiksystemer, kunne forbedre deres evne til at engagere sig i sand resonnering.
2. Årsagsinference: Sand resonnering kræver en forståelse af årsag og virkning, ikke blot statistiske korrelationer. En model, der resonnerer, må slutte underliggende principper fra data i stedet for blot at forudsige det næste token. Forskning i årsags-AI, der eksplicit modellerer årsag-og-virkningsforhold, kunne hjælpe LLM’er med at gå fra planlægning til resonnering.
3. Selvrefleksion og metakognition: Mennesker evaluerer konstant deres egne tankeprocesser ved at spørge “Gør denne konklusion mening?” LLM’er har dog ikke en mekanisme for selvrefleksion. Opbygning af modeller, der kan kritisk evaluere deres egne outputs, ville være et skridt mod sand resonnering.
4. Fælles fornuft og intuition: Selv om LLM’er har adgang til enorme mængder af viden, kæmper de ofte med grundlæggende fælles fornuft-resonnering. Dette sker, fordi de ikke har virkelige verdensoplevelser, der kan forme deres intuition, og de kan ikke let genkende absurditeter, som mennesker ville opdage straks. De mangler også en måde at bringe virkelige verdensdynamikker ind i deres beslutningstagning. En måde at forbedre dette kunne være at bygge en model med en fælles fornuft-motor, der måske indebærer integration af virkelige sanselige input eller brug af viden grafer til at hjælpe modellen med at forstå verden på samme måde som mennesker.
5. Kontrafaktisk tænkning: Menneskelig resonnering indebærer ofte at spørge, “Hvad hvis tingene var anderledes?” LLM’er kæmper med disse “hvis”-scenarier, fordi de er begrænsede af de data, de er blevet trænet på. For modeller til at tænke mere som mennesker i disse situationer, ville de behøve at simulere hypotetiske scenarier og forstå, hvordan ændringer i variabler kan påvirke resultater. De ville også behøve en måde at teste forskellige muligheder og komme med nye indsigt, i stedet for blot at forudsige baseret på, hvad de har set. Uden disse evner kan LLM’er ikke virkelig forestille sig alternative fremtider – de kan kun arbejde med, hvad de har lært.

Konklusion

Selv om LLM’er måske ser ud til at resonere, afhænger de i virkeligheden af planlægnings-teknikker til at løse komplekse problemer. Uanset om de løser et matematikproblem eller engagerer sig i logisk slutning, er de primært organiserer kendte mønstre på en struktureret måde i stedet for at dybt forstå principperne bag dem. Denne forskel er afgørende i AI-forskning, fordi hvis vi forveksler sofistikeret planlægning med ægte resonnering, risikerer vi at overvurdere AI’s sande evner.

Vejen til sand resonnerings-AI vil kræve fundamentale fremskridt ud over token-forudsigelse og probabilistisk planlægning. Det vil kræve gennembrud i symbolisk logik, årsagsforståelse og metakognition. Indtil da vil LLM’er forblive kraftfulde værktøjer til struktureret problem-løsning, men de vil ikke virkelig tænke på samme måde som mennesker.