LLM:er är inte resonemang – de är bara riktigt bra på planering

Stora språkmodeller (LLM:er) som OpenAI:s o3, Googles Gemini 2.0 och DeepSeek:s R1 har visat imponerande framsteg i att hantera komplexa problem, generera mänsklig text och till och med skriva kod med precision. Dessa avancerade LLM:er kallas ofta för “resonemangsmodeller” på grund av deras anmärkningsvärda förmåga att analysera och lösa komplexa problem. Men gör dessa modeller verkligen resonemang, eller är de bara exceptionellt bra på planering? Denna distinktion är subtil men djupgående, och den har stora implikationer för hur vi förstår LLM:ers förmågor och begränsningar.

För att förstå denna distinktion, låt oss jämföra två scenarier:

• Resonemang: En detektiv som utreder ett brott måste sammanfoga motstridiga bevis, avgöra vilka som är falska och komma fram till en slutsats baserat på begränsad information. Denna process involverar inferens, motsägelselösning och abstrakt tänkande.
• Planering: En schackspelare som beräknar den bästa sekvensen av drag för att schacka motståndaren.

Medan båda processerna involverar flera steg, engagerar sig detektiven i djupt resonemang för att göra inferenser, utvärdera motsägelser och tillämpa allmänna principer på ett specifikt fall. Schackspelaren, å andra sidan, engagerar sig primärt i planering, väljer en optimal sekvens av drag för att vinna spelet. LLM:er, som vi kommer att se, fungerar mer som schackspelaren än detektiven.

Att förstå skillnaden: Resonemang vs. Planering

För att förstå varför LLM:er är bra på planering snarare än resonemang, är det viktigt att först förstå skillnaden mellan båda termerna. Resonemang är processen att dra nya slutsatser från givna premisser med hjälp av logik och inferens. Det involverar att identifiera och korrigera inkonsekvenser, generera nya insikter snarare än att bara tillhandahålla information, fatta beslut i oklara situationer och engagera sig i kausalt tänkande och kontrafaktiskt tänkande som “Vad om?”-scenarier.

Planering, å andra sidan, fokuserar på att strukturera en sekvens av åtgärder för att uppnå ett specifikt mål. Det bygger på att bryta ned komplexa uppgifter i mindre steg, följa kända problemlösningsstrategier, anpassa tidigare inlärda mönster till liknande problem och utföra strukturerade sekvenser snarare än att generera nya insikter. Medan både resonemang och planering involverar stegvis bearbetning, kräver resonemang djupare abstraktion och inferens, medan planering följer etablerade procedurer utan att generera grundläggande ny kunskap.

Hur LLM:er närmar sig “resonemang”

Modern LLM, som OpenAI:s o3 och DeepSeek-R1, är utrustade med en teknik som kallas Chain-of-Thought (CoT)-resonemang, för att förbättra deras problemlösningsförmåga. Denna metod uppmuntrar modellerna att bryta ned problem i mellanliggande steg, på samma sätt som människor tänker igenom ett problem logiskt. För att se hur det fungerar, överväg ett enkelt matematikproblem:

Om en butik säljer äpplen för 2 dollar styck men erbjuder en rabatt på 1 dollar per äpple om du köper mer än 5 äpplen, hur mycket skulle 7 äpplen kosta?

En typisk LLM som använder CoT-promptning skulle lösa det på följande sätt:

1. Bestäm den vanliga priset: 7 * 2 = 14 dollar.
2. Identifiera att rabatten gäller (eftersom 7 > 5).
3. Beräkna rabatten: 7 * 1 = 7 dollar.
4. Subtrahera rabatten från den totala summan: 14 – 7 = 7 dollar.

Genom att uttryckligen lägga ut en sekvens av steg minskar modellen chansen att göra fel som uppstår från att försöka förutsäga ett svar på en gång. Medan denna stegvis nedbrytning gör att LLM:er verkar resonera, är det i själva verket en form av strukturerad problemlösning, liknande att följa ett recept. Å andra sidan kan en sann resonemangsprocess känna igen en allmän regel: Om rabatten gäller för mer än 5 äpplen, så kostar varje äpple 1 dollar. En människa kan direkt inse en sådan regel, men en LLM kan inte, eftersom den bara följer en strukturerad sekvens av beräkningar.

Varför Chain-of-Thought är planering, inte resonemang

Medan Chain-of-Thought (CoT) har förbättrat LLM:ers prestation på logiskt inriktade uppgifter som matematikproblem och kodningsutmaningar, involverar det inte äkta logiskt resonemang. Detta beror på att CoT följer procedurkunskap, beroende på strukturerade steg snarare än att generera nya insikter. Det saknar en sann förståelse av kausalitet och abstrakta relationer, vilket innebär att modellen inte engagerar sig i kontrafaktiskt tänkande eller överväger hypotetiska situationer som kräver intuition utöver sett data. Dessutom kan CoT inte grundläggande ändra sin tillvägagångssätt utöver de mönster den har tränats på, vilket begränsar dess förmåga att resonera kreativt eller anpassa sig i ovana scenarier.

Vad krävs för att LLM:er ska bli sanna resonemangsmaskiner?

Så, vad behöver LLM:er för att verkligen resonera som människor? Här är några nyckelområden där de kräver förbättring och potentiella tillvägagångssätt för att uppnå det:

1. Symbolisk förståelse: Människor resonera genom att manipulera abstrakta symboler och relationer. LLM:er, å andra sidan, saknar en äkta symbolisk resonemangsmekanism. Integration av symbolisk AI eller hybridmodeller som kombinerar neuronnätverk med formella logiksystem kan förbättra deras förmåga att engagera sig i äkta resonemang.
2. Kausalt slutledning: Sann resonemang kräver förståelse av orsak och verkan, inte bara statistiska korrelationer. En modell som resonera måste härleda underliggande principer från data snarare än att bara förutsäga nästa token. Forskning om kausalt AI, som explicit modellerar orsak-och-verkan-relationer, kunde hjälpa LLM:er att gå från planering till resonemang.
3. Självreflektion och metakognition: Människor utvärderar ständigt sina egna tankeprocesser genom att fråga “Gör denna slutsats mening?” LLM:er, å andra sidan, har inte en mekanism för självreflektion. Att bygga modeller som kan kritiskt utvärdera sina egna utdata skulle vara ett steg mot sann resonemang.
4. Vanligt sunt förnuft och intuition: Även om LLM:er har tillgång till stora mängder kunskap, kämpar de ofta med grundläggande sunt förnuft-resonemang. Detta beror på att de inte har verkliga världsupplevelser för att forma deras intuition, och de kan inte lätt känna igen absurditeter som människor skulle upptäcka direkt. De saknar också ett sätt att bringa verkliga världsdynamik in i deras beslutsfattande. Ett sätt att förbättra detta kunde vara att bygga en modell med en sunt förnuft-motor, som kanske innebär att integrera verkliga världssensoriska indata eller använda kunskapsgrafer för att hjälpa modellen att bättre förstå världen som människor gör.
5. Kontrafaktiskt tänkande : Mänskligt resonemang involverar ofta att fråga, “Vad om saker var annorlunda?” LLM:er kämpar med dessa typer av “vad om”-scenarier eftersom de är begränsade av de data de har tränats på. För att modeller ska tänka mer som människor i dessa situationer, måste de simulera hypotetiska scenarier och förstå hur förändringar i variabler kan påverka resultat. De måste också ha ett sätt att testa olika möjligheter och komma med nya insikter, snarare än att bara förutsäga baserat på vad de har sett. Utan dessa förmågor kan LLM:er inte verkligen föreställa sig alternativa framtider – de kan bara arbeta med vad de har lärt sig.

Slutsats

Medan LLM:er kan verka resonera, förlitar de sig i själva verket på planeringstekniker för att lösa komplexa problem. Oavsett om de löser ett matematikproblem eller engagerar sig i logisk deduktion, är de primärt organiserande kända mönster på ett strukturerat sätt snarare än att djupt förstå principerna bakom dem. Denna distinktion är avgörande i AI-forskning, eftersom om vi förväxlar sofistikerad planering med äkta resonemang, riskerar vi att överskatta AI:s verkliga förmågor.

Vägen till sann resonemang-AI kommer att kräva grundläggande framsteg utöver tokenprediktion och probabilistisk planering. Det kommer att kräva genombrott inom symbolisk logik, kausalt förstående och metakognition. Tills dess kommer LLM:er att förbli kraftfulla verktyg för strukturerad problemlösning, men de kommer inte att verkligen tänka som människor gör.