Modelele de limbaj mari (LLM) nu sunt raționamente – sunt doar foarte bune la planificare

Modelele de limbaj mari (LLM) precum OpenAI’s o3, Google’s Gemini 2.0 (GOOGL ) și DeepSeek’s R1 au arătat progrese remarcabile în abordarea problemelor complexe, generarea de text similar cu cel uman și chiar scrierea de cod cu precizie. Aceste LLM avansate sunt adesea numite „modele de raționament” pentru capacitățile lor remarcabile de a analiza și rezolva probleme complexe. Dar aceste modele raționează cu adevărat, sau sunt doar excepțional de bune la planificare? Această distincție este subtilă, dar profundă, și are implicații majore pentru modul în care înțelegem capacitățile și limitările LLM-urilor.

Pentru a înțelege această distincție, să comparăm două scenarii:

• Raționament: Un detectiv care investighează o crimă trebuie să pună cap la cap dovezi contradictorii, să deducă care dintre ele sunt false și să ajungă la o concluzie pe baza unor dovezi limitate. Acest proces implică inferență, rezolvarea contradicțiilor și gândire abstractă.
• Planificare: Un jucător de șah care calculează cea mai bună secvență de mișcări pentru a-l învinge pe adversar.

În timp ce ambele procese implică multiple etape, detectivul se angajează într-un raționament profund pentru a face inferențe, a evalua contradicțiile și a aplica principii generale la un caz specific. Jucătorul de șah, pe de altă parte, se angajează în principal în planificare, selectând o secvență optimă de mișcări pentru a câștiga jocul. LLM-urile, așa cum vom vedea, funcționează mult mai mult ca jucătorul de șah decât ca detectivul.

Înțelegerea diferenței: Raționament vs. Planificare

Pentru a realiza de ce LLM-urile sunt bune la planificare și nu la raționament, este important să înțelegem mai întâi diferența dintre aceste două termene. Raționamentul este procesul de a deriva noi concluzii din premise date utilizând logica și inferența. Acesta implică identificarea și corectarea inconsistențelor, generarea de insight-uri noi în loc de a oferi doar informații, luarea deciziilor în situații ambigue și implicarea în înțelegerea cauzală și gândirea contrafactuală, cum ar fi scenariile „Ce s-ar întâmpla dacă?”.

Planificarea, pe de altă parte, se concentrează pe structurarea unei secvențe de acțiuni pentru a atinge un obiectiv specific. Acesta se bazează pe descompunerea unor sarcini complexe în etape mai mici, urmarea unor strategii de rezolvare a problemelor cunoscute, adaptarea unor modele învățate anterior la probleme similare și executarea unor secvențe structurate, mai degrabă decât generarea de insight-uri noi. În timp ce atât raționamentul, cât și planificarea implică procese pas cu pas, raționamentul necesită o abstracție și o inferență mai profundă, în timp ce planificarea urmează proceduri stabilite fără a genera cunoștințe fundamental noi.

Cum abordează LLM-urile “raționamentul”

LLM-urile moderne, cum ar fi OpenAI’s o3 și DeepSeek-R1, sunt echipate cu o tehnică numită Chain-of-Thought (CoT) pentru a-și îmbunătăți capacitățile de rezolvare a problemelor. Această metodă încurajează modelele să descompună problemele în etape intermediare, imitând modul în care oamenii gândesc logic o problemă. Pentru a vedea cum funcționează, considerați o problemă matematică simplă:

Dacă un magazin vinde mere la 2 dolari bucata, dar oferă o reducere de 1 dolar per măr dacă cumpărați mai mult de 5 mere, cât ar costa 7 mere?

Un LLM tipic care utilizează CoT ar putea rezolva problema astfel:

1. Determină prețul normal: 7 * 2 dolari = 14 dolari.
2. Identifică faptul că reducerea se aplică (deoarece 7 > 5).
3. Calculează reducerea: 7 * 1 dolar = 7 dolari.
4. Scade reducerea din total: 14 dolari – 7 dolari = 7 dolari.

Prin descompunerea explicită a unei secvențe de etape, modelul minimizează șansa de a comite erori care apar din încercarea de a prezice un răspuns într-un singur pas. În timp ce această descompunere pas cu pas face ca LLM-urile să pară a raționa, ea este esențialmente o formă de rezolvare structurată a problemelor, asemănătoare urmării unei rețete pas cu pas. Pe de altă parte, un proces de raționament adevărat ar putea recunoaște o regulă generală: Dacă reducerea se aplică dincolo de 5 mere, atunci fiecare măr costă 1 dolar. Un om poate infera o astfel de regulă imediat, dar un LLM nu poate, deoarece urmează doar o secvență structurată de calcule.

De ce Chain-of-Thought este planificare, nu raționament

În timp ce Chain-of-Thought (CoT) a îmbunătățit performanța LLM-urilor la sarcini orientate spre logică, cum ar fi problemele matematice și provocările de codare, nu implică un raționament logic adevărat. Acest lucru se datorează faptului că CoT urmează cunoștințe procedurale, bazându-se pe etape structurate mai degrabă decât generând insight-uri noi. Lipsesc o înțelegere adevărată a cauzalității și a relațiilor abstracte, ceea ce înseamnă că modelul nu se angajează în gândire contrafactuală sau nu consideră situații ipotetice care necesită intuiție dincolo de datele văzute. În plus, CoT nu poate schimba fundamental abordarea dincolo de modelele pe care le-a fost antrenat, limitând capacitatea sa de a raționa creativ sau de a se adapta în scenarii nefamiliare.

Ce ar trebui să facă LLM-urile pentru a deveni mașini de raționament adevărate

Deci, ce au nevoie LLM-urile pentru a raționa cu adevărat ca oamenii? Iată câteva domenii cheie în care au nevoie de îmbunătățiri și abordări potențiale pentru a le atinge:

1. Înțelegere simbolică: Oamenii raționează manipulând simboluri abstracte și relații. LLM-urile, însă, lipsesc o mecanism de raționament simbolic adevărat. Integrarea inteligenței simbolice sau a modelelor hibride care combină rețelele neuronale cu sistemele de logică formală ar putea îmbunătăți capacitatea lor de a se angaja într-un raționament adevărat.
2. Inferență cauzală: Raționamentul adevărat necesită înțelegerea cauzei și efectului, nu doar corelațiilor statistice. Un model care raționează trebuie să infereze principii subiacente din date, mai degrabă decât să prezică doar următorul token. Cercetarea în domeniul inteligenței cauzale, care modelează în mod explicit relațiile cauză-efect, ar putea ajuta LLM-urile să treacă de la planificare la raționament.
3. Reflexie asupra sinelui și metacogniție: Oamenii evaluează constant propriile procese de gândire, întrebându-se “Are acestă concluzie sens?” LLM-urile, pe de altă parte, nu au un mecanism de reflexie asupra sinelui. Construirea unor modele care pot evalua critic propriile ieșiri ar fi un pas către un raționament adevărat.
4. Sensul comun și intuiție: Chiar dacă LLM-urile au acces la o cantitate vastă de cunoștințe, ele adesea se confruntă cu dificultăți în ceea ce privește raționamentul de sens comun. Acest lucru se întâmplă pentru că nu au experiențe din lumea reală care să le modeleze intuiția și nu pot recunoaște cu ușurință absurditățile pe care oamenii le-ar observa imediat. De asemenea, lipsesc o modalitate de a aduce dinamica lumii reale în procesul de luare a deciziilor. O modalitate de a îmbunătăți acest lucru ar putea fi construirea unui model cu un motor de sens comun, care ar putea implica integrarea intrărilor senzoriale din lumea reală sau utilizarea grafurilor de cunoștințe pentru a ajuta modelul să înțeleagă lumea așa cum o fac oamenii.
5. Gândire contrafactuală: Raționamentul uman implică adesea întrebări de tipul “Ce s-ar întâmpla dacă lucrurile ar fi diferite?” LLM-urile se confruntă cu dificultăți în astfel de scenarii “ce s-ar întâmpla dacă” pentru că sunt limitate de datele pe care au fost antrenate. Pentru ca modelele să gândească mai mult ca oamenii în astfel de situații, ar trebui să simuleze scenarii hipotetice și să înțeleagă cum schimbările variabilelor pot afecta rezultatele. De asemenea, ar trebui să aibă o modalitate de a testa diferite posibilități și de a genera noi insight-uri, mai degrabă decât doar a prezice pe baza a ceea ce au văzut anterior. Fără aceste capacități, LLM-urile nu pot imagina cu adevărat viitoruri alternative – ele pot doar lucra cu ceea ce au învățat.

Concluzie

În timp ce LLM-urile pot părea a raționa, ele se bazează de fapt pe tehnici de planificare pentru a rezolva probleme complexe. Indiferent dacă rezolvă o problemă matematică sau se angajează în deducții logice, ele sunt în principal organizate într-o manieră structurată, mai degrabă decât să înțeleagă profund principiile care stau la baza lor. Această distincție este crucială în cercetarea IA, deoarece, dacă confundăm planificarea sofisticată cu un raționament adevărat, risăm să supraestimăm capacitățile reale ale IA.

Drumul către un raționament adevărat în IA va necesita progrese fundamentale dincolo de predicția token-urilor și planificarea probabilistică. Va cere descoperiri în logica simbolică, înțelegerea cauzală și metacogniție. Până atunci, LLM-urile vor rămâne unelte puternice pentru rezolvarea structurată a problemelor, dar nu vor gândi cu adevărat așa cum o fac oamenii.