Cercetările arată că LLM-urile recurg la raționamente simple atunci când complexitatea crește

O echipă de cercetători a publicat un studiu cuprinzător pe 20 noiembrie, analizând peste 192.000 de urme de raționament de la modele de limbaj mari (LLM), dezvăluind faptul că sistemele AI se bazează pe strategii liniare și superficiale, mai degrabă decât pe procesele cognitive ierarhice pe care le folosesc oamenii în mod natural.

Echipa de cercetare a examinat 18 modele diferite în cadrul unor sarcini de raționament text, viziune și audio, comparând abordările lor cu 54 de urme de gândire ale oamenilor colectate special pentru studiu. Analiza a stabilit o taxonomie a 28 de elemente cognitive care cuprind constrângeri computaționale, controale metacognitive, reprezentări de cunoștințe și operații de transformare – oferind un cadru pentru a evalua nu numai dacă modelele produc răspunsuri corecte, ci și cum ajung la acele concluzii.

Diferențe fundamentale în arhitectura cognitivă

Raționamentul uman demonstrează în mod constant încorporare ierarhică și monitorizare metacognitivă – capacitatea de a reflecta asupra și regla propriile procese de gândire. Oamenii organizează fluent informația în structuri încorporate, urmărind în același timp progresul lor prin probleme complexe.

LLM-urile folosesc în principal lanțuri înainte superficiale, trecând pas cu pas prin probleme fără organizarea ierarhică sau auto-reflexia care caracterizează cogniția umană. Această divergență devine mai pronunțată atunci când sarcinile sunt slab structurate sau ambigue, unde adaptabilitatea umană depășește semnificativ abordările AI.

Studiul a constatat că modelele de limbaj posedă componentele comportamentale asociate cu raționamentul de succes, dar adesea nu le folosesc spontan. Performanța variază dramatic în funcție de tipul de problemă: raționamentul dilematic a prezentat variația cea mai mare, modelele mai mici luptându-se semnificativ, în timp ce raționamentul logic a arătat o performanță moderată, modelele mai mari depășind în general modelele mai mici. Modelele demonstrează slăbiciuni contraintuitive, reușind în sarcini complexe, dar eșuând în variante mai simple.

Îmbunătățiri ale performanței prin raționament ghidat

Echipa de cercetare a dezvoltat un ghid de raționament la momentul testării care structurează automat structuri cognitive de succes, demonstrând îmbunătățiri ale performanței până la 66,7% la probleme complexe atunci când modelele sunt îndemnate să adopte abordări de raționament mai umane. Această constatare sugerează că LLM-urile posedă capacități latente pentru un raționament mai sofisticat, dar au nevoie de îndrumare explicită pentru a le folosi eficient.

Gap-ul dintre raționamentul uman și cel AI crește odată cu creșterea complexității sarcinii. În timp ce modelele pot gestiona problemele simple prin lanțuri înainte singure, ele se luptă cu strategiile recursive, auto-monitorizate pe care le folosesc oamenii în mod natural atunci când se confruntă cu provocări ambigue sau multistratificate.

Setul de date public disponibil oferă o bază pentru cercetările viitoare care compară inteligența artificială și cea umană. Prin cartografierea a 28 de elemente cognitive distincte, cadrul permite cercetătorilor să identifice exact unde se întrerupe raționamentul AI, mai degrabă decât doar să măsoare scorurile de acuratețe.

Implicații pentru dezvoltarea AI

Rezultatele subliniază o limitare fundamentală a sistemelor AI actuale: gap-ul dintre capacitatea computațională și sofisticarea cognitivă reală. Modelele antrenate pe seturi de date masive pot găsi modele și ajunge la răspunsuri corecte la multe sarcini, dar lipsesc de gândirea reflexivă, ierarhică care caracterizează rezolvarea problemelor umane.

Această cercetare se bazează pe preocupările crescânde cu privire la limitările raționamentului AI identificate în multiple domenii. Îmbunătățirea performanței prin raționament ghidat sugerează că strategiile de îndrumare mai bune și modificările arhitecturale pot ajuta modelele să acceseze capacitățile lor latente de raționament mai eficient.

Contribuția cea mai semnificativă a studiului poate fi taxonomia detaliată a elementelor cognitive, care oferă cercetătorilor și dezvoltatorilor ținte specifice pentru îmbunătățire. Mai degrabă decât a trata raționamentul ca o capacitate monolitică, cadrul îl descompune în componente măsurabile care pot fi abordate individual prin modificări de antrenament sau tehnici de inginerie a prompturilor.