Cercetarea dezvăluie că LLM-urile recurg la raționament simplu atunci când complexitatea crește

O echipă de cercetători a publicat o studiu cuprinzător pe 20 noiembrie, analizând peste 192.000 de urme de raționament de la modele de limbaj mari (LLM), dezvăluind că sistemele de inteligență artificială se bazează pe strategii liniare și superficiale, mai degrabă decât pe procese cognitive ierarhice, pe care oamenii le folosesc în mod natural.

Echipa de cercetare a examinat 18 modele diferite în cadrul unor sarcini de raționament text, viziune și audio, comparând abordările lor cu 54 de urme de gândire ale oamenilor, colectate în mod special pentru studiu. Analiza a stabilit o taxonomie a 28 de elemente cognitive care cuprind constrângeri computaționale, controale meta-cognitive, reprezentări de cunoștințe și operații de transformare – oferind un cadru pentru a evalua nu numai dacă modelele produc răspunsuri corecte, ci și cum ajung la acele concluzii.

Diferențe fundamentale în arhitectura cognitivă

Raționamentul uman demonstrează în mod constant încorporarea ierarhică și monitorizarea meta-cognitivă – capacitatea de a reflecta asupra și regla propriile procese de gândire. Oamenii organizează în mod fluent informații în structuri încorporate, urmărind în același timp progresul lor prin probleme complexe.

LLM-urile folosesc în principal lanțuri de legături superficiale, trecând pas cu pas prin probleme fără organizarea ierarhică sau auto-reflexia care caracterizează cogniția umană. Această divergență devine mai pronunțată atunci când sarcinile sunt slab structurate sau ambigue, unde adaptabilitatea umană depășește semnificativ abordările AI.

Studiul a constatat că modelele de limbaj posedă componentele comportamentale asociate cu raționamentul de succes, dar adesea nu reușesc să le implementeze în mod spontan. Performanța variază dramatic în funcție de tipul de problemă: raționamentul dilematic a prezentat cea mai mare variație, cu modele mai mici care au luptat semnificativ, în timp ce raționamentul logic a arătat o performanță moderată, cu modele mai mari care au depășit în general modelele mai mici. Modelele demonstrează slăbiciuni contraintuitive, reușind pe sarcini complexe, dar eșuând pe variante mai simple.

Îmbunătățiri ale performanței prin raționament ghidat

Echipa de cercetare a dezvoltat îndrumarea raționamentului la timpul testării, care structurează în mod automat structuri cognitive de succes, demonstrând îmbunătățiri ale performanței de până la 66,7% la probleme complexe, atunci când modelele sunt îndemnate să adopte abordări de raționament mai umane. Această constatare sugerează că LLM-urile posedă capacități latente pentru raționament mai sofisticat, dar au nevoie de îndrumare explicită pentru a le utiliza în mod eficient.

Gap-ul dintre raționamentul uman și cel AI crește odată cu creșterea complexității sarcinii. În timp ce modelele pot gestiona probleme simple prin lanțuri de legături singure, ele luptă cu strategiile recursive și auto-monitorizate pe care oamenii le folosesc în mod natural atunci când se confruntă cu provocări ambigue sau multistratificate.

Setul de date public disponibil oferă o bază pentru cercetările viitoare care compară inteligența artificială și cea umană. Prin cartografierea a 28 de elemente cognitive distincte, cadrul permite cercetătorilor să identifice exact unde se întrerupe raționamentul AI, mai degrabă decât doar să măsoare scorurile de acuratețe.

Implicații pentru dezvoltarea IA

Constatarile subliniază o limitare fundamentală a sistemelor actuale de IA: gap-ul dintre capacitatea computațională și sofisticarea cognitivă reală. Modelele antrenate pe seturi de date masive pot găsi drumul către răspunsuri corecte pe multe sarcini, dar lipsesc de gândirea reflexivă și ierarhică care caracterizează rezolvarea problemelor umane.

Această cercetare se bazează pe preocupările crescânde cu privire la limitările raționamentului AI identificate în multiple domenii. Îmbunătățirea performanței prin raționament ghidat sugerează că strategii de îndrumare mai bune și modificări arhitecturale ar putea ajuta modelele să acceseze capacitățile lor latente de raționament în mod mai eficient.

Contribuția cea mai semnificativă a acestui studiu poate fi taxonomia detaliată a elementelor cognitive, care oferă cercetătorilor și dezvoltatorilor ținte specifice pentru îmbunătățire. Mai degrabă decât a trata raționamentul ca o capacitate monolitică, cadrul îl descompune în componente măsurabile care pot fi abordate individual prin modificări de antrenament sau tehnici de inginerie a prompturilor.