Výzkum odhaluje, že velké jazykové modely (LLM) používají při zvýšené složitosti jednoduché myšlení

Tým výzkumníků publikoval komplexní studii dne 20. listopadu, ve které analyzovali více než 192 000 stop myšlení z velkých jazykových modelů (LLM), a zjistili, že systémy umělé inteligence se spoléhají na mělké, lineární strategie spíše než na hierarchické kognitivní procesy, které lidé přirozeně využívají.

Výzkumný tým prozkoumal 18 různých modelů napříč textovými, vizuálními a audio úkoly myšlení, porovnávající jejich přístupy proti 54 lidským stopám myšlení shromážděným speciálně pro studii. Analýza stanovila taxonomii 28 kognitivních prvků, které zahrnují výpočetní omezení, meta-kognitivní kontroly, znalostní reprezentace a transformační operace – poskytující rámec pro hodnocení nejen toho, zda modely produkují správné odpovědi, ale také toho, jak k těmto závěrům docházejí.

Základní rozdíly v kognitivní architektuře

Lidské myšlení konzistentně demonstruje hierarchické vnořování a meta-kognitivní monitorování – schopnost odrážet a regulovat vlastní myšlení. Lidé snadno organizují informace do vnořených struktur, zatímco aktivně sledují svůj postup při řešení složitých problémů.

LLM převážně používají mělké přímé řetězení, postupující krok za krokem skrze problémy bez hierarchické organizace nebo sebe-reflexe, které charakterizují lidské kognice. Tento rozpor se stává nejvýraznějším, když jsou úkoly špatně strukturované nebo víceznačné, kde lidská adaptabilita výrazně převyšuje přístupy umělé inteligence.

Studie zjistila, že jazykové modely disponují behaviorálními komponentami spojenými s úspěšným myšlením, ale často selhávají v jejich spontánním nasazení. Výkon se dramaticky liší podle typu problému: myšlení v dilematech vykazovalo nejvyšší variabilitu, přičemž menší modely měly výrazné potíže, zatímco logické myšlení ukázalo mírný výkon, přičemž větší modely obecně převyšovaly menší. Modely demonstrují proti-intuitivní slabosti, daří se jim v komplexních úkolech, zatímco selhávají v jednodušších variantách.

Zlepšení výkonu prostřednictvím řízeného myšlení

Výzkumný tým vyvinul testovací řízení myšlení, které automaticky vytváří úspěšné kognitivní struktury, demonstrující zlepšení výkonu až o 66,7 % u složitých problémů, když modely jsou vybaveny k přijetí více lidských myšlení. Tento objev naznačuje, že LLM disponují latentními schopnostmi pro sofistikovanější myšlení, ale potřebují explicitní vedení, aby je efektivně využily.

Mezera mezi lidským a umělým myšlením se rozšiřuje, jak se zvyšuje složitost úkolu. Zatímco modely mohou zvládnout přímé problémy pomocí přímého řetězení, mají potíže s rekursivními, sebe-monitorovacími strategiemi, které lidé přirozeně nasazují, když čelí nejasným nebo vícesvrstvým výzvám.

Studie poskytuje veřejně dostupná data, která slouží jako základ pro budoucí výzkum srovnávající umělou a lidskou inteligenci. Mapováním 28 různých kognitivních prvků rámec umožňuje výzkumníkům přesně určit, kde se myšlení umělé inteligence rozpadá, spíše než měřit pouze přesnost skóre.

Dopady pro vývoj umělé inteligence

Zjištění zdůrazňují fundamentální omezení současné umělé inteligence: mezeru mezi výpočetními schopnostmi a skutečnou kognitivní sofistikovaností. Modely vyškolené na rozsáhlých datech mohou najít cestu k správným odpovědím na mnoho úkolů, ale postrádají reflexivní, hierarchické myšlení, které charakterizuje lidské řešení problémů.

Tento výzkum navazuje na rostoucí obavy o omezení myšlení umělé inteligence identifikovaná v několika oblastech. Zlepšení výkonu z řízeného myšlení naznačuje, že lepší strategie vedení a architektonické úpravy by mohly pomoci modelům přístup k jejich latentním schopnostem myšlení efektivněji.

Nejvýznamnějším příspěvkem studie může být její podrobná taxonomie kognitivních prvků, poskytující výzkumníkům a vývojářům specifické cíle pro zlepšení. Místo toho, aby se myšlení považovalo za monolitickou schopnost, rámec rozděluje myšlení na měřitelné komponenty, které lze individuálně řešit prostřednictvím úprav školení nebo technik inženýrství podnětů.