Výzkum odhaluje, že LLM přepínají na jednoduché myšlení, když se zvyšuje složitost

Tým výzkumníků publikoval komplexní studii dne 20. listopadu, která analyzovala více než 192 000 stop myšlení z velkých jazykových modelů (LLM), odhalující, že systémy AI spoléhají na mělké, lineární strategie spíše než na hierarchické kognitivní procesy, které lidé přirozeně využívají.

Výzkumný tým prozkoumal 18 různých modelů napříč úkoly pro text, vidění a audio, porovnávající jejich přístupy proti 54 lidským stopám myšlení shromážděným speciálně pro studii. Analýza stanovila taxonomii 28 kognitivních prvků, které zahrnují výpočetní omezení, meta-kognitivní kontroly, znalostní reprezentace a transformační operace – poskytující rámec pro hodnocení nejen toho, zda modely produkují správné odpovědi, ale také to, jak k těmto závěrům docházejí.

Základní rozdíly v kognitivní architektuře

Lidské myšlení konzistentně demonstruje hierarchické vnořování a meta-kognitivní monitorování – schopnost odrážet a regulovat vlastní myšlení procesy. Lidé snadno organizují informace do vnořených struktur, zatímco aktivně sledují svůj postup prostřednictvím složitých problémů.

LLM převážně využívají mělké forward chaining, pohybující se krok za krokem prostřednictvím problémů bez hierarchické organizace nebo sebe-reflexe, které charakterizují lidskou kognici. Tento rozpor se stává nejvíce zřetelným, když úkoly jsou špatně strukturované nebo dvojznačné, kde lidská adaptabilita významně převyšuje přístupy AI.

Studie zjistila, že jazykové modely vlastnily behaviorální komponenty spojené s úspěšným myšlením, ale často selhaly v jejich spontánním nasazení. Výkon se dramaticky lišil podle typu problému: dilematické myšlení vykazovalo nejvyšší variaci, přičemž menší modely měly značné potíže, zatímco logické myšlení ukázalo mírný výkon, přičemž větší modely obecně převyšovaly menší modely. Modely prokázaly protichůdné slabosti, daří se jim v komplexních úkolech, zatímco selhávají v jednodušších variantách.

Zlepšení výkonu prostřednictvím řízeného myšlení

Výzkumný tým vyvinul testovací vedení myšlení, které automaticky vytváří úspěšné kognitivní struktury, demonstrující zlepšení výkonu až o 66,7 % u složitých problémů, když modely jsou naprogramovány na přijetí více lidských přístupů k myšlení. Tento výsledek naznačuje, že LLM vlastnily latentní schopnosti pro sofistikovanější myšlení, ale potřebují explicitní vedení k jejich efektivnímu nasazení.

Mezera mezi lidským a AI myšlením se rozšiřuje, když se zvyšuje složitost úkolu. Zatímco modely mohou zvládnout přímé problémy pomocí forward chaining alone, mají potíže s tím, jakýsi rekurzivní, sebe-monitorovací strategie, které lidé přirozeně nasazují, když čelí dvojznačným nebo vícerovným výzvám.

Studie poskytuje veřejně dostupný dataset, který poskytuje základnu pro budoucí výzkum srovnávající umělou a lidskou inteligenci. Mapováním 28 různých kognitivních prvků poskytuje rámec možnost přesně určit, kde se AI myšlení rozpadá, spíše než měření pouze přesnosti skóre.

Dopady pro vývoj AI

Zjištění zdůrazňují základní omezení současných systémů AI: mezera mezi výpočetní schopností a skutečnou kognitivní sofistikovaností. Modely vyškolené na masivních datech mohou pattern-match svým způsobem k správným odpovědím na mnoho úkolů, ale postrádají reflexivní, hierarchické myšlení, které charakterizuje lidské řešení problémů.

Tento výzkum navazuje na rostoucí obavy o omezení AI myšlení identifikovaná v několika oblastech. Zlepšení výkonu z řízeného myšlení naznačuje, že lepší strategie pro vyvolání a architektonické úpravy by mohly pomoci modelům přístup k jejich latentním schopnostem myšlení více efektivně.

Nejdůležitější příspěvek studie může být její detailní taxonomie kognitivních prvků, poskytující výzkumníkům a vývojářům konkrétní cíle pro zlepšení. Místo toho, aby se považovalo myšlení za monolitickou schopnost, rámec rozděluje na měřitelné komponenty, které lze individuálně řešit prostřednictvím úprav školení nebo technik inženýrství vyvolání.