Badania ujawniają, że LLM-y domyślnie stosują proste rozumnienie, gdy zwiększa się złożoność

Zespół badaczy opublikował kompleksowe badanie 20 listopada, analizując ponad 192 000 śladów rozumnienia z dużych modeli językowych (LLM), ujawniając, że systemy AI opierają się na płytkich, liniowych strategiach, a nie na hierarchicznych procesach poznawczych, które ludzie naturalnie stosują.

Zespół badawczy zbadał 18 różnych modeli w zadaniach rozumnienia tekstu, wizji i audio, porównując ich podejścia z 54 ludzkimi śladami myślenia zebranymi specjalnie dla tego badania. Analiza ustaliła taksonomię 28 elementów poznawczych, które obejmują ograniczenia obliczeniowe, kontrolę metapoznawczą, reprezentację wiedzy i operacje transformacji — dostarczając ramy do oceny nie tylko tego, czy modele produkują poprawne odpowiedzi, ale także w jaki sposób dochodzą do tych wniosków.

Podstawowe różnice w architekturze poznawczej

Ludzkie rozumnienie konsekwentnie wykazuje hierarchiczne zagnieżdżanie i monitorowanie metapoznawcze — zdolność do refleksji i regulacji własnych procesów myślowych. Ludzie płynnie organizują informacje w zagnieżdżone struktury, aktywnie śledząc swój postęp w złożonych problemach.

LLM-y przede wszystkim stosują płytkie łańcuchowanie do przodu, przechodząc krok po kroku przez problemy bez hierarchicznej organizacji ani samooceny, które charakteryzują ludzkie poznanie. To rozbieżność staje się najbardziej widoczna, gdy zadania są źle ustrukturyzowane lub niejasne, gdzie ludzka adaptacyjność znacznie przewyższa podejścia AI.

Badanie wykazało, że modele językowe posiadają składniki behawioralne związane z udanym rozumnieniem, ale często nie wdrożenie ich spontanicznie. Występuje dramatyczna zmienność wyników w zależności od typu problemu: rozumnienie dylematyczne wykazało największą zmienność, przy czym mniejsze modele miały znaczne trudności, podczas gdy rozumnienie logiczne wykazało umiarkowaną wydajność, a większe modele geralnie przewyższały mniejsze. Modele wykazują sprzeczne słabości, odnosząc sukcesy w złożonych zadaniach, a nie w prostszych wariantach.

Poprawa wyników dzięki rozumnieniu z wytycznymi

Zespół badawczy opracował wytyczne do rozumnienia w czasie testowania, które automatycznie tworzą udane struktury poznawcze, wykazując poprawę wyników do 66,7% w złożonych problemach, gdy modele są nakierowane na przyjęcie bardziej ludzkich podejść do rozumnienia. To odkrycie sugeruje, że LLM-y posiadają ukryte możliwości bardziej zaawansowanego rozumnienia, ale potrzebują jawnych wskazówek, aby je efektywnie wykorzystać.

Przerwa między ludzkim a rozumnieniem AI rośnie, gdy zwiększa się złożoność zadania. Podczas gdy modele mogą radzić sobie z prostymi problemami za pomocą łańcuchowania do przodu, mają trudności z tymi rodzajami rekursywnymi, samo monitorującymi strategiami, które ludzie stosują naturalnie, gdy spotykają się z niejasnymi lub wielowarstwowymi wyzwaniami.

Badanie dostarcza publicznie dostępnego zestawu danych, który stanowi podstawę dla przyszłych badań porównujących sztuczną i ludzką inteligencję. Poprzez mapowanie 28 odrębnych elementów poznawczych, ramy umożliwiają badaczom wskazać dokładnie, gdzie rozumnienie AI ulega awarii, zamiast mierzyć tylko wyniki dokładności.

Wnioski dla rozwoju AI

Wyniki podkreślają podstawową ograniczenie obecnych systemów AI: przerwę między zdolnością obliczeniową a prawdziwą złożonością poznawczą. Modele wyszkolone na ogromnych zbiorach danych mogą dopasowywać się do poprawnych odpowiedzi w wielu zadaniach, ale brakuje im refleksyjnego, hierarchicznego myślenia, które charakteryzuje ludzkie rozwiązywanie problemów.

Badanie to opiera się na rosnących obawach dotyczących ograniczeń rozumnienia AI zidentyfikowanych w wielu dziedzinach. Poprawa wyników dzięki rozumnieniu z wytycznymi sugeruje, że lepsze strategie nakierowania i modyfikacje architektury mogą pomóc modelom w lepszym dostępie do ich ukrytych możliwości rozumnienia.

Największym wkładem badania może być szczegółowa taksonomia elementów poznawczych, dostarczająca badaczom i deweloperom konkretnych celów do poprawy. Zamiast traktowania rozumnienia jako monolitycznej zdolności, ramy dzielą je na mierne składniki, które mogą być indywidualnie adresowane za pomocą modyfikacji szkolenia lub technik inżynierii nakierowania.