Modele językowe LLM nie są zdolne do rozumowania – są po prostu bardzo dobre w planowaniu

Modele językowe LLM, takie jak OpenAI’s o3, Google’s Gemini 2.0 (GOOGL ) oraz DeepSeek’s R1, wykazały znaczne postępy w rozwiązywaniu złożonych problemów, generowaniu tekstów podobnych do ludzkich oraz nawet pisaniu kodu z precyzją. Te zaawansowane modele LLM są często określane jako „modele rozumowania” ze względu na ich zdolność do analizy i rozwiązywania złożonych problemów. Ale czy te modele naprawdę rozumują, czy są po prostu wyjątkowo dobre w planowaniu? Ta różnica jest subtelna, lecz głęboka i ma istotne implikacje dla zrozumienia możliwości i ograniczeń modeli LLM.

Aby zrozumieć tę różnicę, porównajmy dwa scenariusze:

• Rozumowanie: Śledczy badający przestępstwo musi połączyć sprzeczne dowody, ustalić, które z nich są fałszywe, i dojść do wniosku na podstawie ograniczonych dowodów. Ten proces obejmuje wnioskowanie, rozwiązywanie sprzeczności i myślenie abstrakcyjne.
• Planowanie: Gracz szachowy kalkulujący najlepszą sekwencję ruchów, aby szachować przeciwnika.

Chociaż oba procesy obejmują wiele kroków, śledczy angażuje się w głębokie rozumowanie, aby wyciągać wnioski, rozwiązywać sprzeczności i stosować ogólne zasady do konkretnego przypadku. Gracz szachowy, z drugiej strony, angażuje się przede wszystkim w planowanie, wybierając optymalną sekwencję ruchów, aby wygrać grę. Modele LLM, jak zobaczymy, funkcjonują bardziej jak gracz szachowy niż śledczy.

Zrozumienie różnicy: Rozumowanie vs. Planowanie

Aby zrozumieć, dlaczego modele LLM są dobre w planowaniu, a nie w rozumowaniu, ważne jest najpierw zrozumienie różnicy między tymi dwoma pojęciami. Rozumowanie jest procesem wyprowadzania nowych wniosków z danych przesłanek za pomocą logiki i wnioskowania. Obejmuje identyfikowanie i korygowanie nieścisłości, generowanie nowych spostrzeżeń, a nie tylko dostarczanie informacji, podejmowanie decyzji w niejasnych sytuacjach oraz angażowanie się w zrozumienie przyczynowości i myślenie kontrfaktualne, takie jak „Co by było, gdyby” scenariusze.

Planowanie, z drugiej strony, koncentruje się na strukturyzowaniu sekwencji działań w celu osiągnięcia konkretnego celu. Opiera się na rozkładaniu złożonych zadań na mniejsze kroki, stosowaniu znanych strategii rozwiązywania problemów, adaptowaniu wcześniej nauczonych wzorców do podobnych problemów oraz wykonywaniu sekwencji w sposób zorganizowany, a nie wyprowadzaniu nowych spostrzeżeń. Chociaż zarówno rozumowanie, jak i planowanie obejmują przetwarzanie krok po kroku, rozumowanie wymaga głębszej abstrakcji i wnioskowania, podczas gdy planowanie podąża za ustalonymi procedurami bez generowania nowej wiedzy.

Jak modele LLM podejmują „rozumowanie”

Współczesne modele LLM, takie jak OpenAI’s o3 i DeepSeek-R1, są wyposażone w technikę zwaną Chain-of-Thought (CoT) rozumowanie, aby poprawić ich zdolności rozwiązywania problemów. Ta metoda zachęca modele do rozkładania problemów na pośrednie kroki, naśladując sposób, w jaki ludzie myślą logicznie. Aby zobaczyć, jak to działa, rozważmy prosty problem matematyczny:

Jeśli sklep sprzedaje jabłka za 2 dolary każde, ale oferuje zniżkę 1 dolara za jabłko, jeśli kupisz więcej niż 5 jabłek, ile będą kosztować 7 jabłek?

Typowy model LLM używający CoT prompting może rozwiązać to w ten sposób:

1. Określenie regularnej ceny: 7 * 2 = 14.
2. Stwierdzenie, że zniżka ma zastosowanie (ponieważ 7 > 5).
3. Obliczenie zniżki: 7 * 1 = 7.
4. Odejmowanie zniżki od łącznej ceny: 14 – 7 = 7.

Poprzez jawne przedstawienie sekwencji kroków model minimalizuje szansę na błędy, które wynikają z próby przewidzenia odpowiedzi w jednym kroku. Chociaż ten krok po kroku rozkład sprawia, że modele LLM wydają się rozumować, jest to w zasadzie forma strukturalnego rozwiązywania problemów, podobnego do postępowania według przepisu krok po kroku. Z drugiej strony, prawdziwy proces rozumowania mógłby rozpoznać ogólną zasadę: Jeśli zniżka ma zastosowanie poza 5 jabłkami, to każde jabłko kosztuje 1 dolar. Człowiek może natychmiast wyprowadzić taką zasadę, ale model LLM nie może, ponieważ po prostu podąża za sekwencją obliczeń.

Dlaczego Chain-of-thought jest planowaniem, a nie rozumowaniem

Chociaż Chain-of-Thought (CoT) poprawił wyniki modeli LLM w zadaniach zorientowanych na logikę, takich jak problemy słowne z matematyki i wyzwania programistyczne, nie obejmuje prawdziwego logicznego rozumowania. Wynika to z faktu, że CoT opiera się na wiedzy proceduralnej, polegając na strukturalnych krokach, a nie generowaniu nowych spostrzeżeń. Brakuje mu prawdziwego zrozumienia przyczynowości i abstrakcyjnych relacji, co oznacza, że model nie angażuje się w myślenie kontrfaktualne ani nie rozważa hipotetycznych sytuacji, które wymagają intuicji poza danymi, które widział. Dodatkowo, CoT nie może fundamentalnie zmienić swojego podejścia poza wzorcami, których został nauczony, ograniczając jego zdolność do kreatywnego rozumowania lub adaptacji w nieznanych sytuacjach.

Co byłoby potrzebne, aby modele LLM stały się prawdziwymi maszynami rozumowania?

Co więc potrzebują modele LLM, aby prawdziwie rozumować jak ludzie? Oto kilka kluczowych obszarów, w których wymagają poprawy i potencjalne podejścia do jej osiągnięcia:

1. Zrozumienie symboliczne: Ludzie rozumują, manipulując abstrakcyjnymi symbolami i relacjami. Modele LLM brakuje jednak prawdziwego mechanizmu symbolicznego rozumowania. Integracja sztucznej inteligencji symbolicznej lub hybrydowych modeli, które łączą sieci neuronowe z systemami logiki formalnej, mogłaby poprawić ich zdolność do angażowania się w prawdziwe rozumowanie.
2. Wnioskowanie przyczynowe: Prawdziwe rozumowanie wymaga zrozumienia przyczyny i skutku, a nie tylko korelacji statystycznych. Model, który rozumuje, musi wnioskować o podstawowych zasadach z danych, a nie po prostu przewidywać następny token. Badania nad sztuczną inteligencją przyczynową, która jawnie modeluje relacje przyczynowo-skutkowe, mogłyby pomóc modelom LLM w przejściu od planowania do rozumowania.
3. Samorefleksja i metapoznanie: Ludzie ciągle oceniają swoje własne procesy myślowe, pytając “Czy ten wniosek ma sens?” Modele LLM, z drugiej strony, nie mają mechanizmu samorefleksji. Budowanie modeli, które mogą krytycznie oceniać swoje własne dane wyjściowe, byłoby krokiem w kierunku prawdziwego rozumowania.
4. Zdrowy rozsądek i intuicja: Chociaż modele LLM mają dostęp do ogromnych ilości wiedzy, często mają trudności z podstawowym zdroworozsądkowym rozumowaniem. Wynika to z faktu, że nie mają prawdziwych doświadczeń świata, które kształtują ich intuicję, i nie mogą łatwo rozpoznać absurdalności, które ludzie byliby w stanie natychmiast zauważyć. Brakuje im również sposobu, aby wprowadzić dynamikę świata rzeczywistego do swojego procesu decyzyjnego. Jednym ze sposobów poprawy tego mogłoby być budowanie modelu z silnikiem zdroworozsądkowym, co mogłoby obejmować integrację sensorycznych danych ze świata rzeczywistego lub korzystanie z grafów wiedzy, aby pomóc modelowi lepiej zrozumieć świat w sposób ludzki.
5. Myślenie kontrfaktualne: Rozumowanie ludzkie często obejmuje pytanie, “Co by było, gdyby rzeczy były inne?” Modele LLM mają trudności z tymi rodzajami “co by było, gdyby” scenariuszami, ponieważ są ograniczone przez dane, które zostały im przeszkolone. Aby modele myślały bardziej jak ludzie w tych sytuacjach, musiałyby symulować hipotetyczne scenariusze i zrozumieć, jak zmiany w zmiennych mogą wpłynąć na wyniki. Musiałyby również mieć sposób testowania różnych możliwości i wyprowadzania nowych spostrzeżeń, a nie tylko przewidywania na podstawie tego, co widziały. Bez tych zdolności modele LLM nie mogą prawdziwie wyobrażać sobie alternatywne przyszłości – mogą tylko pracować z tym, czego się nauczyły.

Wnioski

Chociaż modele LLM mogą wydawać się zdolne do rozumowania, w rzeczywistości polegają na technikach planistycznych do rozwiązywania złożonych problemów. Niezależnie od tego, czy rozwiązują problem matematyczny, czy angażują się w dedukcyjne wnioskowanie, organizują znane wzorce w sposób zorganizowany, a nie głęboko rozumieją zasady, które za nimi stoją. Ta różnica jest kluczowa w badaniach nad sztuczną inteligencją, ponieważ jeśli mylimy zaawansowane planowanie z prawdziwym rozumowaniem, ryzykujemy przecenienie prawdziwych możliwości sztucznej inteligencji.

Droga do prawdziwej sztucznej inteligencji rozumienia będzie wymagać fundamentalnych postępów poza predykcyjnymi tokenami i planowaniem probabilistycznym. Będzie wymagać przełomów w logice symbolicznej, zrozumieniu przyczynowości i metapoznaniu. Dopóki tak się nie stanie, modele LLM pozostaną potężnymi narzędziami do strukturalnego rozwiązywania problemów, ale nie będą prawdziwie myśleć w sposób ludzki.