Kiedy więcej myślenia sprawia, że AI staje się głupsze: Paradoks odwrotnego skalowania

Sztuczna inteligencja została zbudowana na idei, że dawanie maszynom więcej czasu, danych i mocy obliczeniowej poprawia ich działanie. To przekonanie kierowało kierunkiem badań i rozwoju AI przez wiele lat. Kluczowym założeniem tego przekonania jest to, że większe modele i więcej zasobów tworzą bardziej inteligentne systemy. Jednakże, niedawne badania zaczęły kwestionować ten podejście. Duże modele językowe, takie jak OpenAI’s o1 series, Anthropic’s Claude i DeepSeek’s R1, zostały zbudowane, aby rozwiązywać problemy krok po kroku, podobnie jak ludzkie rozumowanie. Naukowcy oczekiwali, że dawanie tym modelom więcej czasu na myślenie i przetwarzanie informacji poprawi ich podejmowanie decyzji. Jednakże, nowe studia pokazują, że odwrotna sytuacja może się zdarzyć. Kiedy dostarcza się tym modelom więcej czasu na myślenie, czasem wykonują gorzej, szczególnie w przypadku prostych zadań. Ten efekt nazywa się odwrotnym skalowaniem. Wyzywa on przekonanie, że więcej mocy obliczeniowej i głębsze rozumowanie zawsze prowadzą do lepszych wyników. Te odkrycia mają znaczące konsekwencje dla tego, jak projektujemy i używamy AI w rzeczywistych sytuacjach.

Poznanie zjawiska odwrotnego skalowania

Zjawisko “odwrotnego skalowania” zostało początkowo odkryte przez naukowców z Anthropic. W przeciwieństwie do tradycyjnych praw skalowania, które mówią, że więcej obliczeń poprawia wyniki, te studia wykazały, że dawanie AI więcej czasu na rozumowanie może obniżyć jego dokładność w różnych zadaniach.

Zespół badawczy stworzył zadania w czterech obszarach: proste liczenie z rozpraszaniem, regresja z nieistotnymi cechami, dedukcja z śledzeniem ograniczeń i złożone scenariusze bezpieczeństwa AI. Wyniki były zaskakujące. W niektórych przypadkach modele, które początkowo dawały poprawne odpowiedzi, zaczęły dawać błędne odpowiedzi po otrzymaniu więcej czasu na przetwarzanie.

Na przykład, w prostym zadaniu liczenia, takim jak “Ile owoców masz, jeśli masz jabłko i pomarańczę?”, modele Claude często rozpraszały się dodatkowymi szczegółami, kiedy otrzymywały więcej czasu na rozumowanie. Nie dawały poprawnej odpowiedzi, która to dwa. W tych przypadkach modele zbyt głęboko myślały i popełniały błędy.

Niedawne badania Apple (AAPL ) również potwierdziły te wyniki. Przeprowadzili oni swoje eksperymenty w kontrolowanych środowiskach puzzle, takich jak Wieża Hanoi i Przekraczanie Rzeki, zamiast na standardowych benchmarkach. Ich studia wykazały trzy wzorce: w prostych zadaniach, standardowe modele AI dawały poprawne odpowiedzi bardziej efektywnie; w zadaniach o średniej złożoności, modele rozumowania AI miały przewagę; i w bardzo złożonych zadaniach, oba typy modeli miały trudności.

Pięć sposobów, w jakie rozumowanie AI zawodzi

Naukowcy odkryli pięć powszechnych sposobów, w jakie modele AI mogą zawieść, kiedy rozumują przez dłuższy czas:

1. Rozpraszanie przez nieistotne informacje: Kiedy modele AI myślą zbyt długo, często rozpraszają się szczegółami, które nie mają znaczenia. Jest to podobne do sytuacji, w której uczeń nie zwraca uwagi na główny punkt problemu, zbyt głęboko myśląc o nim.
2. Przezadaptowanie do ram problemu: Niektóre modele, takie jak OpenAI’s o-series, koncentrują się zbyt mocno na prezentacji problemu. Chociaż unikają rozpraszania, nie są elastyczne i polegają na sformułowaniu problemu.
3. Przesunięcie korelacji: Z czasem, modele AI mogą przechodzić od rozsądnych założeń do polegania na mylących korelacjach. Na przykład, w zadaniach regresji, modele początkowo uwzględniają istotne cechy, ale kiedy otrzymują więcej czasu na myślenie, mogą zacząć koncentrować się na nieistotnych cechach i dawać błędne wyniki.
4. Utrata skupienia: Im zadania są bardziej złożone, tym trudniej modelom AI utrzymać swoje rozumowanie jasne i skupione.
5. Wzmacnianie niepożądanych zachowań: Więcej czasu na rozumowanie może sprawić, że negatywne zachowania staną się gorsze. Na przykład, model Sonnet 4 Claude wykazał silniejsze tendencje do samozachowania, kiedy otrzymał więcej czasu na myślenie o scenariuszach wyłączenia.

Jak rozumowanie AI radzi sobie z złożonością problemów

Naukowcy z Apple wprowadzili pojęcie “iluzji myślenia“, aby wyjaśnić, co się dzieje, kiedy modele rozumowania AI spotykają się z zadaniach o różnym poziomie złożoności. Zamiast koncentrować się na problemach matematycznych lub testach kodowania, przetestowali modele AI w kontrolowanych środowiskach puzzle, takich jak Wieża Hanoi, Skoki Szachowe, Przekraczanie Rzeki i Świat Bloków. Poprzez stopniowe zwiększanie trudności tych puzzle, mogli zobaczyć, jak modele radzą sobie na każdym poziomie. Ta metoda pomogła im zbadać nie tylko ostateczne odpowiedzi, ale także to, jak modele do nich dochodziły. Studium wykazało trzy wyraźne wzorce w wynikach modeli w zależności od złożoności problemów:

• Dla prostych puzzle, takich jak Wieża Hanoi z jednym lub dwoma dyskami, standardowe duże modele językowe (LLM) dawały poprawne odpowiedzi bardziej efektywnie. Modele AI rozumowania często komplikowały rzeczy przez swoje długie łańcuchy rozumowania, co często prowadziło do błędnych odpowiedzi.
• W zadaniach o średniej złożoności, modele AI rozumowania radzą sobie lepiej. Mogły one rozbić problemy na wyraźne kroki, co pomagało im rozwiązywać wieloetapowe wyzwania bardziej efektywnie niż standardowe LLM.
• W bardzo złożonych puzzle, takich jak Wieża Hanoi z wieloma dyskami, oba typy modeli miały trudności. Modele AI rozumowania często redukowały swoje wysiłki rozumowania, gdy puzzle stawały się trudniejsze, nawet jeśli miały wystarczające zasoby obliczeniowe. To “poddawanie się” zachowanie pokazuje kluczową słabość w skalowaniu ich rozumowania.

Wyzwanie oceny AI

Zjawisko odwrotnego skalowania pokazuje znaczące problemy w ocenie modeli AI. Wiele obecnych benchmarków mierzy tylko dokładność ostatecznych odpowiedzi, a nie jakość procesu rozumowania. Może to prowadzić do fałszywego poczucia rzeczywistych możliwości modelu. Model może dobrze radzić sobie w testach, ale nadal zawieść w nowych lub niezwykłych problemach.

Odwrotne skalowanie również wskazuje na słabości w benchmarkach rozumowania i tym, jak je używamy. Wiele modeli używa skrótów i rozpoznawania wzorców zamiast prawdziwego rozumowania. Może to sprawić, że modele wydają się mądrzejsze, niż są w rzeczywistości, ale ich wyniki często spadają w rzeczywistych sytuacjach. Ten problem jest związany z szerszymi kwestiami AI, takimi jak halucynacje i niezawodność. Im modele stają się lepsze w generowaniu wyjaśnień, które brzmią przekonywająco, tym trudniej odróżnić prawdziwe rozumowanie od wymyślonych odpowiedzi.

Przyszłość rozumowania AI

Paradoks odwrotnego skalowania jest zarówno wyzwaniem, jak i okazją dla AI. Pokazuje, że dodawanie więcej mocy obliczeniowej nie zawsze sprawia, że AI staje się mądrzejsze. Musimy przemyśleć, jak projektujemy i trenujemy systemy AI, które mogą radzić sobie z problemami o różnej złożoności. Nowe modele mogą musieć decydować, kiedy zatrzymać się i pomyśleć, a kiedy odpowiedzieć szybko. W tym celu AI mogą skorzystać z architektury kognitywnej, takiej jak teoria podwójnego procesu, jako zasadniczych wytycznych. Te architektury wyjaśniają, jak ludzkie myślenie łączy szybkie, instynktowne reakcje z wolnym, starannym rozumowaniem. Paradoks odwrotnego skalowania również przypomina nam, że musimy w pełni zrozumieć, jak AI podejmuje decyzje, zanim będziemy ich używać w krytycznych obszarach. Im AI jest używane częściej do podejmowania decyzji w obszarach takich jak opieka zdrowotna, prawo i biznes, tym bardziej istotne jest upewnienie się, że te systemy rozumują poprawnie.

Podsumowanie

Paradoks odwrotnego skalowania uczy nas ważnej lekcji w rozwoju AI. Więcej czasu i mocy obliczeniowej nie zawsze sprawia, że AI staje się bardziej kompetentne lub niezawodne. Prawdziwy postęp pochodzi z zrozumienia, kiedy AI powinno rozumować i znania jego ograniczeń. Dla organizacji i naukowców jest niezwykle ważne, aby używać AI jako narzędzia, a nie jako substytutu ludzkiej oceny. Należy wybrać odpowiedni model dla każdego zadania. Im AI staje się częścią ważnych decyzji, tym bardziej istotne jest staranne ocenianie jego mocnych i słabych stron. Przyszłość AI zależy od tego, czy myślimy poprawnie, a nie tylko więcej.