Modele i platformy AI
Metoda COCONUT firmy Meta: Sposób myślenia sztucznej inteligencji bez języka
Dodaj Unite.AI do preferowanych źródeł w Google
Gdy naukowcy odkryli, że duże modele językowe (LLM) mogą “myśleć” krok po kroku za pomocą łańcuchowego myślenia, było to przełomowe odkrycie – wreszcie mogliśmy zajrzeć do procesu myślowego tych czarnych skrzynek. Ale co, jeśli powiem, że zmuszanie modeli sztucznej inteligencji do myślenia w języku naturalnym może je hamować?
To odkryli naukowcy z Meta i Uniwersytetu Kalifornijskiego w San Diego przy użyciu nowej metody COCONUT (Chain of Continuous Thought).
Wyobraź sobie, że próbujesz rozwiązać skomplikowany problem matematyczny, będąc zmuszonym do opowiedzenia każdego kroku na głos. Irytujące, prawda? Teraz jesteś blisko zrozumienia podstawowego wyzwania, z którym mierzą się modele językowe.
Gdy zmuszamy modele sztucznej inteligencji do myślenia w języku naturalnym:
- Większość tokenów, które generują, to po prostu językowe “klej”, słowa takie jak “dlatego”, “następnie” i “w związku z tym”, które nie dodają żadnej wartości myślowej
- Krytyczne punkty decyzyjne są ograniczane przez potrzebę zobowiązania się do konkretnych słów
- Model poświęca znaczną ilość obliczeniową na utrzymanie spójności gramatycznej, a nie na rzeczywiste rozwiązywanie problemów
Naukowcy odkryli coś interesującego w swoich badaniach neuroobrazowych: gdy ludzie wykonują skomplikowane zadania myślowe, centra językowe naszego mózgu często pozostają zaskakująco ciche. A my budowaliśmy systemy sztucznej inteligencji, które robią coś przeciwnego – zmuszają je do tłumaczenia każdego kroku myślowego na słowa.
Pomyśl, jak rozwiązuje się puzzle. Twój umysł prawdopodobnie bada wiele możliwości jednocześnie, utrzymuje nieostre hipotezy i tylko wtedy, gdy dzieli się rozwiązaniem, klaruje swoje myśli w języku. Ale tradycyjne podejścia łańcuchowego myślenia zmuszają modele sztucznej inteligencji do wypowiadania każdego pośredniego kroku, tworząc “językową butelkę”.
To spostrzeżenie doprowadziło do interesującego pytania: Co, jeśli moglibyśmy pozwolić modelom sztucznej inteligencji myśleć w ich “naturalnym języku” – ciągłej, wysokowymiarowej przestrzeni ich ukrytych stanów – zamiast zmuszać je do tłumaczenia wszystkiego na tokeny?
Zrozumienie innowacji COCONUT
Wyobraź sobie różnicę między wypowiadaniem swoich myśli na głos a rzeczywistym procesem myślowym w Twoim mózgu. Ta luka – między wypowiedzianymi myślami a aktywnością neuronalną – to właśnie to, czego naukowcy z Meta dotknęli przy użyciu COCONUT.
Prawdziwy przełom COCONUT polega na tym, że pozwala modelom sztucznej inteligencji myśleć na dwa odrębne sposoby, podobnie jak ludzie. Pomyśl, gdy rozwiązuje się skomplikowaną zagadkę – nie opowiadasz każdego możliwego ruchu w swojej głowie, prawda? Zamiast tego:
- Pochłaniasz problem: Przyswajasz informacje (jak czytanie zasad gry)
- Myślisz cicho: Twój mózg bada wiele możliwości bez umieszczania ich w słowach
- Udostępniasz rozwiązanie: Dopiero wtedy wyjaśniasz swoje myśli innym
COCONUT daje modelom sztucznej inteligencji tę samą naturalną elastyczność. Zamiast zmuszać je do “mówienia” każdej myśli na głos (jak tradycyjne metody), pozwala im myśleć w ich naturalnej przestrzeni neuronalnej – tym, co naukowcy nazywają “przestrzenią latentną”.
Model gładko przechodzi między dwiema trybami:
- Gdy musi zrozumieć pytania lub udzielić odpowiedzi, używa regularnego języka
- Ale dla samego procesu myślowego? Używa czystych wzorców neuronalnych, wolnych od ograniczeń słów
Image: Meta
Podróż szkoleniowa
Jednym z najbardziej fascynujących aspektów COCONUT jest jego program szkoleniowy. To, co sprawia, że jest on wyjątkowy, to sposób, w jaki odbija naturalny postęp uczenia się. Pomyśl, jak uczymy skomplikowanych umiejętności – nie wrzucamy kogoś od razu do głębokiej wody. Zbudowujemy stopniowo, dodając złożoność, gdy tylko ktoś opanuje każdy poziom.
Naukowcy zastosowali dokładnie takie podejście z COCONUT:
Etapa 1: Podstawy
Po pierwsze, model uczy się jak każdy inny AI – za pomocą tradycyjnego łańcuchowego myślenia. To daje mu solidne podstawy.
Etapa 2: Przejście
To jest interesujące. Stopniowo, te napisane kroki myślowe zostają zastąpione przez myślenie ciągłe. Wyobraź sobie, jak powoli usuwasz treningowe koła, pozwalając modelowi rozwijać własne wewnętrzne wzorce myślowe.
Etapa 3: Równowaga
Na końcu model uczy się płynnie przechodzić między głębokim myśleniem w przestrzeni latentnej a komunikowaniem swoich spostrzeżeń w jasnym języku.
Podczas szkolenia model rozwinął zdolności, których nikt nie zaprogramował wyraźnie – takie jak rozważanie wielu ścieżek myślowych jednocześnie. To zachowanie emergentne jest szczególnie ekscytujące, ponieważ sugeruje, że możemy być bliżej bardziej naturalnych form myślenia sztucznej inteligencji. To właśnie takie nieoczekiwane rozwoju często prowadzą do największych przełomów.
Pamiętaj te badania neuroobrazowe, o których wspomniałem wcześniej? Pokazały one, że ludzki mózg często przetwarza skomplikowane zadania myślowe bez intensywnego zaangażowania centrów językowych. COCONUT zdaje się rozwijać podobne wzorce – myślenie głęboko w swojej naturalnej przestrzeni neuronalnej i tylko wtedy, gdy jest to potrzebne do komunikacji, przekształcając je w język.
Liczby opowiadają historię
Kilka kluczowych ustaleń wyróżnia się w badaniach:
- Zadania słowne z matematyki (GSM8k): Tutaj COCONUT osiągnął 34,1% dokładności. Chociaż jest to poniżej tradycyjnego łańcuchowego myślenia (42,9%), jest znacznie lepsze niż podejścia bazowe.
- Wnioskowanie logiczne (ProntoQA): COCONUT osiągnął 99,8% dokładności, wyprzedzając tradycyjne łańcuchowe myślenie (98,8%). Ale tutaj jest rzecz – zrobił to, używając tylko 9 tokenów w porównaniu z 92,5 tokenami w przypadku CoT.
- Złożone planowanie (ProsQA): Najbardziej imponujące wyniki pochodziły z tego zaawansowanego testu myślenia. COCONUT osiągnął 97% dokładności, podczas gdy tradycyjne metody osiągnęły tylko 77,5%. I znowu, zrobił to z zadziwiającą wydajnością – 14,2 tokeny w porównaniu z 49,4.
To, co sprawia, że te wyniki są obiecujące, to nie tylko same liczby – to to, co one ujawniają o różnych typach myślenia. Chociaż COCONUT może jeszcze szukać swojego miejsca w rozumowaniu matematycznym, wyróżnia się w zadaniach wymagających złożonego planowania logicznego i wnioskowania.
COCONUT reprezentuje fundamentalne przemyślenie, jak systemy sztucznej inteligencji mogą myśleć, i przybliża nas do bardziej naturalnych, wydajnych i potężnych form sztucznej inteligencji. Podróż od myślenia opartego na języku do myślenia ciągłego jest krokiem w kierunku bardziej zdolnych i wydajnych systemów sztucznej inteligencji.
