Skalowanie czasu testowego: tajny składnik nowej fali modeli rozumnego rozumowania

Obszar sztucznej inteligencji osiągnął punkt, w którym proste dodawanie danych lub zwiększanie rozmiaru modelu nie jest już najlepszym sposobem na uczynienie go bardziej inteligentnym. Przez kilka ostatnich lat wierzyliśmy, że jeśli zbudujemy większe sieci neuronowe i nakarmimy je większą ilością internetu, ostatecznie staną się bardziej inteligentne. Ten podejście, znane jako prawa skalowania, działało niezwykle dobrze. Dało nam modele, które potrafią pisać poezję, tłumaczyć języki i zdawać egzaminy prawnicze. Niemniej jednak te modele często miały trudności z głęboką logiką, złożoną matematyką i wieloetapowymi problemami naukowymi. Były doskonałe w rozpoznawaniu wzorców, lecz często zawodziły w problemach wymagających wieloetapowego rozumowania.

Ostatnio pojawiła się nowa tendencja, która zmienia sposób myślenia o możliwościach AI. Tendencja ta nazywa się skalowaniem czasu testowego. Zamiast koncentrować się wyłącznie na tym, jak wiele modelu uczy się podczas fazy szkolenia, badacze koncentrują się teraz na tym, jak wiele “myśli” model, gdy odpowiada na pytanie. To przesunięcie jest tajnym składnikiem nowej fali modeli rozumnego rozumowania, takich jak OpenAI’s o1 series, które teraz osiągają poziom studentów doktoranckich w trudnych dziedzinach, takich jak fizyka, chemia i biologia.

Przesunięcie od skalowania szkolenia do skalowania inferencji

Aby zrozumieć, dlaczego jest to znacząca zmiana, musimy przyjrzeć się, jak AI było budowane do tej pory. Tradycyjnie “inteligencja” modelu była określana na podstawie jego szkolenia. Obejmowało to wydawanie miesięcy i milionów dolarów na przepuszczanie ogromnych ilości danych przez tysiące procesorów GPU. Gdy szkolenie zostało zakończone, model był praktycznie zamrożony. Gdy zadawano mu pytanie, udzielał odpowiedzi niemal natychmiast na podstawie wzorców, które już nauczył. To jest to, co nazywamy inferencją lub czasem testowym.

Problem z tym tradycyjnym podejściem polega na tym, że model ma tylko jedną szansę, aby odpowiedzieć poprawnie. Przetwarza podpowiedź i generuje tokeny jeden po drugim bez możliwości “myślenia” lub “sprawdzania” swojej logiki przed udzieleniem odpowiedzi. Skalowanie czasu testowego zmienia tę dynamikę. Pozwala modelowi wykorzystać więcej mocy obliczeniowej podczas fazy inferencji. Tak jak człowiek może potrzebować kilku sekund, aby odpowiedzieć na proste pytanie, ale kilku minut lub godzin, aby rozwiązać złożony problem matematyczny, modele AI są teraz projektowane tak, aby skalować swoje wysiłki w zależności od trudności zadania.

Definiowanie pojęcia skalowania czasu testowego

Skalowanie czasu testowego odnosi się do technik, które pozwalają modelowi AI wykorzystać dodatkowe zasoby obliczeniowe do przetworzenia żądania w momencie dostarczenia. W prostych słowach, oznacza to danie modelowi więcej “czasu myślenia”. Nie chodzi o to, aby zrobić model większy; chodzi o to, aby zrobić model bardziej przemyślany. Gdy model wykorzystuje skalowanie czasu testowego, nie produkuje po prostu pierwszej odpowiedzi, jaka mu przychodzi do głowy. Zamiast tego może eksplorować różne ścieżki, sprawdzać błędy w swojej własnej logice i udoskonalać swoją odpowiedź, zanim użytkownik ją zobaczy.

To pojęcie jest często porównywane do tego, jak działa ludzki mózg. Psycholodzy często mówią o “Systemie 1” i “Systemie 2” myślenia. System 1 jest szybki, instynktowny i emocjonalny. To jest to, co używasz, gdy rozpoznajesz twarz lub prowadzisz samochód po znanej drodze. System 2 jest wolniejszy, bardziej przemyślany i logiczny. To jest to, co używasz, gdy rozwiązujesz trudne równanie matematyczne lub planujesz złożony projekt. Do niedawna modele LLM były głównie myślicielami Systemu 1. Skalowanie czasu testowego jest mostem, który pozwala im uzyskać dostęp do myślenia Systemu 2.

Mechanika procesu rozumowania

Istnieje kilka sposobów, w jakie badacze osiągają skalowanie czasu testowego. Jedną z najczęstszych metod jest tzw. łańcuch myśli (CoT) prowokowanie, lecz w tych nowych modelach jest on wbudowany w system, a nie coś, o co użytkownik musi poprosić. Model jest szkolony, aby rozbić problem na mniejsze, logiczne kroki. Robiąc to, model może zweryfikować każdą część rozwiązania, zanim przejdzie do następnej.

Inną ważną techniką są algorytmy wyszukiwania, takie jak Monte Carlo Tree Search. Zamiast po prostu przewidywać następny najbardziej prawdopodobny wyraz, model generuje wiele możliwych ścieżek dla odpowiedzi. Ocena tych ścieżek i określenie, która z nich jest najbardziej prawdopodobna, aby doprowadzić do poprawnego rozwiązania. Jeśli trafia w ślepy zaułek lub zdaje sobie sprawę, że poprzedni krok był błędny, może wrócić i spróbować innego podejścia. Ta “wyprzedzająca” zdolność jest bardzo podobna do tego, jak silnik szachowy ocenia tysiące potencjalnych ruchów, zanim wybierze najlepszy. Przeszukując wiele możliwości podczas fazy inferencji, model może rozwiązać znacznie bardziej złożone problemy niż te, które mogą być rozwiązane bezpośrednio przy użyciu standardowego LLM.

Dlaczego rozumowanie na poziomie PhD wymaga więcej niż pamięć

Powodem, dla którego to ma tak duże znaczenie, jest to, że wysokiego poziomu rozumowanie w nauce i matematyce nie może być rozwiązane tylko przez pamięć. Na egzaminie z fizyki na poziomie PhD nie możesz po prostu powtórzyć fakt, który przeczytałeś w podręczniku. Musisz zastosować złożone zasady do nowej i unikalnej sytuacji. Standardowe modele często “halucynują” w tych scenariuszach, ponieważ próbują przewidywać następny wyraz na podstawie prawdopodobieństwa, a nie logiki.

Skalowanie czasu testowego pozwala modelowi działać bardziej jak badacz. Może testować hipotezy wewnętrznie. Na przykład, jeśli model jest poproszony o napisanie złożonego kodu, może “uruchomić” logikę w swoim ukrytym łańcuchu myśli, zidentyfikować potencjalny błąd i naprawić go, zanim przedstawi ostateczny kod. Ta zdolność do samokorekty jest tym, co pozwala nowej fali modeli osiągać wysokie wyniki w benchmarkach, takich jak American Invitational Mathematics Examination (AIME) lub GPQA (trudny test naukowy zaprojektowany przez ekspertów). Nie zgadują; weryfikują.

Wymiana wydajności i kosztów obliczeniowych

Chociaż skalowanie czasu testowego jest potężne, wiąże się z znaczącym kosztem. W starym sposobie robienia rzeczy najdroższą częścią AI było szkolenie. Gdy model został wdrożony, jego uruchomienie było stosunkowo tanie i szybkie. Ze skalowaniem czasu testowego koszt przesuwa się w kierunku żądania użytkownika. Ponieważ model wykonuje więcej pracy, generując wiele ścieżek i sprawdzając swoją własną pracę, zajmuje więcej czasu, aby odpowiedzieć, i wymaga większych zasobów sprzętowych.

To tworzy nowy rodzaj ekonomii AI. Przechodzimy do sytuacji, w której “koszt na zapytanie” może się znacznie różnić. Proste pytanie o pogodę może kosztować ułamek centa i zająć sekundę. Głębokie zapytanie naukowe może kosztować kilka dolarów w czasie obliczeniowym i może zająć godzinę do przetworzenia. Ten kompromis jest konieczny do osiągnięcia wysokiego poziomu rozumowania, ale oznacza również, że deweloperzy muszą znaleźć sposoby, aby te modele były wydajne, aby mogły być używane na dużą skalę w branżach takich jak medycyna lub inżynieria.

Wpływ na przyszłość sztucznej inteligencji

Wzrost skalowania czasu testowego sugeruje, że możemy wejść w nową erę rozwoju AI. Przez lata istniała obawa, że w końcu skończymy się wysokiej jakości danymi ludzkimi do szkolenia modeli. Jeśli modele uczą się tylko z tego, co ludzie już napisali, mogą osiągnąć pułap. Niemniej jednak skalowanie czasu testowego pokazuje, że modele mogą poprawić swoją wydajność, “myśląc” bardziej, a nie tylko czytając więcej.

To otwiera drzwi do tego, że AI może dokonywać własnych odkryć. Jeśli model może rozumuć przez problem, który nigdy wcześniej nie widział, może potencjalnie znaleźć nowe rozwiązania w dziedzinach takich jak nauka o materiałach, odkrywanie leków lub energia odnawialna. Przechodzimy od AI jako pomocnego asystenta, który podsumowuje tekst, do AI jako cyfrowego współpracownika, który może pomóc rozwiązać najtrudniejsze problemy świata. Widzimy przesunięcie od “generatywnej” AI do “rozumującej” AI.

Podsumowanie

Skalowanie czasu testowego okazuje się być brakującym ogniwem w poszukiwaniu zaawansowanej sztucznej inteligencji. Pozwalając modelom wykorzystać więcej obliczeń w momencie inferencji, odblokowaliśmy poziom wydajności, który wcześniej był uważany za kilka lat do przodu. Te modele zaczynają demonstrować rodzaj logiki, który jest znacznie bliższy ludzkiej inteligencji niż proste rozpoznawanie wzorców z przeszłości.

W przyszłości wyzwaniem będzie udoskonalenie tych technik. Musimy uczynić rozumowanie szybszym i bardziej dostępnym, znajdując odpowiednią równowagę między “szybkim” a “wolnym” myśleniem. Tajny składnik nie jest już tylko rozmiarem modelu lub ilością danych, które widział. Tajemnica polega na tym, jak model wykorzystuje swój czas, aby myśleć. Dla wszystkich, którzy śledzą postępy AI, jest jasne, że focus się przesunął. Wyścig nie jest już tylko o to, kto ma największy model, ale kto ma model, który może najlepiej rozumuć. To przesunięcie prawdopodobnie zdefiniuje następną dekadę innowacji w tej dziedzinie.