Następna zasada skalowania AI: nie więcej danych, lepsze modele świata

Przez lata, przemysł sztucznej inteligencji podążał za prostą, brutalną zasadą: im większe, tym lepsze. Trenowaliśmy modele na ogromnych zbiorach danych, zwiększaliśmy liczbę parametrów i wkładaliśmy ogromną moc obliczeniową w problem. Ta formuła działała przez większość czasu. Od GPT-3 do GPT-4, i od prymitywnych czatbotów do silników rozumowania, “prawo skalowania” sugerowało, że jeśli będziemy tylko karmić maszynę coraz więcej tekstu, ostatecznie stanie się inteligentna.

Ale teraz uderzamy w ścianę. Internet jest skończony. Wysokiej jakości publiczne dane stają się wyczerpane, a zwroty z prostego powiększania modeli maleją. Wiodący badacze AI twierdzą, że następny wielki skok w sztucznej inteligencji nie nastąpi dzięki samemu czytaniu tekstu. Nastąpi dzięki zrozumieniu rzeczywistości za tekstem. To przekonanie sygnalizuje fundamentalną zmianę w focusie AI, wprowadzając erę modeli świata.

Granice predykcji następnego tokenu

Aby zrozumieć, dlaczego potrzebujemy nowego podejścia, musimy najpierw spojrzeć na to, co bieżące systemy AI tak naprawdę robią. Pomimo ich imponujących możliwości, modele takie jak ChatGPT lub Claude są fundamentalnie silnikami statystycznymi. Przewidują następne słowo w sekwencji na podstawie prawdopodobieństwa tego, co poprzedza. Nie rozumieją, że upuszczony kieliszek się roztrzaska; po prostu wiedzą, że w milionach historii słowo “roztrzaskać” często następuje po frazie “upuszczony kieliszek.”

To podejście, znane jako modelowanie autoregresyjne, ma krytyczną wadę. Opiera się całkowicie na korelacji, a nie na przyczynowości. Jeśli trenujesz LLM na tysiącu opisach wypadku samochodowego, uczy się języka wypadków. Ale nigdy nie uczy się fizyki pędu, tarcia czy kruchego materiału. Jest obserwatorem, a nie uczestnikiem.

Ta ograniczenie staje się “ścianą danych“. Prawie całkowicie wykorzystaliśmy cały publiczny internet. Aby dalej skalować przy użyciu bieżącej metody, potrzebowalibyśmy wykładniczo więcej danych, niż istnieje. Dane syntetyczne (tj. tekst wygenerowany przez AI) oferują tymczasowe rozwiązanie, ale często prowadzą do “zawalenia modelu“, gdzie system wzmacnia własne uprzedzenia i błędy. Nie możemy skalować naszej drogi do ogólnej inteligencji sztucznej (AGI) przy użyciu samego tekstu, ponieważ tekst jest niskoprzepustowym skompresowaniem świata. Opisuje rzeczywistość, ale nie jest nią samą.

Dlaczego modele świata mają znaczenie

Liderzy AI, tacy jak Yann LeCun, od dawna twierdzą, że bieżące systemy AI brakuje fundamentalnego aspektu ludzkiej percepcji, który nawet młode dzieci posiadają naturalnie. Jest to nasza zdolność do utrzymania wewnętrznego modelu, jak działa świat, który często nazywają modelem świata. Model świata nie tylko przewiduje następne słowo; buduje wewnętrzną mapę mentalną, jak działa środowisko fizyczne. Kiedy widzimy piłkę, która toczy się za kanapą, wiemy, że jest tam. Wiemy, że pojawi się po drugiej stronie, chyba że coś ją zatrzyma. Nie musimy czytać podręcznika, aby to zrozumieć; prowadzimy symulację mentalną na podstawie naszego wewnętrznego “modelu świata” fizyki i trwałości obiektu.

Aby AI mogło postąpić do przodu, musi przejść od naśladownictwa statystycznego do tego rodzaju wewnętrznej symulacji. Musi zrozumieć podstawowe przyczyny zdarzeń, a nie tylko ich opisy tekstowe.

Joint Embedding Predictive Architecture (JEPA) jest przykładem tej zmiany paradygmatu. W przeciwieństwie do LLM, które próbują przewidzieć każdy pojedynczy piksel lub słowo (co jest obliczeniowo kosztowne i głośne), JEPA przewiduje abstrakcyjne reprezentacje. Ignoruje nieprzewidywalne szczegóły, takie jak ruch poszczególnych liści na drzewie, i koncentruje się na wysokopoziomowych pojęciach, takich jak drzewo, wiatr i pora roku. Poprzez naukę przewidywania, jak te wysokopoziomowe stany zmieniają się w czasie, AI uczy się struktury świata, a nie tylko powierzchniowych szczegółów.

Od predykcji do symulacji

Już widzimy pierwsze zwiastuny tej transformacji w modelach generowania wideo. Kiedy OpenAI wydał Sora, opisali go nie tylko jako narzędzie wideo, ale jako “symulator świata.”

To rozróżnienie jest kluczowe. Standardowy generator wideo może utworzyć wideo osoby idącej, przewidując, które piksele koloru zwykle są obok siebie. Symulator świata natomiast próbuje utrzymać spójność 3D, oświetlenie i trwałość obiektu w czasie. “Rozumie”, że jeśli osoba idzie za ścianą, nie powinna zniknąć z istnienia.

Chociaż bieżące modele wideo są jeszcze daleko od idealnych, reprezentują nowe pole treningowe. Świat fizyczny zawiera znacznie więcej informacji niż świat tekstowy. Jeden sekund wideo zawiera miliony punktów danych wizualnych dotyczących fizyki, światła i interakcji. Poprzez trenowanie modeli na tej rzeczywistości wizualnej, możemy nauczyć AI “zdrowego rozsądku”, którego brakuje LLM.

To tworzy nowe prawo skalowania. Sukces nie będzie już mierzony liczbą trylionów tokenów, które model przeczytał. Będzie mierzony wiernością jego symulacji i zdolnością do przewidywania przyszłych stanów środowiska. AI, które może dokładnie symulować konsekwencje działania bez konieczności podejmowania tego działania, jest AI, które może planować, rozumować i działać bezpiecznie.

Wydajność i droga do AGI

Ta zmiana rozwiązuje również niewykonalne koszty energetyczne bieżącej AI. LLM są niewydajne, ponieważ muszą przewidzieć każdy szczegół, aby wygenerować spójny wynik. Model świata jest bardziej wydajny, ponieważ jest selektywny. Tak jak ludzki kierowca koncentruje się na drodze i ignoruje wzór chmur na niebie, model świata koncentruje się na istotnych czynnikach przyczynowych zadania.

LeCun twierdzi, że to podejście pozwala modelom uczyć się znacznie szybciej. System taki jak V-JEPA (Video-Joint Embedding Predictive Architecture) wykazał, że może zbiec do rozwiązania z znacznie mniej iteracji treningowych niż tradycyjne metody. Poprzez naukę “kształtu” danych, a nie pamiętanie samych danych, modele świata budują bardziej solidną formę inteligencji, która lepiej uogólnia się na nowe, nieznane sytuacje.

To jest brakujące ogniwo dla AGI. Prawdziwa inteligencja wymaga nawigacji. Wymaga, aby agent spojrzał na cel, zasymulował różne ścieżki do osiągnięcia tego celu przy użyciu swojego wewnętrznego modelu świata, a następnie wybrał ścieżkę z najwyższym prawdopodobieństwem sukcesu. Generatory tekstu nie mogą tego zrobić; mogą tylko napisać plan, ale nie mogą zrozumieć ograniczeń jego wykonania.

Podsumowanie

Przemysł AI jest na rozdrożu. Strategia “po prostu dodaj więcej danych” osiąga swój logiczny koniec. Przechodzimy od ery czatbotów do ery symulatorów.

Następna generacja skalowania AI nie będzie oparta o czytanie całego internetu. Będzie oparta o obserwowanie świata, zrozumienie jego zasad i budowę wewnętrznej architektury, która odbija rzeczywistość. To nie jest tylko ulepszenie techniczne; jest to fundamentalna zmiana w tym, co uważamy za “uczenie się”.

Dla przedsiębiorstw i badaczy, focus musi się zmienić. Musimy przestać obsesjonować się liczbą parametrów i zacząć oceniać, jak dobrze nasze systemy rozumieją przyczynę i skutek. AI przyszłości nie tylko powie, co się stało; pokaże, co mogło się stać, i dlaczego. To jest obietnica modeli świata, i jest to jedyna droga do przodu.