Ściana GPU się załamuje: Niewidzialna rewolucja w architekturach post-Transformatorowych

Przez ostatnie pięć lat, przemysł sztucznej inteligencji był skutecznie synonimem jednego słowa: Transformator. Od czasu opublikowania przełomowego artykułu “Attention Is All You Need” w 2017 roku, ta architektura pochłonęła całe pole. Od GPT do Claude, prawie każdy model, który zdobył nagłówki, opiera się na tym samym podstawowym mechanizmie self-attention. Przypuszczaliśmy, że droga do lepszej sztucznej inteligencji jest po prostu kwestią skali. W praktyce oznacza to trenowanie większych Transformatorów z większymi danymi na większych klastrach GPU.

Podczas gdy ten pogląd doprowadził do wielu przełomów, teraz dochodzi do granic swoich możliwości. Uderzamy w “Ścianę GPU”, barierę nie tylko surowej mocy obliczeniowej, ale także przepustowości pamięci i zrównoważoności ekonomicznej. Podczas gdy świat koncentruje się na wyścigu do modeli z trylionem parametrów, radykalna zmiana ma miejsce w laboratoriach badawczych. Nowa fala „architektur post-Transformatorowych” wyłania się, aby zniszczyć ograniczenia obecnego paradygmatu. Ta zmiana obiecuje uczynić sztuczną inteligencję bardziej wydajną, dostępną i zdolną do rozumowania w nieograniczonych kontekstach.

Ściana krzemowa: Dlaczego Transformatory uderzają w ścianę

Aby zrozumieć, dlaczego potrzebujemy zmiany, najpierw musimy zrozumieć wąskie gardło obecnego reżimu. Transformatory są niezwykle potężne, ale są również niezwykle niewydajne w określonych aspektach. Rdzeń ich zdolności leży w “mechanizmie uwagi”, który pozwala modelowi spojrzeć na każdy token w sekwencji i obliczyć jego relację do każdego innego tokenu. To daje im zdolność do zrozumienia kontekstu w sposób niezwykle dobry.

Jednak ta zdolność wiąże się z fatalną wadą kwadratowego wzrostu. Jeśli podwoisz długość dokumentu, który chcesz, aby AI przeczytał, praca obliczeniowa nie zwiększa się tylko dwukrotnie, ale czterokrotnie. Podczas gdy dążymy do modeli “nieograniczonego kontekstu”, które mogą przeczytać całe biblioteki lub bazy kodu, wymagania obliczeniowe stają się niezwykle wysokie.

Ale bardziej natychmiastowy problem to pamięć, szczególnie “KV Cache” (Key-Value Cache). Aby wygenerować tekst płynnie, Transformator musi przechowywać bieżącą historię wszystkiego, co zostało powiedziane w pamięci wysokiej prędkości GPU (VRAM). Im dłuższa rozmowa, tym więcej pamięci zużywa, pochłaniając ogromne ilości pamięci, aby tylko zapamiętać, co się wydarzyło trzy akapity temu.

To tworzy “Ścianę GPU”. Nie tylko brakuje nam chipów; brakuje nam przepustowości pamięci, aby je nakarmić. Zbudowaliśmy silniki, które stają się coraz większe, ale stają się nie do pokonania. Przez długi czas rozwiązaniem branży było po prostu kupowanie coraz więcej NVIDIA H100 (NVDA ). Ale ten siłowy podejście osiąga punkt malejących zwrotów. Nie potrzebujemy silnika, który zużywa paliwo kwadratowo, ale nowej architektury.

Niewidzialna rewolucja

Podczas gdy główny nurt badań koncentrował się na LLM, grupa badaczy powróciła do starej idei: Recurrent Neural Networks (RNN). Przed Transformatorami RNN były standardem dla języka. Przetwarzały tekst sekwencyjnie, słowo po słowie, aktualizując ukryty wewnętrzny “stan” w miarę postępu. Były niezwykle wydajne, ponieważ nie musiały patrzeć wstecz na całą historię; po prostu przenosiły “istotę” jej w swojej pamięci.

RNN nie powiodły się, ponieważ nie mogły radzić sobie z długimi zależnościami; “zapominały” początek zdania, zanim dotarły do końca. Były również wolne w treningu, ponieważ nie można ich było zparallelizować. Oznacza to, że musisz przetworzyć słowo A, zanim możesz przetworzyć słowo B. Transformatory rozwiązały to, przetwarzając wszystko jednocześnie (zparallelizowanie) i trzymając wszystko w pamięci (uwaga).

Teraz świadkujemy powstaniu architektur, które łączą najlepsze cechy obu światów. Są one ogólnie znane jako State Space Models (SSM). Oferują one szybkość treningu Transformatorów (zparallelizowalność), ale wydajność inferencji RNN (liniowy wzrost).

Jedną z prominentnych architektur w tej nowej fali jest Mamba. Wydana w końcu 2023 roku i udoskonalona w 2024 roku, Mamba jest fundamentalną zmianą w tym, jak modele obsługują informacje. W przeciwieństwie do Transformatora, który przechowuje oryginalną kopię każdego słowa, które kiedykolwiek widział w buforze pamięci, Mamba używa “selektywnej przestrzeni stanu”.

Możemy zrozumieć różnicę między Transformatorami a Mambą, wyobrażając sobie Transformatora jako uczonego, który trzyma każdą książkę, którą kiedykolwiek przeczytał, otwartą na ogromnym biurku, ciągle skanując wstecz i do przodu, aby znaleźć połączenia. Mamba, z drugiej strony, jest uczonym, który czyta książkę raz i kompresuje kluczowe spostrzeżenia w niezwykle wydajny notes. Kiedy Mamba generuje następne słowo, nie musi patrzeć wstecz na surowy tekst; patrzy na swój skompresowany stan.

Ta różnica zmienia ekonomię wdrożenia AI. Z Mambą i podobnymi architekturami, takimi jak RWKV (Receptance Weighted Key Value), koszt generowania tekstu nie wybucha, gdy sekwencja staje się dłuższa. Możesz teoretycznie karmić te modele milionem słów kontekstu, a koszt obliczeniowy generowania następnego tokenu pozostaje taki sam, jak gdybyś karmił je dziesięcioma słowami.

Powrót do rekurencji

Techniczny przełom za Mambą to “selektywność”. Poprzednie próby zmodernizowania RNN nie powiodły się, ponieważ były zbyt sztywne. Kompresowały informacje równomiernie, niezależnie od tego, czy były ważne, czy szumem. Mamba wprowadza mechanizm, który pozwala modelowi dynamicznie decydować, co zapamiętać, a co zapomnieć, gdy strumieniuje dane.

Jeśli model otrzyma ważną informację, taką jak definicja zmiennej w bloku kodu, “otwiera bramę” i zapisuje ją silnie w swoim stanie. Jeśli spotyka słowa-wypełniacze lub nieistotny szum, zamyka bramę, zachowując swoją ograniczoną pojemność pamięci dla tego, co się liczy.

<p-Ta selektywność skutecznie rozwiązuje problem "zapominania", który wyzwalał starsze RNN. W wielu testach modele oparte na Mambie osiągają wyniki porównywalne z Transformatorami tej samej wielkości, ale działają nawet pięć razy szybciej podczas inferencji. Co więcej, ich ślady pamięci są znacznie mniejsze. Otwiera to drzwi do wysokowydajnych LLM, które mogą działać na urządzeniach, które wcześniej uważano za niezdolne do ich obsługi, takich jak laptopy, sieci komputera krawędziowego lub nawet smartfony, bez przesyłania pakietu do chmury.

Świadkujemy również powstanie Hyeny, innej podkwadratowej architektury, która wykorzystuje długie konwolucje do przetwarzania danych. Podobnie jak Mamba, Hyena ma na celu usunięcie ciężkich warstw “uwagi” Transformatora i zastąpienie ich matematycznymi operacjami, które są znacznie tańsze dla sprzętu. Te modele zaczynają już wyzwalać Transformatorów na głównych listach rankingowych.

Wzrost hybryd

Rewolucja jednak może nie być całkowitym zastąpieniem Transformatora, ale raczej ewolucją w kierunku form hybrydowych. Świadkujemy już powstanie modeli, takich jak Jamba (z AI21 Labs), które łączą warstwy Transformatora z warstwami Mamba.

Ten hybrydowy podejście oferuje praktyczny sposób na rozwiązanie ograniczeń Transformatora. Transformatory pozostają niezwykle silne w określonych zadaniach, szczególnie w kopiowaniu precyzyjnych szczegółów z kontekstu. Łącząc warstwy Mamba (które obsługują większość przetwarzania danych i pamięci długoterminowej) z kilkoma warstwami uwagi Transformatora (które obsługują ostry, natychmiastowy rozumowanie), otrzymujemy model, który łączy najlepsze cechy obu światów.

Model hybrydowy tworzy ogromne okno kontekstowe, które jest naprawdę użyteczne. Obecnie wiele “długich kontekstów” Transformatorów twierdzi, że mogą obsłużyć 100 000 tokenów, ale ich wydajność pogarsza się szybko, gdy kontekst wypełnia się. Zjawisko to nazywa się “zagubiony w środku“. Architektura hybrydowa utrzymuje spójność znacznie lepiej na długich dystansach, ponieważ warstwy SSM są specjalnie zaprojektowane do kompresji i przenoszenia stanu w czasie.

Te rozwój zmienia branżowe skupienie z “Treningu Obliczeniowego” (jak duży klaaster muszę zbudować, aby stworzyć model?) na “Ekonomię Inferencji” (jak tanio mogę obsłużyć ten model dla miliarda użytkowników?). Jeśli model hybrydowy może obsłużyć użytkownika za 10% kosztu Transformatora, biznesowy przypadek dla aplikacji AI zmienia się za noc.

Przyszłość wdrożenia AI

Implikacje tej post-Transformatorowej rewolucji nie są ograniczone tylko do centrum danych. Ściana GPU służyła historycznie jako strażnik, zapewniając, że tylko największe giganci technologiczne z miliardami dolarów w sprzęcie mogą budować i uruchamiać najnowsze modele. Wydajne architektury, takie jak Mamba i RWKV, demokratyzują tę moc. Jeśli możesz uruchomić model na poziomie GPT-4 na karcie konsumenckiej, ponieważ nie potrzebujesz już terabajtów VRAM dla pamięci Key-Value, scentralizowana kontrola AI zaczyna się rozluźniać. Moglibyśmy zobaczyć odrodzenie się lokalnych, prywatnych agentów AI, które żyją całkowicie na Twoim komputerze, przetwarzając Twoje prywatne dane bez wysłania pakietu do chmury.

Ponadto, ta wydajność jest kluczem do odblokowania “Agentic AI” systemów, które działają w tle przez godziny lub dni, aby ukończyć złożone zadania. Obecne Transformatory są zbyt drogie i wolne, aby działać w ciągłych pętlach przez długi czas. Wydajna, liniowa architektura może “myśleć” i przetwarzać pętle w sposób ciągły bez bankructwa użytkownika lub przegrzania sprzętu.

Podsumowanie

Transformator zdominował nagłówki AI, ale za kulisami trwa cicha rewolucja. Ściana GPU zmusza badaczy do przemyślenia, jak modele obsługują pamięć i obliczenia. Architektury post-Transformatorowe, takie jak Mamba i modele hybrydowe, dowodzą, że wydajność, a nie tylko skala, zdefiniuje następną erę. Te innowacje sprawiają, że ogromne okna kontekstowe stają się praktyczne, inferencja staje się tańsza, a zaawansowana AI staje się dostępna poza centrami danych. Przyszłość AI nie leży w większych modelach, ale w inteligentniejszych, które pamiętają, rozumieją i skalują wydajnie.