Ściana GPU pęka: Niewidzialna rewolucja w architekturach post-Transformer

Przez ostatnie pięć lat, przemysł sztucznej inteligencji był skutecznie synonimem jednego słowa: Transformer. Od czasu opublikowania przełomowego artykułu “Attention Is All You Need” w 2017 roku, ta architektura pochłonęła całe pole. Od GPT do Claude, praktycznie każdy model, który przyciągał uwagę, opierał się na tym samym podstawowym mechanizmie self-attention. Założyliśmy, że droga do lepszej sztucznej inteligencji jest po prostu kwestią skali. W praktyce oznacza to trenowanie większych Transformerów z większymi danymi na większych klastrach GPU.

Podczas gdy ta wiara napędzała wiele przełomów, teraz dochodzi do swoich granic. Uderzamy w “ścianę GPU”, barierę nie tylko surowej mocy obliczeniowej, ale także przepustowości pamięci i zrównoważonego rozwoju gospodarczego. Podczas gdy świat koncentruje się na wyścigu do modeli z trylionem parametrów, radykalna zmiana ma miejsce w laboratoriach badawczych. Pojawia się nowa fala „architektur post-Transformer”, które mają zniszczyć ograniczenia obecnego paradygmatu. Ta zmiana obiecuje uczynić sztuczną inteligencję bardziej wydajną, dostępną i zdolną do rozumowania w nieskończonych kontekstach.

Strop krzemowy: Dlaczego Transformatory uderzają w ścianę

Aby zrozumieć, dlaczego potrzebujemy zmiany, najpierw musimy zrozumieć wąskie gardło obecnego reżimu. Transformatory są niezwykle potężne, ale są również niezwykle niewydajne w określonych sposobach. Rdzeń ich zdolności leży w “mechanizmie uwagi”, który pozwala modelowi spojrzeć na każdy token w sekwencji i obliczyć jego relację do każdego innego tokenu. To daje im zdolność do zrozumienia kontekstu w sposób niezwykle dobry.

Jednak ta zdolność idzie w parze z fatalną wadą kwadratowego wzrostu. Jeśli podwoisz długość dokumentu, który chcesz, aby AI przeczytał, praca obliczeniowa wymagana nie podwaja się, ale czterokrotnie. Podczas gdy dążymy do modeli „nieskończonych kontekstów”, które mogą przeczytać całe biblioteki lub bazy kodu, wymagania obliczeniowe stają się bardzo wysokie.

Ale bardziej natychmiastowy problem to pamięć, konkretnie “KV Cache” (Key-Value Cache). Aby wygenerować tekst płynnie, Transformer musi przechowywać bieżącą historię wszystkiego, co zostało powiedziane w pamięci wysokiej prędkości GPU (VRAM). Im dłuższa rozmowa, tym cache rozrasta się, zużywając ogromne ilości pamięci, aby tylko zapamiętać, co się wydarzyło trzy akapity temu.

To tworzy “ścianę GPU”. Nie tylko brakuje nam chipów; brakuje nam również przepustowości pamięci, aby je nakarmić. Zbudowaliśmy silniki, które stają się coraz większe, ale stają się nie do pokonania. Przez długi czas rozwiązaniem branży było po prostu kupowanie więcej NVIDIA H100. Ale ten siłowy atak osiąga punkt malejących zwrotów. Nie potrzebujemy silnika, który zużywa paliwo kwadratowo, ale nowej architektury.

Niewidzialna rewolucja

Podczas gdy główny nurt badań koncentrował się na LLM, grupa badaczy ponownie zajęła się starym pomysłem: Recurrent Neural Networks (RNN). Przed Transformatorem RNN były standardem dla języka. Przetwarzały tekst sekwencyjnie, słowo po słowie, aktualizując ukryty wewnętrzny “stan” w miarę postępu. Były niezwykle wydajne, ponieważ nie musiały patrzeć wstecz na całą historię; po prostu przenosiły “istotę” jej w pamięci.

RNN nie powiodły się, ponieważ nie mogły radzić sobie z długimi zależnościami; “zapominały” początek zdania, zanim dotarły do jego końca. Były również wolne w treningu, ponieważ nie można ich było zaparalelizować. Oznaczało to, że musisz przetworzyć słowo A, zanim będziesz mógł przetworzyć słowo B. Transformatory rozwiązały to, przetwarzając wszystko na raz (zaparalelizacja) i przechowując wszystko w pamięci (uwaga).

Teraz świadkujemy pojawienie się nowej fali architektur, które łączą najlepsze cechy obu światów. Są one ogólnie znane jako State Space Models (SSM). Oferują one szybkość treningu Transformatorem (możliwość zaparalelizowania) oraz wydajność inferencji RNN (liniowy wzrost).

Jedną z prominentnych architektur w tej nowej fali jest Mamba. Wydana pod koniec 2023 roku i udoskonalona w 2024 roku, Mamba jest fundamentalną zmianą w tym, jak modele radzą sobie z informacjami. W przeciwieństwie do Transformatora, który przechowuje oryginalną kopię każdego słowa, które kiedykolwiek widział w buforze pamięci, Mamba używa “selektywnej przestrzeni stanu”.

Możemy zrozumieć różnicę między Transformatorem a Mambą, wyobrażając sobie Transformatora jako uczonego, który trzyma każdą książkę, którą kiedykolwiek przeczytał, otwartą na ogromnym biurku, ciągle skanując wstecz i do przodu, aby znaleźć połączenia. Mamba, z drugiej strony, jest uczonym, który czyta książkę raz i kompresuje kluczowe spostrzeżenia w bardzo wydajną notatkę. Kiedy Mamba generuje następne słowo, nie musi patrzeć wstecz na surowy tekst; patrzy na swoją skompresowaną stan.

Ta różnica zmienia ekonomię wdrożenia AI. Z Mambą i podobnymi architekturami, takimi jak RWKV (Receptance Weighted Key Value), koszt generowania tekstu nie wybucha, gdy sekwencja staje się dłuższa. Można teoretycznie karmić te modele milionem słów kontekstu, a koszt obliczeniowy generowania następnego tokenu pozostaje taki sam, jak gdybyście im podali dziesięć słów.

Powrót do rekurencji

Przełom techniczny za Mambą to “selektywność”. Poprzednie próby zmodernizowania RNN nie powiodły się, ponieważ były zbyt sztywne. Kompresowały informacje równomiernie, niezależnie od tego, czy były one ważne czy szumem. Mamba wprowadza mechanizm, który pozwala modelowi dynamicznie decydować, co pamiętać, a co zapomnieć, gdy przesyła dane.

Jeśli model otrzyma ważną informację, taką jak definicja zmiennej w bloku kodu, “otwiera bramę” i zapisuje ją silnie w swoim stanie. Jeśli spotyka słowa-wypełniacze lub nieistotne szumy, zamyka bramę, zachowując swoją ograniczoną pojemność pamięci dla tego, co się liczy.

Ta selektywność skutecznie rozwiązuje problem “zapominania”, który dotknął starsze RNN. W wielu testach modele oparte na Mambie osiągają wyniki porównywalne z Transformatorem tej samej wielkości, ale działają do pięciu razy szybciej podczas inferencji. Co więcej, ich ślad pamięci jest znacznie mniejszy. To otwiera drzwi dla wysokowydajnych LLM, które mogą działać na urządzeniach, które wcześniej uważano za niezdolne do obsługi ich, takich jak laptopy, sieci komputera krawędziowego lub nawet smartfony, bez przesyłania pakietu do chmury.

Świadkujemy również pojawienie się Hyena, innej pod-kwadratowej architektury, która używa długich splotów, aby przetwarzać dane. Podobnie jak Mamba, Hyena ma na celu usunięcie ciężkich “warstw uwagi” Transformatora i zastąpienie ich matematycznymi operacjami, które są znacznie tańsze dla sprzętu do wykonania. Te modele zaczynają już wyzywać Transformatory na głównych listach rankingowych.

Wzrost hybryd

Rewolucja jednak może nie być całkowitym zastąpieniem Transformatora, ale raczej ewolucją w kierunku form hybrydowych. Już teraz obserwujemy pojawienie się modeli takich jak Jamba (z AI21 Labs), które łączą warstwy Transformatora z warstwami Mamba.

Ten hybrydowy podejście oferuje praktyczny sposób na rozwiązanie ograniczeń Transformatora. Transformatory pozostają wyjątkowo silne w określonych zadaniach, szczególnie w kopiowaniu precyzyjnych szczegółów z kontekstu. Łącząc warstwy Mamba (które obsługują większość przetwarzania danych i pamięci długoterminowej) z kilkoma warstwami uwagi Transformatora (które obsługują ostry, natychmiastowy rozumowanie), otrzymujemy model, który łączy najlepsze cechy obu światów.

Model hybrydowy tworzy ogromne okno kontekstowe, które jest naprawdę użyteczne. Obecnie wiele “długich kontekstów” Transformatorem twierdzi, że może obsłużyć 100 000 tokenów, ale ich wydajność pogarsza się szybko, gdy kontekst wypełnia się. To zjawisko jest znane jako “zagubiony w środku“. Architektura hybrydowa utrzymuje swoją spójność znacznie lepiej na długich dystansach, ponieważ warstwy SSM są specjalnie zaprojektowane do kompresji i przenoszenia stanu w czasie.

Te rozwoje zmieniają focus branży z “Obliczeń treningu” (jak duży klaaster potrzebuję, aby zbudować model?) na “Ekonomię inferencji” (jak tanio mogę obsłużyć ten model dla miliarda użytkowników?). Jeśli hybrydowy model może obsłużyć użytkownika za 10% kosztu Transformatora, przypadek biznesowy dla aplikacji AI zmienia się za jedną noc.

Przyszłość wdrożenia AI

Implikacje tej rewolucji post-Transformer nie są ograniczone tylko do centrum danych. Ściana GPU historycznie służyła jako strażnik, zapewniając, że tylko największe giganci technologiczni z miliardami dolarów w sprzęcie mogą zbudować i uruchomić najnowsze modele. Wydajne architektury, takie jak Mamba i RWKV, demokratyzują tę moc. Jeśli możesz uruchomić model na poziomie GPT-4 na karcie konsumenckiej, ponieważ nie potrzebujesz już terabajtów VRAM dla cache Key-Value, scentralizowana kontrola AI zaczyna się rozluźniać. Moglibyśmy zobaczyć odrodzenie się lokalnych, prywatnych agentów AI, które żyją całkowicie na Twoim komputerze, przetwarzając Twoje prywatne dane bez wysłania pakietu do chmury.

Ponadto, ta wydajność jest kluczem do odblokowania “Agentic AI” systemów, które działają w tle przez godziny lub dni, aby ukończyć złożone zadania. Obecne Transformatory są zbyt drogie i wolne, aby działać w ciągłych pętlach przez dłuższy czas. Wydajna, liniowa architektura może “myśleć” i przetwarzać pętle ciągle bez bankructwa użytkownika lub przegrzania sprzętu.

Podsumowanie

Transformer zdominował nagłówki AI, ale za kulisami trwa cicha rewolucja. Ściana GPU zmusza badaczy do przemyślenia, jak modele radzą sobie z pamięcią i obliczeniami. Architektury post-Transformer, takie jak Mamba i hybrydowe modele, dowodzą, że wydajność, a nie tylko skala, zdefiniuje następną erę. Te innowacje sprawiają, że ogromne okna kontekstowe stają się praktyczne, inferencja staje się tańsza, a zaawansowana AI staje się dostępna poza centrami danych. Przyszłość AI leży nie w większych modelach, ale w bardziej inteligentnych, które pamiętają, rozumieją i skalują wydajnie.