Přehrada GPU se hroutí: Neviditelná revoluce v post-Transformerových architekturách

Před pěti lety se umělá inteligence stala prakticky synonymem pro jedno slovo: Transformer. Od vydání článku “Attention Is All You Need” v roce 2017 tato architektura ovládla celý obor. Od GPT po Claude téměř všechny modely, které získaly pozornost, spoléhají na stejný základní mechanismus self-attention. Předpokládali jsme, že cesta k lepšímu AI spočívá jednoduše ve větším měřítku. V praxi to znamená trénovat větší Transformers s více daty na větším clusteru GPU.

Zatímco toto přesvědčení vedlo k mnoha průlomům, nyní naráží na své limity. Narážíme na “GPU Wall”, bariéru, která není pouze otázkou surové výpočetní síly, ale také paměťové šířky a ekonomické udržitelnosti. Zatímco se svět soustředí na závod za modely s trilionem parametrů, ve výzkumných laboratořích probíhá radikální posun. Nová vlna “post-Transformerových architektur” se rodí, aby rozbité limity současného paradigmatu. Tento posun slibuje učinit AI více efektivní, přístupnou a schopnou rozumnět v nekonečných kontextech.

Přehrada křemíku: Proč Transformers naráží na zeď

Abychom pochopili, proč potřebujeme posun, musíme nejprve pochopit úzké místo současného režimu. Transformers jsou neuvěřitelně silné, ale jsou také pozoruhodně neefektivní ve specifických směrech. Jádro jejich schopnosti spočívá v “pozornostním mechanismu”, který umožňuje modelu podívat se na každý token v sekvenci a vypočítat jeho vztah k ostatním tokenům. To jim umožňuje rozumět kontextu pozoruhodně dobře.

Jedná se však o schopnost, která přichází s fatální vadou kvadratického růstu. Pokud zdvojnásobíte délku dokumentu, který chce AI přečíst, výpočetní práce, která je vyžadována, se nezjednoduší, ale zčtyřnásobí. Když usilujeme o “nekonečné kontextové” modely, které mohou číst celé knihovny nebo kódy, výpočetní nároky se stávají extrémně vysokými.

Ale bližší problém je paměť, zejména “KV Cache” (Key-Value Cache). Aby Transformer mohl generovat text plynule, musí uchovávat běžící historii všeho, co právě řekl v high-speed paměti (VRAM) GPU. Jakmile se konverzace prodlužuje, tato cache se rozšiřuje a spotřebovává大量 paměti, aby si vzpomněl, co se stalo před třemi odstavci.

To vytváří “GPU Wall”. Nejenom, že nám docházejí čipy, ale také paměťová šířka, abychom je mohli krmit. Postavili jsme motory, které se stávají větší a větší, ale stávají se nemožně palivové. Po dlouhou dobu byla řešení odvětví prostě koupit více NVIDIA H100 (NVDA ). Ale tato hrubá síla dosahuje bodu zmenšující se návratnosti. Nepotřebujeme motor, který spotřebuje palivo kvadraticky, ale novou architekturu.

Neviditelná revoluce

Zatímco hlavní výzkum se soustředil na LLM, skupina výzkumníků se vrátila k staré myšlence: Recurrent Neural Networks (RNN). Před Transformers byly RNN standardem pro jazyk. Zpracovávaly text sekvenčně, slovo po slovu, aktualizovaly skrytý vnitřní “stav” během procesu. Byly neuvěřitelně efektivní, protože nemusely hledět zpět na celou historii, ale pouze nesly “jádro” v paměti.

RNN selhaly, protože nemohly zvládnout dlouhé závislosti; “zapomínaly” začátek věty, když dosáhly konce. Byly také pomalé při tréninku, protože je nebylo možné paralelizovat. To znamenalo, že museli zpracovat slovo A předtím, než mohli zpracovat slovo B. Transformers vyřešily tento problém zpracováním všeho najednou (paralelizace) a uchováním všeho v paměti (pozornost).

Nyní jsme svědky vzniku architektur, které kombinují nejlepší z obou světů. Tyto architektury jsou obecně známé jako State Space Models (SSM). Nabízejí tréninkovou rychlost Transformers (paralelizovatelné), ale inferenční efektivity RNN (lineární škálovatelnost).

Jedním z prominentních architektur v této nové vlně je Mamba. Vydaná na konci roku 2023 a zdokonalená v roce 2024, Mamba představuje fundamentální posun v tom, jak modely zpracovávají informace. Na rozdíl od Transformeru, který uchovává originální kopii každého slova, které kdy viděl, v paměťovém bufferu, Mamba používá “selektivní stavový prostor”.

Můžeme pochopit rozdíl mezi Transformerem a Mambou tím, že si Transformer představíme jako učence, který drží každou knihu, kterou kdy četl, otevřenou na obrovském stole, neustále skenující zpět a vpřed, aby našel spojení. Mamba, na druhé straně, je učencem, který čte knihu jednou a komprimuje klíčové poznatky do vysoce efektivní knihy. Když Mamba generuje další slovo, nemusí se dívat zpět na surový text; dívá se na svou komprimovanou stav.

Tento rozdíl mění ekonomiku nasazení AI. S Mambou a podobnými architekturami, jako je RWKV (Receptance Weighted Key Value), náklady na generování textu neexplodují, jakmile se sekvence prodlužuje. Teoreticky můžete tyto modely krmit milionem slov kontextu a výpočetní náklady na generování dalšího tokenu zůstanou stejné, jako kdyby jste jim dali deset slov.

Návrat rekurze

Technický průlom za Mambou je “selektivita”. Předchozí pokusy o modernizaci RNN selhaly, protože byly příliš rigidní. Komprimovaly informace stejně, bez ohledu na to, zda šlo o důležité nebo šum. Mamba představuje mechanismus, který umožňuje modelu dynamicky rozhodnout, co si pamatovat a co zapomenout, zatímco streamuje data.

Pokud model dostane důležité informace, jako je definice proměnné v kódu, “otevře bránu” a silně zapíše do svého stavu. Pokud čelí naplněným slovům nebo irelevantnímu šumu, zavře bránu a zachová svou omezenou paměťovou kapacitu pro to, co je důležité.

Tato selektivita efektivně řeší “zapomínací” problém, který ohrožoval starší RNN. Ve mnoha testech modely založené na Mambě odpovídají výkonu Transformers stejné velikosti, ale běží až pětkrát rychleji během inference. Více důležitější je, že jejich paměťový otisk je mnohem menší. To otevírá dveře pro high-performance LLM, aby běžely na zařízeních, která byla dříve považována za neschopná zvládnout je, jako jsou notebooky, edge-computing sítě nebo dokonce smartphony, bez offloadingu do cloudu.

Také vidíme vzestup Hyeny, další subkvadratické architektury, která využívá dlouhé konvoluce pro zpracování dat. Stejně jako Mamba, Hyena cílí na odstranění těžkých “pozornostních” vrstev Transformeru a nahrazení je matematickými operacemi, které jsou pro hardware mnohem levnější. Tyto modely již začaly ohrožovat Transformerové incumbenty na hlavních leaderboardů.

Vzestup hybridů

Revoluce však nemusí být úplnou náhradou Transformeru, ale spíše evolucí do hybridních forem. Již vidíme vznik modelů, jako je Jamba (z AI21 Labs), který kombinuje Transformerové vrstvy s Mamba vrstvami.

Tento hybridní přístup nabízí praktický způsob, jak řešit omezení Transformeru. Transformers zůstávají výjimečně silné pro určitých úkoly, zejména pro kopírování přesných detailů z kontextu. Kombinováním Mamba vrstev (které zpracovávají většinu dat a dlouhodobé paměti) s několika Transformerovými pozornostními vrstvami (které zpracovávají ostré, okamžité rozumnění), získáme model, který spojuje nejlepší z obou světů.

Hybridní model vytváří obrovské kontextové okno, které je skutečně použitelné. V současné době mnoho “dlouhých kontextových” Transformerů tvrdí, že mohou zpracovat 100 000 tokenů, ale jejich výkon se rychle zhoršuje, jakmile se kontext zaplní. Tento jev je známý jako “ztracený uprostřed“. Hybridní architektura udržuje svou koherenci mnohem lépe na dlouhých vzdálenostech, protože SSM vrstvy jsou speciálně navrženy pro komprimaci a přenos stavu v čase.

Tyto vývojové změny mění zaměření odvětví z “tréninkového výpočtu” (jak velký cluster potřebuji postavit, aby vytvořil model?) na “inference ekonomiku” (jak levně mohu tento model sloužit miliardě uživatelů?). Pokud hybridní model může sloužit uživateli za 10 % nákladů na Transformer, obchodní případ pro AI aplikace se změní přes noc.

Budoucnost nasazení AI

Dopady této post-Transformerové revoluce nejsou omezeny pouze na datové centrum. Přehrada GPU historicky sloužila jako brána, zajišťující, že pouze největší technologické giganty s miliardami dolarů v hardwaru mohli postavit a spustit špičkové modely. Efektivní architektury, jako je Mamba a RWKV, demokratizují tuto sílu. Pokud můžete spustit model GPT-4 úrovně na spotřebitelské kartě, protože již nemusíte terabajty VRAM pro Key-Value cache, centralizovaná kontrola AI začíná povolovat. Mohli bychom vidět oživení lokálních, privátních agentů AI, kteří žijí zcela na vašem počítači, zpracovávají vaše soukromá data bez odeslání paketu do cloudu.

Kromě toho je tato efektivita klíčem k odemknutí “Agentic AI” systémů, které běží na pozadí po hodiny nebo dny, aby dokončily komplexní úkoly. Současné Transformers jsou příliš drahé a pomalé, aby běžely v kontinuálních smyčkách po dlouhou dobu. Efektivní, lineární architektura může “myslet” a zpracovávat smyčky kontinuálně bez bankrotu uživatele nebo přehřátí hardwaru.

Závěrečné shrnutí

Transformer ovládl AI titulky, ale za scénou probíhá tichá revoluce. Přehrada GPU tlačí výzkumníky, aby přehodnotili, jak modely zpracovávají paměť a výpočet. Post-Transformerové architektury, jako je Mamba a hybridní modely, prokazují, že efektivita, a ne pouze měřítko, bude definovat příští éru. Tyto inovace činí obrovská kontextová okna praktická, inference levnější a pokročilou AI přístupnou za hranicemi datových center. Budoucnost AI leží ne v větších modelech, ale ve chytřejších, které si pamatují, rozumějí a škálovat efektivně.