Den grafiska väggen spricker: Den osynliga revolutionen i post-Transformatorarkitektur

För de senaste fem åren har den artificiella intelligensindustrin i princip varit synonym med ett ord: Transformator. Sedan publiceringen av den banbrytande artikeln “Attention Is All You Need” 2017 har denna arkitektur tagit över fältet. Från GPT till Claude bygger i princip varje modell som skapat rubriker på samma underliggande mekanism för självuppmärksamhet. Vi har i stor utsträckning antagit att vägen till bättre AI är att skala upp. I praktiken innebär detta att man tränar större Transformatorer med mer data på större kluster av GPU:er.

Medan denna tro har drivit många genombrott, har den nu nått sina gränser. Vi stöter på en “GPU-vägg”, ett hinder som inte bara består av rå beräkningskraft, utan också av minnesbandbredd och ekonomisk hållbarhet. Medan världen fokuserar på racet mot modeller med en biljon parametrar sker en radikal förändring i forskningslaboratorierna. En ny våg av “post-Transformatorarkitektur” växer fram för att krossa begränsningarna i den nuvarande paradigm. Denna förändring lovar att göra AI mer effektivt, tillgängligt och kapabelt att resonera över oändliga sammanhang.

Den silikonbaserade taket: Varför Transformatorer stöter på ett hinder

För att förstå varför vi behöver en förändring, måste vi först förstå flaskhalsen i den nuvarande regimen. Transformatorer är otroligt kraftfulla, men de är också remarkabelt ineffektiva på specifika sätt. Kärnan i deras förmåga ligger i “uppmärksamhetsmekanismen”, som tillåter modellen att se på varje token i en sekvens och beräkna dess relation till varje annan token. Detta är vad som ger dem förmågan att förstå sammanhang på ett remarkabelt sätt.

Men denna förmåga kommer med en dödlig svaghet i form av kvadratisk skalning. Om du dubblar dokumentets längd, vill du att AI:n ska läsa, så ökar den beräkningsmässiga arbetsbelastningen inte bara dubbelt, utan fyrdubbelt. När vi strävar efter “oändliga sammanhangsmodeller” som kan läsa hela bibliotek eller kodbas, blir de beräkningsmässiga kraven extremt höga.

Men det mer omedelbara problemet är minnet, specifikt “KV-cache” (Nyckel-värde-cache). För att generera text flytande, måste en Transformator hålla ett löpande minne av allt den precis sagt i GPU:ns höghastighetsminne (VRAM). När samtalet blir längre, sväller denna cache och förbrukar enorma mängder minne, bara för att komma ihåg vad som hände för tre paragrafer sedan.

Detta skapar “GPU-väggen”. Vi är inte bara på väg att ta slut på chip, utan vi är också på väg att ta slut på minnesbandbredd för att mata dem. Vi har byggt motorer som blir större och större, men de blir omöjliga att bränsleförsörja. Under en lång tid var industrins lösning att enkelt köpa fler NVIDIA H100 (NVDA ):or. Men denna brutala kraft når en punkt av avtagande avkastning. Vi behöver inte en motor som förbrukar bränsle kvadratiskt, utan en ny arkitektur.

Den osynliga revolutionen

Medan den mest mainstream-orienterade forskningen har fokuserat på stora språkmodeller, har en grupp forskare återbesökt en gammal idé: Recurrenta neurala nätverk (RNN). Innan Transformatorer var RNN standard för språk. De bearbetade text sekventiellt, ord för ord, och uppdaterade en dold intern “tillstånd” allteftersom. De var otroligt effektiva, eftersom de inte behövde titta tillbaka på hela historien, utan bara bar “essensen” av den i sitt minne.

RNN misslyckades, eftersom de inte kunde hantera långa beroenden; de skulle “glömma” början av en mening när de nådde slutet. De var också långsamma att träna, eftersom de inte kunde paralleliseras. Detta innebar att de måste bearbeta ord A innan de kunde bearbeta ord B. Transformatorer löste detta genom att bearbeta allt på en gång (parallelisering) och hålla allt i minnet (uppmärksamhet).

Nu ser vi uppkomsten av arkitekturer som kombinerar det bästa av båda världar. Dessa är i allmänhet kända som State Space-modeller (SSM). De erbjuder träningshastigheten hos Transformatorer (paralleliserbara), men också inferens-effektiviteten hos RNN (linjär skalning).

En av de framträdande arkitekturerna i denna nya våg är Mamba. Utgiven i slutet av 2023 och förfinad under 2024, är Mamba en grundläggande förändring av hur modeller hanterar information. Till skillnad från en Transformator, som behåller en originalkopia av varje ord den någonsin sett i sin minnesbuffert, använder Mamba ett “selektivt tillståndsutrymme”.

Vi kan förstå skillnaden mellan Transformator och Mamba genom att föreställa sig Transformatorn som en forskare som håller varje bok den någonsin läst öppen på en enorm skrivbord, ständigt scannar fram och tillbaka för att hitta samband. Mamba, å andra sidan, är en forskare som läser boken en gång och komprimerar de viktigaste insikterna till en mycket effektiv anteckningsbok. När Mamba genererar nästa ord, behöver den inte titta tillbaka på den ursprungliga texten; den tittar på sitt komprimerade tillstånd.

Denna distinktion förändrar ekonomin i AI-distribution. Med Mamba och liknande arkitekturer som RWKV (Receptance Weighted Key Value), behöver kostnaden för att generera text inte explodera när sekvensen blir längre. Du kan teoretiskt mata dessa modeller en miljon ord av sammanhang, och den beräkningsmässiga kostnaden för att generera nästa token förblir densamma som om du hade matat dem tio ord.

Återkomsten av återkommande neurala nätverk

Den tekniska genombrottet bakom Mamba är “selektivitet”. Tidigare försök att modernisera RNN misslyckades, eftersom de var för stela. De komprimerade information lika, oavsett om det var viktigt eller brus. Mamba introducerar en mekanism som tillåter modellen att dynamiskt bestämma vad den ska komma ihåg och vad den ska glömma när den strömmar data.

Om modellen får en viktig bit information, som en variabeldefinition i en kodblock, “öppnar den grinden” och skriver den starkt i sitt tillstånd. Om den stöter på fyllnadsord eller irrelevant brus, stänger den grinden och bevarar sin begränsade minneskapacitet för vad som är viktigt.

Denna selektivitet löser effektivt “glömskeproblemet” som utmanade äldre RNN. I många tester matchar Mamba-baserade modeller prestandan hos Transformatorer av samma storlek, men körs upp till fem gånger snabbare under inferens. Mer viktigt är deras minnesavtryck mycket mindre. Detta öppnar dörren för högpresterande LLM att köras på enheter som tidigare ansågs oförmögna att hantera dem, som bärbara datorer, edge-nätverk eller till och med smartphones, utan att offloada till molnet.

Vi ser också uppkomsten av Hyena, en annan sub-kvadratisk arkitektur som använder långa konvolutioner för att bearbeta data. Liksom Mamba syftar Hyena till att ta bort de tunga “uppmärksamhetslagren” i Transformatorn och ersätta dem med matematiska operationer som är mycket billigare för maskinvaran att utföra. Dessa modeller har nu börjat utmana Transformator-inkumbenter på stora ledartavlor.

Hybridernas uppgång

Revolutionen kanske inte är en fullständig ersättning av Transformatorn, utan snarare en evolution till hybridformer. Vi ser redan uppkomsten av modeller som Jamba (från AI21 Labs), som kombinerar Transformatorlager med Mamba-lager.

Denna hybridapproach erbjuder ett praktiskt sätt att hantera Transformatorns begränsningar. Transformatorer förblir exceptionellt starka i vissa uppgifter, särskilt för att kopiera exakta detaljer från sammanhang. Genom att blanda Mamba-lager (som hanterar den mesta data bearbetningen och långsiktigt minne) med några Transformator-uppmärksamhetslager (som hanterar den skarpa, omedelbara resonemanget), får vi en modell som kombinerar det bästa av båda världar.

En hybridmodell skapar ett massivt sammanhangsfönster som faktiskt är användbart. För närvarande hävdar många “långa sammanhangs”-Transformatorer att de kan hantera 100 000 token, men deras prestanda försämras snabbt när sammanhanget fylls. Detta fenomen kallas “förlorad i mitten“. Hybridarkitektur behåller sin sammanhang mycket bättre över långa avstånd, eftersom SSM-lagren är specifikt utformade för att komprimera och bära tillstånd över tid.

Dessa utvecklingar förändrar industrins fokus från “träningsberäkning” (hur stor kluster behöver jag bygga för att bygga modellen?) till “inferensekonomi” (hur billigt kan jag serva denna modell till en miljard användare?). Om en hybridmodell kan serva en användare för 10% av kostnaden för en Transformator, förändras affärsfallet för AI-applikationer över en natt.

Framtiden för AI-distribution

Konsekvenserna av denna post-Transformatorrevolution är inte begränsade till datacentret. Den grafiska väggen har historiskt sett fungerat som en grindväktare, som säkerställer att endast de största teknikjättarna med miljarder dollar i hårdvara kunde bygga och köra state-of-the-art-modeller. Effektiva arkitekturer som Mamba och RWKV demokratiserar denna kraft. Om du kan köra en GPT-4-nivåmodell på en konsumentkort, eftersom du inte längre behöver terabyte av VRAM för nyckel-värde-cachen, börjar den centraliserade kontrollen av AI att lösas. Vi kan se en återkomst av lokala, privata AI-agenter som lever helt på din dator, bearbetar din privata data utan att skicka en paket till molnet.

Dessutom är denna effektivitet nyckeln till att låsa upp “Agentic AI“-system som körs i bakgrunden i timmar eller dagar för att slutföra komplexa uppgifter. Nuvarande Transformatorer är för dyra och långsamma för att köras i kontinuerliga loopar under långa perioder. En effektiv, linjär-tidsarkitektur kan “tänka” och bearbeta loopar kontinuerligt utan att ruinera användaren eller överhettas.

Sammanfattning

Transformatorn har dominerat AI-rubriker, men bakom kulisserna pågår en tyst revolution. Den grafiska väggen tvingar forskare att ompröva hur modeller hanterar minne och beräkning. Post-Transformatorarkitekturer som Mamba och hybridmodeller visar att effektivitet, inte bara skala, kommer att definiera nästa era. Dessa innovationer gör massiva sammanhangsfönster praktiska, inferens billigare och avancerad AI tillgänglig bortom datacenter. Framtiden för AI ligger inte i större modeller, utan i smartare modeller som minns, resonerar och skalar effektivt.