GPU-muren er ved at sprække: Den usete revolution i post-Transformer-arkitekturer

I de sidste fem år har den kunstige intelligensindustri effektivt været synonym med ét ord: Transformer. Siden udgivelsen af den seminale “Attention Is All You Need“-artikel i 2017, har denne arkitektur slugt feltet. Fra GPT til Claude, afhænger næsten hver enkelt model, der skaber overskrifter, af den samme underliggende mekanisme som selvopmærksomhed. Vi har hovedsageligt antaget, at vejen til bedre AI blot er et spørgsmål om skala. I praksis betyder dette at træne større Transformers med mere data på større GPU-klynger.

Denne overbevisning har drevet mange gennembrud, men den er nu ved at nå sine grænser. Vi rammer en “GPU-mur”, en barriere ikke blot af rå beregningskraft, men også af hukommelsesbåndbredde og økonomisk bæredygtighed. Mens verden fokuserer på kapløbet om trillion-parameter-modeller, sker der en radikal ændring i forskningslaboratorier. En ny bølge af “Post-Transformer-arkitekturer” er ved at opstå for at knuse begrænsningerne af den nuværende paradigme. Denne ændring lover at gøre AI mere effektiv, tilgængelig og i stand til at resonere over uendelige kontekster.

Siliciumloftet: Hvorfor Transformers rammer en mur

For at forstå, hvorfor vi har brug for en ændring, skal vi først forstå flaskehalsen i den nuværende regime. Transformers er utrolig kraftfulde, men de er også bemærkelsesværdigt ineffektive på bestemte måder. Kernen af deres evne ligger i “opmærksomheds-mekanismen”, som giver modellen mulighed for at se på hver enkelt token i en sekvens og beregne dets forhold til hver anden token. Dette giver dem evnen til at forstå kontekst på en bemærkelsesværdig måde.

Men denne evne kommer med en fatal fejl af kvadratisk skala. Hvis du fordobler længden af dokumentet, du vil have, AI skal læse, bliver den beregningsmæssige arbejde, der kræves, ikke blot fordoblet, men firedoblet. Da vi stræber efter “uendelige kontekst”-modeller, der kan læse hele biblioteker eller kodebasis, bliver de beregningsmæssige krav ekstremt høje.

Men det mere umiddelbare problem er hukommelse, specifikt “KV-Cache” (Key-Value-Cache). For at generere tekst flydende skal en Transformer holde en løbende historik over alt, den lige har sagt, i GPU’ens højhastigheds-hukommelse (VRAM). Da samtalen bliver længere, bliver denne cache opblæst og forbruger massive mængder hukommelse blot for at huske, hvad der skete for tre paragraffer siden.

Dette skaber “GPU-muren”. Vi er ikke blot ved at løbe tør for chip, men også ved at løbe tør for hukommelsesbåndbredde til at føde dem. Vi har bygget motorer, der bliver større og større, men de er ved at blive umulige at føde. I lang tid har branchens løsning blot været at købe mere NVIDIA H100 (NVDA ). Men denne brutale kraft er ved at nå et punkt af aftagende afkast. Vi har brug for en motor, der ikke forbruger brændstof kvadratisk, men en ny arkitektur.

Den usete revolution

Mens hovedstrømsforskning har været fokuseret på LLM’er, har en gruppe forskere genoptaget en gammel idé: Recurrent Neural Networks (RNN’er). Før Transformers var RNN’er standarden for sprog. De behandlede tekst sekventielt, ord for ord, og opdaterede en skjult intern “tilstand” undervejs. De var utrolig effektive, fordi de ikke behøvede at se tilbage på hele historien, men blot bar “essensen” af den i deres hukommelse.

RNN’er fejlede, fordi de ikke kunne håndtere lange afhængigheder; de ville “glemme” begyndelsen af en sætning, når de nåede slutningen. De var også langsomme at træne, fordi man ikke kunne parallelisere dem. Dette betyder, at man skulle behandle ord A, før man kunne behandle ord B. Transformers løste dette ved at behandle alt på én gang (parallelisering) og holde alt i hukommelse (opmærksomhed).

Nu er vi vidne til opblomstringen af arkitekturer, der kombinerer det bedste fra begge verdener. Disse kaldes bredt for State Space Models (SSM’er). De tilbyder træningshastigheden af Transformers (paralleliserbar) men inferens-effektiviteten af RNN’er (lineær skala).

En af de fremtrædende arkitekturer i denne nye bølge er Mamba. Udgivet i slutningen af 2023 og forfinet i løbet af 2024, er Mamba en fundamental ændring i, hvordan modeller håndterer information. I modsætning til en Transformer, der holder en original kopi af hvert ord, den nogensinde har set, i sin hukommelsesbuffer, bruger Mamba en “selektiv tilstandsrum”.

Vi kan forstå forskellen mellem Transformer og Mamba ved at forestille os Transformer som en lærd, der holder hver bog, den nogensinde har læst, åben på en enorm skrivebord, og konstant scanner tilbage og frem for at finde forbindelser. Mamba, på den anden side, er en lærd, der læser bogen én gang og komprimerer de vigtige indsighter til en højtydende notesbog. Når Mamba genererer det næste ord, behøver den ikke at se tilbage på den rå tekst; den ser på sin komprimerede tilstand.

Denne forskel ændrer økonomien i AI-udvikling. Med Mamba og lignende arkitekturer som RWKV (Receptance Weighted Key Value), behøver omkostningerne ved at generere tekst ikke at eksplodere, når sekvensen bliver længere. Du kan teoretisk føde disse modeller en million ord af kontekst, og den beregningsmæssige omkostning til at generere det næste token forbliver den samme som hvis du havde født det ti ord.

Returen til rekurrence

Den tekniske gennembrud bag Mamba er “selektivitet”. Tidligere forsøg på at modernisere RNN’er fejlede, fordi de var for stive. De komprimerede information lige meget, uanset om det var vigtigt eller støj. Mamba introducerer en mekanisme, der giver modellen mulighed for dynamisk at bestemme, hvad den skal huske og hvad den skal glemme, mens den strømmer data.

Hvis modellen får en vigtig information, som en variabeldefinition i en kodeblok, “åbner den døren” og skriver det stærkt ind i sin tilstand. Hvis den står over for fyldord eller irrelevant støj, lukker den døren og bevare sin begrænsede hukommelseskapacitet til det, der betyder noget.

Denne selektivitet løser effektivt “glemselsproblemet”, der udfordrede ældre RNN’er. I mange tests matcher Mamba-baserede modeller præstationen af Transformers af samme størrelse, men kører op til fem gange hurtigere under inferens. Endnu vigtigere er deres hukommelsesaftryk meget mindre. Dette åbner døren for højpræstations-LLM’er til at køre på enheder, der tidligere blev anset for ude af stand til at håndtere dem, som laptops, edge-computing-netværk eller selv smartphones, uden at offloade til skyen.

Vi ser også opblomstringen af Hyena, en anden sub-kvadratisk arkitektur, der bruger lange konvolutioner til at behandle data. Ligesom Mamba sigter Hyena til at fjerne de tunge “opmærksomheds-lag” i Transformer og erstatte dem med matematiske operationer, der er langt billigere for hardwaren at udføre. Disse modeller er begyndt at udfordre Transformer-inkumbenter på store leaderboards.

Hybrid-modellernes opkomst

Revolutionen kan dog ikke blot være en fuldstændig erstatning af Transformer, men snarere en udvikling til hybridformer. Vi ser allerede opblomstringen af modeller som Jamba (fra AI21 Labs), der kombinerer Transformer-lag med Mamba-lag.

Denne hybrid-tilgang tilbyder en praktisk måde at tackle Transformers begrænsninger. Transformers forbliver exceptionelt stærke på bestemte opgaver, især til at kopiere præcise detaljer fra kontekst. Ved at blande Mamba-lag (der håndterer den største del af dataprocesseringen og langtids-hukommelsen) med nogle Transformer-opmærksomheds-lag (der håndterer den skarpe, umiddelbare reson), får vi en model, der samler det bedste fra begge verdener.

En hybrid-model skaber et enormt kontekstvindue, der faktisk er brugbart. For tiden kan mange “lang kontekst”-Transformers håndtere 100.000 token, men deres præstation falder hurtigt, når konteksten fylder op. Dette fænomen kaldes “tabt i midten“. Hybrid-arkitektur bevareder deres koherens meget bedre over lange afstande, fordi SSM-lagene specifikt er designet til at komprimere og bære tilstand over tid.

Disse udviklinger skifter branchens fokus fra “Trænings-compute” (hvor stort et cluster har jeg brug for at bygge modellen?) til “Inferens-økonomi” (hvor billigt kan jeg servere denne model for en milliard brugere?). Hvis en hybrid-model kan servere en bruger for 10% af omkostningerne af en Transformer, ændrer forretningsfældet for AI-applikationer sig over natten.

Fremtiden for AI-udvikling

Konsekvenserne af denne post-Transformer-revolution er ikke blot begrænset til datacenteret. GPU-muren har historisk fungeret som en portvagt, der sikrer, at kun de største tech-giganter med milliarder af dollars i hardware kan bygge og køre state-of-the-art-modeller. Effektive arkitekturer som Mamba og RWKV demokratiserer denne magt. Hvis du kan køre en GPT-4-niveau-model på en forbrugergrads-kort, fordi du ikke længere behøver terabyte af VRAM til Key-Value-cachen, begynder den centraliserede kontrol over AI at løsne sig. Vi kunne se en genopblomstring af lokale, private AI-agenter, der bor helt på din computer, og behandler dine private data uden at sende en pakke til skyen.

Desuden er denne effektivitet nøglen til at låse op for “Agentic AI“-systemer, der kører i baggrunden i timer eller dage for at fuldføre komplekse opgaver. Nuværende Transformers er for dyre og langsomme til at køre i kontinuerlige løkker i lange perioder. En effektiv, lineær-tids-arkitektur kan “tænke” og behandle løkker kontinuerligt uden at ruinere brugeren eller overophede hardwaren.

Bottom Line

Transformer har domineret AI-overskrifter, men bag kulisserne er en stille revolution undervejs. GPU-muren er ved at tvinge forskere til at tænke om på, hvordan modeller håndterer hukommelse og beregning. Post-Transformer-arkitekturer som Mamba og hybrid-modeller er ved at bevise, at effektivitet, ikke blot skala, vil definere den næste æra. Disse innovationer gør massive kontekstvinduer praktiske, inferens billigere og avanceret AI tilgængelig ud over datacenter. Fremtiden for AI ligger ikke i større modeller, men i smartere modeller, der husker, resonere og skalerer effektivt.