Den grafiske prosessoren-muren begynner å spreke: Den usette revolusjonen i post-Transformer-arkitekturer

I løpet av de siste fem årene har den kunstige intelligens-industrien i stor grad vært synonymt med ett ord: Transformer. Siden utgivelsen av den banebrytende artikkelen “Attention Is All You Need” i 2017, har denne arkitekturen dominert feltet. Fra GPT til Claude, nesten alle modeller som har fått oppmerksomhet, bygger på samme underliggende mekanisme for selv-oppmerksomhet. Vi har i stor grad antatt at veien til bedre AI er bare et spørsmål om skala. I praksis betyr dette å trene større Transformers med mer data på større kluster av grafikkprosessorer.

Mens denne troen har ført til mange gjennombrudd, når den nå sine grenser. Vi møter en “Grafikkprosessor-mur”, en barriere ikke bare av rå beregningskraft, men også av minnekapasitet og økonomisk bærekraft. Mens verden fokuserer på kappløpet om modeller med trillioner parametre, skjer en radikal forandring i forskningslaboratorier. En ny bølge av “Post-Transformer-arkitekturer” er på vei til å sprekke begrensningene i det nåværende paradigmet. Denne forandringen lover å gjøre AI mer effektiv, tilgjengelig og i stand til å resonnere over uendelige kontekster.

Silikon-taket: Hvorfor Transformers møter en vegg

For å forstå hvorfor vi trenger en forandring, må vi først forstå flasken i det nåværende regime. Transformers er usedvanlig kraftfulle, men de er også usedvanlig ineffektive på bestemte måter. Kjernen av deres evne ligger i “oppmerksomhets-mekanismen”, som lar modellen se på hver token i en sekvens og beregne dens forhold til hver annen token. Dette er det som gir dem evnen til å forstå kontekst usedvanlig godt.

Men denne evnen kommer med en fatal feil av kvadratisk skaling. Hvis du doblerer lengden på dokumentet du vil at AI skal lese, øker den beregningsmessige arbeidet ikke bare dobles, men firedobles. Når vi streber etter “uendelige kontekst”-modeller som kan lese hele biblioteker eller kodebasert, blir de beregningsmessige kravene ekstremt høye.

Men det mer umiddelbare problemet er minne, spesielt “KV Cache” (Key-Value Cache). For å generere tekst flytende, må en Transformer holde en løpende historie over alt den har sagt i grafikkprosessorens høyhastighetsminne (VRAM). Når samtalen blir lengre, svulmer denne cachen opp og forbruker massive mengder minne bare for å huske hva som skjedde tre avsnitt tidligere.

Dette skaper “Grafikkprosessor-muren”. Vi er ikke bare tom for chip; vi er tom for minnekapasitet til å mate dem. Vi har bygget motorer som blir større og større, men de blir umulige å drive. I lang tid var industriløsningen bare å kjøpe flere NVIDIA H100 (NVDA ). Men denne brutale kraften når et punkt med avtagende avkastning. Vi trenger ikke en motor som forbruker brennstoff kvadratisk, men en ny arkitektur.

Den usette revolusjonen

Mens hovedstrømsforskning har fokusert på LLM, har en gruppe forskere gjenopptatt en gammel ide: Recurrent Neural Networks (RNN). Før Transformers, var RNN standard for språk. De prosesserte tekst sekvensielt, ord for ord, og oppdaterte en skjult intern “tilstand” mens de gikk. De var usedvanlig effektive fordi de ikke trengte å se tilbake på hele historien; de bare bar “essensen” av den i sin minne.

RNN feilet fordi de ikke kunne håndtere lange avhengigheter; de ville “glemme” begynnelsen av en setning når de nådde slutten. De var også langsomme å trene fordi du ikke kunne parallelisere dem. Dette betyr at du måtte prosessere ord A før du kunne prosessere ord B. Transformers løste dette ved å prosessere alt på en gang (parallelisering) og holde alt i minne (oppmerksomhet).

Nå er vi vitne til oppblomstringen av arkitekturer som kombinerer det beste fra begge verdener. Disse er bredt kjent som State Space Models (SSM). De tilbyr treningshastigheten til Transformers (paralleliserbar), men også inferens-effektiviteten til RNN (lineær skaling).

En av de fremtredende arkitekturer i denne nye bølgen er Mamba. Utgitt i slutten av 2023 og forbedret gjennom 2024, er Mamba en grunnleggende forandring i hvordan modeller håndterer informasjon. I motsetning til en Transformer, som holder en original kopi av hvert ord det har sett i sin minnebuffert, bruker Mamba en “selektiv tilstandsrom”.

Vi kan forstå forskjellen mellom Transformer og Mamba ved å forestille oss Transformer som en forsker som holder hver bok den har lest åpen på en enorm skrivebord, konstant skannende tilbake og frem for å finne sammenhenger. Mamba, på den andre siden, er en forsker som leser boken én gang og komprimerer de viktigste innsiktene i en svært effektiv notebook. Når Mamba genererer det neste ordet, trenger den ikke å se tilbake på den rå teksten; den ser på sin komprimerte tilstand.

Denne forskjellen endrer økonomien i AI-utvikling. Med Mamba og lignende arkitekturer som RWKV (Receptance Weighted Key Value), øker ikke kostnaden ved å generere tekst eksplosivt når sekvensen blir lengre. Du kan teoretisk mata disse modellene en million ord med kontekst, og den beregningsmessige kostnaden ved å generere det neste token forblir den samme som om du hadde matet det ti ord.

Returen til rekurransen

Det tekniske gjennombruddet bak Mamba er “selektivitet”. Tidligere forsøk på å modernisere RNN feilet fordi de var for stive. De komprimerte informasjon like, uavhengig av om det var viktig eller støy. Mamba innfører en mekanisme som lar modellen dynamisk bestemme hva den skal huske og hva den skal glemme mens den strømmer data.

Hvis modellen får en viktig del informasjon, som en variabeldefinisjon i en kodeblokk, “åpner den porten” og skriver det sterkt inn i sin tilstand. Hvis den møter fyllordsord eller irrelevant støy, lukker den porten og bevare sin begrensede minnekapasitet for det som betyr noe.

Denne selektiviteten løser effektivt “glemsel-problemet” som utfordret eldre RNN. I mange tester matcher Mamba-baserte modeller ytelsen til Transformers av samme størrelse, men kjører opptil fem ganger raskere under inferens. Mer viktig er det at deres minneavtrykk er mye mindre. Dette åpner døren for høy-ytelses LLM å kjøre på enheter som tidligere ble ansett for å være uegnet til å håndtere dem, som bærbare datamaskiner, edge-computing-nettverk eller selv smarttelefoner, uten å laste ned til skyen.

Vi ser også oppblomstringen av Hyena, en annen sub-kvadratisk arkitektur som bruker lange konvolusjoner til å prosessere data. Liksom Mamba, har Hyena som mål å fjerne de tunge “oppmerksomhets-lagene” i Transformer og erstatte dem med matematiske operasjoner som er mye billigere for maskinvaren å utføre. Disse modellene har nå begynt å utfordre Transformer-inkumbenter på større ledertavler.

Oppblomstringen av hybridene

Revolusjonen kan likevel ikke være en fullstendig erstattelse av Transformer, men heller en evolusjon inn i hybridformer. Vi ser allerede oppblomstringen av modeller som Jamba (fra AI21 Labs), som kombinerer Transformer-lag med Mamba-lag.

Denne hybridtilnærmingen tilbyr en praktisk måte å håndtere Transformers begrensninger. Transformers forblir usedvanlig sterke på bestemte oppgaver, spesielt for å kopiere nøyaktige detaljer fra kontekst. Ved å blande Mamba-lag (som håndterer den største delen av dataprosesseringen og langtidsminnet) med noen Transformer-oppmerksomhetslag (som håndterer skarpe, umiddelbare resonnering), får vi en modell som bringer sammen det beste fra begge verdener.

En hybridmodell skaper et enormt kontekstvindu som faktisk er brukbart. For tiden hevder mange “lange kontekst”-Transformers å kunne håndtere 100 000 token, men deres ytelse forringes raskt når konteksten fylles opp. Dette fenomenet er kjent som “lost in the middle“. Hybrid-arkitektur beholder sin kohensjon mye bedre over lange avstander fordi SSM-lagene er spesifikt designet for å komprimere og bære tilstand over tid.

Disse utviklingene skifter industrien fokus fra “Treningskomputering” (hvor stor cluster trenger jeg for å bygge modellen?) til “Inferens-økonomi” (hvor billig kan jeg servere denne modellen til en milliard brukere?). Hvis en hybridmodell kan servere en bruker for 10 % av kostnaden til en Transformer, endrer forretningscasen for AI-applikasjoner over natten.

Fremtiden for AI-utvikling

Konsekvensene av denne post-Transformer-revolusjonen er ikke begrenset til data-senteret. Grafikkprosessor-muren har historisk fungert som en portvakt, og sikret at bare de største teknologiselskapene med milliarder av dollar i maskinvare kunne bygge og kjøre state-of-the-art-modeller. Effektive arkitekturer som Mamba og RWKV demokratiserer denne kraften. Hvis du kan kjøre en GPT-4-nivåmodell på en forbrukergradert kort fordi du ikke lenger trenger terabyte med VRAM for Key-Value-cachen, begynner den sentraliserte kontrollen over AI å løsne. Vi kan se en gjenopblomstring av lokale, private AI-agenter som bor helt på din datamaskin, prosesserer din private data uten å sende en pakke til skyen.

Videre er denne effektiviteten nøkkelen til å låse opp “Agentic AI“-systemer som kjører i bakgrunnen i timer eller dager for å fullføre komplekse oppgaver. Nåværende Transformers er for dyre og langsomme til å kjøre i kontinuerlige løkker over lange perioder. En effektiv, lineær-tids arkitektur kan “tenke” og prosessere løkker kontinuerlig uten å ruinere brukeren eller overopphette maskinvaren.

Bunnlinjen

Transformer har dominert AI-overskrifter, men bak kulissene skjer en stille revolusjon. Grafikkprosessor-muren presser forskerne til å tenke om hvordan modeller håndterer minne og beregning. Post-Transformer-arkitekturer som Mamba og hybridmodeller viser at effektivitet, ikke bare skala, vil definere den neste æraen. Disse innovasjonene gjør massive kontekstvinduer praktiske, inferens billigere og avansert AI tilgjengelig utenfor data-senter. Fremtiden for AI ligger ikke i større modeller, men i smartere modeller som husker, resonnere og skalerer effektivt.