GPU-muuri murtuu: Näkymätön vallankumous post-Transformer-arkkitehtuureissa

Viimeiset viisi vuotta ovat olleet tekoälyteollisuudessa käytännössä yhden sanan, Transformerin, määrittelemiä. Vuonna 2017 julkaistun “Attention Is All You Need” -tutkimuksen jälkeen tämä arkkitehtuuri on hallinnut alaa. GPT:stä Claudeen, lähes jokainen otsikkoja herättänyt malli perustuu samaan itsehuomion mekanismiin. Olemme pitkälti olettaneet, että paremman tekoälyn tie on yksinkertaisesti skaalan kasvattaminen. Käytännössä tämä tarkoittaa suurempien Transformerien kouluttamista enemmän dataa käyttäen suuremmilla GPU-klustereilla.

Vaikka tämä usko on tuonut monia läpimurtoja, se on nyt saavuttamassa rajojaan. Olemme törmäilleet “GPU-muuriin”, esteeseen, joka ei ole pelkästään raakalaskentatehon, vaan myös muistikaistan ja taloudellisen kestävyyden este. Siinä, missä maailma keskittyy triljoonaparametrin mallien kilpailuun, radikaali muutos on tapahtumassa tutkimuslaboratorioissa. Uusi aalto “post-Transformer-arkkitehtuureja” on nousemassa rikkoakseen nykyisen paradigman rajoitukset. Tämä muutos lupailee tehdä tekoälystä tehokkaamman, helpommin saatavissa olevan ja pystyvän päättelään äärettömien asiayhteyksien yli.

Piimuurin ylittäminen: Miksi Transformerit törmäilevät seinään

Ymmärtääksemme, miksi muutosta tarvitaan, meidän on ensin ymmärrettävä nykyisen järjestelmän pullonkaula. Transformerit ovat uskomattoman voimakkaita, mutta ne ovat myös erittäin tehokkaita tietyissä suhteissa. Niiden ydin kyky perustuu “huomio-mekanismiin”, joka sallii mallin tarkastella jokaista tokenia sekvenssissa ja laskea sen suhteen jokaiseen toiseen tokeniin. Tämä antaa niille kyvyn ymmärtää asiayhteyksiä erittäin hyvin.

Kuitenkin tämä kyky tulee kohtalokkaalla virheellä kvadranttisella skaalauksella. Jos tokenin pituutta tuplaat, tekoälyn laskentatyö ei vain tuplaannu, vaan nelinkertaistuu. Kun pyrimme “äärettömän asiayhteyden” malleihin, jotka voivat lukea kokonaisia kirjastoja tai koodipohjia, laskennalliset vaatimukset tulevat erittäin suuriksi.

Mutta välittömämpi ongelma on muisti, erityisesti “KV-välimuisti” (Key-Value-välimuisti). Tekoälyn on pidettävä avoinna kaikkea mitä se on juuri sanonut GPU:n nopeassa muistissa (VRAM). Kun keskustelu pitenee, tämä välimuisti paisuu, kuluttaen valtavat määrät muistia vain muistamaan, mitä tapahtui kolme kappaletta sitten.

Tämä luo “GPU-muurin”. Emme ole vain loppumassa piireistä, vaan myös muistikaistan syöttämiseksi. Olemme rakentaneet moottoreita, jotka kasvavat suuremmiksi ja suuremmiksi, mutta ne tulevat mahdottomiksi polttoaineeksi. Pitkään aikaan alan ratkaisu oli yksinkertaisesti ostaa enemmän NVIDIA H100 (NVDA ):ia. Mutta tämä raaka voima on saavuttamassa pienenemisen palautteen pisteen. Emme tarvitse moottoria, joka kuluttaa polttoainetta kvadranttisesti, vaan uutta arkkitehtuuria.

Näkymätön vallankumous

Siinä, missä valtavirtaiset tutkimukset ovat keskittyneet LLM-malleihin, tutkijaryhmä on uudelleenarvioinut vanhan idean: Toistuvat neuroverkkomallit (RNN). Ennen Transformer-malleja RNN:t olivat kielen standardi. Ne prosessoivat tekstiä sekvenssissa, sana sanalta, päivittäen piilotettua sisäistä “tilaa” siirryttäessä. Ne olivat erittäin tehokkaita, koska niiden ei tarvinnut tarkastella koko historiaa, vaan ne vain kantoivat “ytimekkoa” muistissaan.

RNN:t epäonnistuivat, koska ne eivät voineet käsitellä pitkiä riippuvuuksia; ne “unohtivat” lauseen alun, kun ne saapuivat loppuun. Ne olivat myös hitaita koulutukseen, koska niitä ei voitu rinnakkaiskäsitellä. Tämä tarkoitti, että sana A:n käsittely edelsi sana B:n käsittelyä. Transformerit ratkaisivat tämän käsittelymällä kaikkea kerran (rinnakkaisuus) ja pitämällä kaikkea muistissa (huomio).

Nyt näemme uuden aallon arkkitehtuureja, jotka yhdistävät molempien maailmojen parhaat puolet. Nämä ovat laajasti tunnettuja Tila-avaruusmalleina (SSM). Ne tarjoavat Transformerien koulutusnopeuden (rinnakkaisuus) ja RNN:ien inference-tehokkuuden (lineaarinen skaalaus).

Yksi näistä uusista arkkitehtuureista on Mamba. Julkaistu vuoden 2023 lopulla ja jalostettu vuonna 2024, Mamba on perusrakenteellinen muutos siinä, miten mallit käsittelevät tietoa. Toisin kuin Transformer, joka pitää alkuperäisen kopion jokaisesta sanasta, jonka se on koskaan nähnyt, muistipuskurissaan, Mamba käyttää “valikoivaa tila-avaruutta”.

Voimme ymmärtää Transformerin ja Mamban eron kuvittelemalla Transformerin tutkijaksi, joka pitää kaikki kirjat, joita se on koskaan lukenut, auki massiivisella pöydällä, jatkuvasti skannaen edestakaisin etsimään yhteyksiä. Mamba on sen sijaan tutkija, joka lukee kirjan kerran ja tiivistää avainnäkemykset erittäin tehokkaaseen muistikirjaan. Kun Mamba generoi seuraavan sanan, se ei tarvitse tarkastella raakatekstiä; se tarkastelee tiivistettyä tilaansa.

Tämä ero muuttaa tekoälyn käyttöönoton taloutta. Mamban ja samankaltaisten arkkitehtuureiden, kuten RWKV:n (Receptance Weighted Key Value), avulla tekstin generoimisen kustannukset eivät räjähdä, kun sekvenssi pitenee. Voit teoriassa syöttää näille malleille miljoonan sanan asiayhteyden, ja laskennallinen kustannus seuraavan tokenin generoimiseksi on sama kuin jos olisit syöttänyt vain kymmenen sanaa.

Toistuvuuden paluu

Tekninen läpimurto Mamban takana on “valikoivuus”. Aikaisemmat yritykset modernisoida RNN:iä epäonnistuivat, koska ne olivat liian jähmeitä. Ne tiivistivät tietoa yhtä paljon, riippumatta siitä, oliko se tärkeää vai melua. Mamba esittelee mekanismin, joka sallii mallin dynaamisesti päättää, mitä muistaa ja mitä unohdaa, kun se syöttelee dataa.

Jos malli saa tärkeän tiedon, kuten muuttujamäärittelyn koodipalassa, se “avaa portin” ja kirjoittaa sen vahvasti tilaansa. Jos se kohtaa täytteitä tai merkityksettömiä ääniä, se sulkee portin ja säilyttää rajoitetun muistikapasiteettinsa sille, mikä on tärkeää.

Tämä valikoivuus ratkaisee tehokkaasti “unohtamisen” ongelman, joka haastoi vanhemmat RNN:t. Monissa testeissä Mamba-pohjaiset mallit vastaavat Transformer-mallien suorituskykyä saman kokoisilla malleilla, mutta ne suorittavat jopa viisi kertaa nopeammin inference-ajossa. Enemmän kuin se, niiden muistikäyttö on paljon pienempi. Tämä avaa oven korkean suorituskyvyn LLM-malleille, joita voidaan ajaa laitteilla, joita aiemmin pidettiin kykenemättöminä niiden käsittelyyn, kuten kannettavilla tietokoneilla, reuna-laskennan verkoilla tai jopa älypuhelimilla, ilman siirtymistä pilveen.

Näemme myös Hyenan nousun, toisen alikvadratisen arkkitehtuuren, joka käyttää pitkiä konvoluutioita datan käsittelyyn. Kuten Mamba, Hyena pyrkii poistamaan Transformerin raskaat “huomio-kerrokset” ja korvaamaan ne matemaattisilla operaatioilla, jotka ovat paljon halvempia laitteiston suorittamiseen. Nämä mallit ovat jo alkaneet haastaa Transformer-johtajat suurilla johtajuuslistoilla.

Hybridiarkkitehtuureiden nousu

Vallankumous ei kuitenkaan välttämättä ole Transformerin täydellinen korvaaminen, vaan sen kehittyminen hybridi-muotoon. Näemme jo Jamban (AI21 Labs) kaltaisten mallien nousun, jotka yhdistävät Transformer-kerrokset Mamba-kerroksiin.

Tämä hybridi-lähestymistapa tarjoaa käytännöllisen tavan Transformerin rajoitusten käsittelyyn. Transformerit ovat edelleen erittäin vahvoja tiettyjen tehtävien suorittamisessa, erityisesti tarkkojen yksityiskohtien kopiointiin asiayhteydestä. Yhdistämällä Mamba-kerrokset (joita käytetään suurimman osan datan käsittelyyn ja pitkäaikaisen muistiin) Transformerin huomio-kerroksiin (joita käytetään teräviin, välittömiin päättelyyn), saamme mallin, joka yhdistää molempien maailmojen parhaat puolet.

Hybridimalli luo massiivisen asiayhteyden, joka on todella käytettävissä. Tällä hetkellä monet “pitkän asiayhteyden” Transformerit väittävät pystyvänsä käsittelemään 100 000 tokenia, mutta niiden suorituskyky heikkenee nopeasti, kun asiayhteys täyttyy. Tämä ilmiö on tunnettu nimellä “hävikki keskellä“. Hybridi-arkkitehtuuri säilyttää koherenssinsa paljon paremmin pitkin pitkiä etäisyyksiä, koska SSM-kerrokset on suunniteltu tiivistämään ja kantamaan tilaa ajassa.

Nämä kehitykset siirtävät alan fokuksen “koulutuslaskennasta” (kuinka suuren klusterin tarvitsen mallin rakentamiseen?) “inference-talouteen” (kuinka halvalla voin tarjota tämän mallin miljardille käyttäjälle?). Jos hybridimalli voi palvella käyttäjää 10 %:n pienemmällä kustannuksella kuin Transformer, tekoälysovellusten liiketoimintatapaus muuttuu yötä päivää.

Tekoälyn tulevaisuus

Tämän post-Transformer-vallankumouksen vaikutukset eivät rajoitu ainoastaan datakeskukseen. GPU-muuri on historiallisesti toiminut porttina, joka takaa, että ainoastaan suurimmat teknologiayritykset, joilla on miljardeja dollareita laitteistossa, voivat rakentaa ja ajaa valmiita malleja. Tehokkaat arkkitehtuuret, kuten Mamba ja RWKV, demokratisoivat tämän vallan. Jos voit ajaa GPT-4-tason mallin kuluttajaluokan kortilla, koska sinun ei enää tarvitse teratavua VRAM:ia Key-Value-välimuistille, tekoälyn keskitetty valta alkaa höltyä. Voimme nähdä paikallisten, yksityisten tekoälyagenttien uudelleen nousun, jotka asuvat kokonaan tietokoneellasi, käsittelemässä yksityisiä tietojasi ilman, että lähettävät paketteja pilveen.

Lisäksi tämä tehokkuus on avain “Agentic AI” -järjestelmiin, jotka voivat suorittaa monimutkaisia tehtäviä taustalla useita tunteja tai päiviä. Nykyiset Transformerit ovat liian kalliita ja hitaita suorittamaan jatkuvia silmukoita pitkän ajan jaksoissa. Tehokas, lineaarinen arkkitehtuuri voi “ajatella” ja käsitellä silmukoita jatkuvasti ilman, että varattaisiin käyttäjää tai ylikuormittaisi laitteistoa.

Yhteenveto

Transformer on hallinnut tekoälyotsikkoja, mutta taustalla on tapahtumassa hiljainen vallankumous. GPU-muuri pakottaa tutkijoita uudelleenarvioimaan, miten mallit käsittelevät muistia ja laskentaa. Post-Transformer-arkkitehtuuret, kuten Mamba ja hybridimallit, osoittavat, että tehokkuus, ei ainoastaan skaala, määrittelee seuraavan aikakauden. Nämä innovaatiot tekevät massiivisista asiayhteyksistä käytännöllisiä, inference-halvemmaksi ja edistyneen tekoälyn saataville datakeskuksien ulkopuolella. Tekoälyn tulevaisuus ei ole suuremmissa malleissa, vaan älykkäämmissä malleissa, jotka muistavat, päättävät ja skaalautuvat tehokkaasti.