Enfabrica Esittää Ethernet-Pohjaisen Muistiverkon, Joka Voisi Uudelleenmääritellä Tekoälynhautumisen Suurmitoissa

Enfabrica, Nvidia (NVDA ):n tukema Silicon Valley -perustettu startup, on esittänyt läpimurron tuotteen, joka voi merkittävästi muuttaa suurmitoisten tekoälytyönkulun käyttöönoton ja skaalauksen. Yhtiön uusi Elastic Memory Fabric System (EMFASYS) on ensimmäinen kaupallisesti saatavilla oleva Ethernet-pohjainen muistiverkko, joka on suunniteltu erityisesti generatiivisen tekoälyn inference:n ydinpulmaan: muistiin pääsyyn.

Aikana, jolloin tekoälymallit kasvavat monimutkaisemmiksi, kontekstiaantisemmiksi ja pysyvimmiksi – vaativat valtavat määrät muistia kunkin käyttäjäistunnon aikana – EMFASYS tarjoaa uuden lähestymistavan muistin ja laskennan erottamiseen, jolloin tekoälykeskukset voivat parantaa merkittävästi suorituskykyä, laskea kustannuksia ja lisätä kalleimpien resurssien – GPU:iden – hyödyntämistä.

Mikä on Muistiverkko – ja Miksi Se On Tärkeää?

Perinteisesti muisti tietokeskuksissa on ollut tiiviisti sidottu palvelimeen tai solmuun, jossa se sijaitsee. Kunkin GPU:n tai CPU:n on pääsy vain suurta nopeutta tarjoavaan muistiin, joka on kiinnitetty siihen – yleensä HBM:hen GPU:ille tai DRAM:ille CPU:ille. Tämä arkkitehtuuri toimii hyvin, kun työkuormat ovat pieniä ja ennustettavissa. Mutta generatiivinen tekoäly on muuttanut pelin. LLM:t vaativat pääsyä laajiin konteksti-ikkunaan, käyttäjän historiaan ja monen agentin muistiin – kaikki nämä on käsiteltävä nopeasti ja ilman viivästystä. Nämä muistivaatimukset usein ylittävät paikallisen muistin käytettävissä olevan kapasiteetin, mikä luo pullonkauloja, jotka jäävät GPU-ytimet ja paisuvat infrastruktuurikustannukset.

Muistiverkko ratkaisee tämän muuttamalla muistin jaettavaksi, jakeluun perustuvaksi resursiksi – jonkinlaisen “muistipilven” tietokeskuksen hyllyssä. Ajattele sitä “muistipilven” luomisena tietokeskuksessa. Sen sijaan, että muistia replikoidaan palvelimien välillä tai kalliiden HBM:ien ylikuormittaminen, verkko sallii muistin kokoamisen, jakamisen ja pääsyn nopean verkon yli. Tämä mahdollistaa tekoälyn inference-työkuormien skaalauksen tehokkaammin ilman yksittäisen solmun fyysisen muistin rajoituksia.

Enfabrica:n Lähestymistapa: Ethernet ja CXL, Yhdessä Viimeinkin

EMFASYS saavuttaa tällaisen rack-asteen muistiarkkitehtuurin yhdistämällä kaksi voimakasta teknologiaa: RDMA:n Ethernetin yli ja Compute Express Link (CXL). Ensimmäinen mahdollistaa ultra-alhaisen viiveen, suuren läpäisyn tietonsiirron standardien Ethernet-verkoissa. Jälkimmäinen sallii muistin irtautumisen CPU:ista ja GPU:ista ja muodostaa jaetut resurssit, joissa on pääsy nopeiden CXL-yhteyksien kautta.

EMFASYS:n ytimessä on Enfabrica:n ACF-S-piiri, 3,2 terabittiä sekunnissa (Tbps) “SuperNIC”, joka yhdistää verkkotiedonsiirron ja muistin ohjauksen yhteen laitteeseen. Tämä piiri sallii palvelimien käyttää valtavia määriä halpoja DDR5 DRAM -muisteja – jopa 18 teratavua solmun kohti – jakautuneena hyllyssä. Olennaisesti, se tekee tämän käyttäen standardien Ethernet-liitännän, jolloin operaattorit voivat hyödyntää olemassa olevaa tietokeskuksen infrastruktuuria ilman omistajien yhteyden muodostamista.

Se, mikä tekee EMFASYS:stä erityisen houkuttelevan, on sen kyky dynaamiseen muistin siirtämiseen kalliilta GPU-liitetyiltä HBM:iltä huomattavasti edullisemmalle DRAM:ille, ylläpitäen samalla mikrosekuntien tason pääsyviive. EMFASYS:n taustalla oleva ohjelmisto sisältää älykkään välimuistin ja kuormituksen tasausmekanismit, jotka piilottavat viiveen ja orkesteroivat muistin liikkeen tavalla, joka on läpinäkyvä LLM:ille, jotka suoritetaan järjestelmällä.

AI-Teollisuuden Vaikutukset

Tämä on enemmän kuin vain oivallinen laitteistojärjestelmä – se edustaa filosofista muutosta siinä, miten tekoälyinfrastruktuuria rakennetaan ja skaalataan. Kun generatiivinen tekoäly siirtyy uutuudesta välttämättömyydeksi, jolloin miljardit käyttäjän kyselyjä käsitellään päivittäin, tekoälymallien tarjoamisen kustannukset ovat muuttuneet kestämättömiksi monille yrityksille. GPU:t ovat usein alikäytettyjä ei niiden laskentakapasiteetin puutteen, vaan siksi, että ne odottavat muistia. EMFASYS kohdistaa suoraan tähän epätasapainoon.

Käyttämällä jaettua, verkkoliitettävää muistia, johon pääsy on Ethernetin kautta, Enfabrica tarjoaa tietokeskuksen operaattoreille skaalautuvan vaihtoehdon jatkuvasti ostamiseen lisää GPU:ita tai HBM:itä. Sen sijaan, että he voivat lisätä muistikapasiteettia modulaarisesti käyttäen valmiita DRAM:ia ja älykkäitä verkkoratkaisuja, vähentäen samalla koko jalanjälkeä ja parantaen tekoälyn inference-taloutta.

Vaikutukset menevät pidemmälle kuin välittömät kustannussäästöt. Tällainen hajautettu arkkitehtuuri avaa tien muisti-palvelumalleille, joissa konteksti, historia ja agentin tila voivat säilyä yksittäisen istunnon tai palvelimen ulkopuolella, avaen ovia älykkäämmille ja henkilökohtaisemmille tekoälyjärjestelmille. Se myös luo pohjan tehokkaammille tekoälypilville, joissa työkuormat voidaan jakaa joustavasti hyllyssä tai koko tietokeskuksessa ilman jäykkiä muistirajoituksia.

Eteenpäin Katsoen

Enfabrica:n EMFASYS on tällä hetkellä esittelyssä valikoitujen asiakkaiden kanssa, ja vaikka yhtiö ei ole paljastanut, keitä nämä kumppanit ovat, Reutersin mukaan suuret tekoälypilviyritykset ovat jo kokeilemassa järjestelmää. Tämä asettaa Enfabrica:n ei vain komponenttitoimittajaksi, vaan myös avainrooliin seuraavan sukupolven tekoälyinfrastruktuurin kehittämisessä.

Käyttämällä muistia erillään laskennasta ja tekemällä sitä saataville nopean, halpojen Ethernet-verkkoratkaisujen kautta, Enfabrica luo pohjaa uudelle tekoälyarkkitehtuurille – yhdessä, jossa inference voi skaalautua ilman kompromisseja, jossa resursseja ei jää odottamaan, ja jossa suurten kielen mallien käyttöönoton taloudelliset perusteet viimein alkavat olla järkeviä.

Maailmassa, jota määritellään yhä enemmän kontekstirikkailla, monen agentin tekoälyjärjestelmillä, muisti ei ole enää vain tukirooli – se on lavaste. Ja Enfabrica panostaa siihen, että se, joka rakentaa parhaimman lavasteen, määrittää tekoälyn suorituskyvyn vuosiksi eteenpäin.