Enfabrica Esittää Ethernet-Pohjaisen Muistiverkon, Joka Voisi Uudelleenmääritellä AI-Päätelmiä Suuressa Mittakaavassa

Enfabrica, Nvidia:n tukema Silicon Valley -perustettu startup, on esittänyt läpimurron tuotteen, joka voi merkittävästi muuttaa suurten mittakaavojen AI-kuormituksien käyttöönottoa ja skaalausta. Yhtiön uusi Elastic Memory Fabric System (EMFASYS) on ensimmäinen kaupallisesti saatavilla oleva Ethernet-pohjainen muistiverkko, joka on suunniteltu erityisesti generatiivisen AI-päätelmiä koskevan ydinpulman, muistin käytön, ratkaisemiseksi.

Aikana, jolloin AI-mallit kasvavat monimutkaisemmiksi, kontekstiherkkiksi ja kestäviksi – vaativat valtavat määrät muistia kunkin istunnon aikana – EMFASYS tarjoaa uuden lähestymistavan muistin ja laskennan erottamiseen, jolloin AI-tietokeskukset voivat parantaa dramaattisesti suorituskykyä, laskea kustannuksia ja lisätä kalleimpien resurssien, kuten GPU:iden, hyödyntämistä.

Mikä on Muistiverkko – ja Miksi Se On Tärkeää?

Perinteisesti tietokeskuksissa oleva muisti on ollut tiiviisti sidottu palvelimeen tai solmuun, jossa se sijaitsee. Kunkin GPU:n tai CPU:n on käytettävissä vain korkean kaistanleveyden muisti, joka on kiinnitetty siihen – yleensä HBM GPU:ille tai DRAM CPU:ille. Tämä arkkitehtuuri toimii hyvin, kun kuormitukset ovat pieniä ja ennustettavissa. Mutta generatiivinen AI on muuttanut pelin. LLM:t vaativat pääsyä laajiin konteksti-ikkunoihin, käyttöhistoriaan ja monen agentin muistiin – kaikki nämä on prosessoitava nopeasti ja ilman viivettä. Nämä muistivaatimukset usein ylittävät käytettävissä olevan paikallisen muistin kapasiteetin, mikä luo pullonkauloja, jotka jumittavat GPU-ytimet ja nostavat infrastruktuurikustannuksia.

Muistiverkko ratkaisee tämän muuttamalla muistin jaettavaksi, jakautuvaksi resursseksi – tietynlaista verkkoliitettävä muistipooli, johon GPU:illa tai CPU:illa on pääsy klusterissa. Ajattele sitä “muistipilven” luomisena tietokeskuksen hyllyyn. Sen sijaan, että muistia replikoidaan palvelimien välillä tai kalliiden HBM:ien ylikuormittamista, verkko sallii muistin kokoamisen, jakamisen ja pääsyn tarpeen mukaan korkeanopeuksisen verkon kautta. Tämä mahdollistaa AI-päätelmäkuormituksien skaalautumisen tehokkaammin ilman yksittäisen solmun fyysisen muistin rajoituksia.

Enfabrica:n Lähestymistapa: Ethernet ja CXL, Yhdessä Viimeinkin

EMFASYS saavuttaa tämän hyllykohtaisen muistirakenteen yhdistämällä kaksi voimakasta teknologiaa: RDMA Ethernetin yli ja Compute Express Link (CXL). Ensimmäinen mahdollistaa äärimmäisen alhaisen viiveen, korkean lähetysnopeuden tiedonsiirron standardien Ethernet-verkkoihin. Jälkimmäinen sallii muistin irti CPU:ista ja GPU:ista ja kokoamisen jaettuihin resursseihin, joissa on pääsy korkeanopeuksisten CXL-linkkien kautta.

EMFASYS:n ytimessä on Enfabrica:n ACF-S-piiri, 3,2 terabittiä sekunnissa (Tbps) “SuperNIC”, joka yhdistää verkkotuen ja muistin ohjauksen yhteen laitteeseen. Tämä piiri sallii palvelimien käyttää valtavia määriä komponenttien DDR5 DRAM:ia – jopa 18 teratavua solmua kohden – jakautuneena hyllyyn. Olennaisesti, se tekee tämän käyttäen standardien Ethernet-liitännän, jolloin operaattorit voivat hyödyntää olemassa olevaa tietokeskuksen infrastruktuuria ilman sijoittamista omistajiin liitännäisiin.
Mitä tekee EMFASYS:ista erityisen houkuttelevan, on sen kyky dynaamisesti siirtää muistiin sidottuja kuormituksia kalliilta GPU-liitetyiltä HBM:iltä paljon edullisempiin DRAM:ien, samalla säilyttäen mikrosekuntien tason pääsylatenssin. EMFASYS:n taustalla oleva ohjelmistopino sisältää älykkäät välimuistin ja kuormituksen tasapainotusmekanismit, jotka piilottavat viiveen ja orkesteroivat muistin liikkeen tapoja, jotka ovat läpinäkyviä LLM:ille, jotka suoritetaan järjestelmällä.

AI-Teollisuuden Vaikutukset

Tämä on enemmän kuin vain oivallinen laitteistojärjestelmä – se edustaa filosofista muutosta siinä, miten AI-infrastruktuuria rakennetaan ja skaalataan. Kun generatiivinen AI siirtyy uutuudesta välttämättömyydeksi, jolloin miljardeja käyttäjän kyselyjä prosessoidaan päivittäin, AI-mallien tarjoamisen kustannukset ovat muodostuneet monille yrityksille kestämättömiksi. GPU:t ovat usein alikäytettyjä, ei niiden laskentakapasiteetin puutteen vuoksi, vaan siksi, että ne odottavat muistia. EMFASYS kohdistaa suoraan tähän epätasapainoon.

EMFASYS:n avulla, joka mahdollistaa jaetun, verkkoliitetyt muistin, johon on pääsy Ethernetin kautta, Enfabrica tarjoaa tietokeskuksien operaattoreille skaalautuvan vaihtoehdon jatkuvasti ostamiseen enemmän GPU:ita tai HBM:itä. Sen sijaan, he voivat lisätä muistikapasiteettia modulaarisesti, käyttäen valmiita DRAM:ia ja älykkäitä verkkoratkaisuja, vähentäen koko jalanjälkeä ja parantaen AI-päätelmiä koskevien taloudellisten seikkojen hallintaa.

Vaikutukset menevät pidemmälle kuin välittömät kustannussäästöt. Tämänkaltaisen hajautetun arkkitehtuurin avulla voidaan luoda muistiin perustuvia palvelumalleja, joissa konteksti, historia ja agentin tila voivat säilyä yhden istunnon tai palvelimen yli, avaamalla oven älykkäämmille ja henkilökohtaisemmille AI-järjestelmille. Se myös luo pohjan resursseiltaan kestävemmille AI-pilville, joissa kuormitukset voidaan jakaa joustavasti yhdessä hyllyssä tai koko tietokeskuksessa ilman jäykkiä muistirajoituksia.

Katse Eteenpäin

Enfabrica:n EMFASYS on tällä hetkellä valikoitujen asiakkaiden saatavilla, ja vaikka yhtiö ei ole paljastanut, keitä nämä kumppanit ovat, Reutersin mukaan suuret AI-pilvipalveluntarjoajat ovat jo kokeilemassa järjestelmää. Tämä asettaa Enfabrica:n ei vain komponenttitoimittajaksi, vaan myös avainrooliin seuraavan sukupolven AI-infrastruktuurin mahdollistajana.

Muistin irti laskennasta ja sen saatavuuden varmistaminen korkeanopeuksisten, valmiiden Ethernet-verkkoihin, Enfabrica luo perustaa uudelle aikakaudelle AI-arkkitehtuureissa – yksi, jossa päätelmä voidaan skaalata ilman kompromisseja, jossa resursseja ei jää jumiin, ja jossa suurten kielimallien käyttöönoton taloudelliset seikat viimeinkin alkavat olla järkeviä.

Maailmassa, jota yhä enemmän määrittelevät kontekstriikkaat, monen agentin AI-järjestelmät, muisti ei ole enää vain tukirooli – se on näyttämö. Ja Enfabrica panostaa siihen, että se, joka rakentaa parhaimman näyttämön, määrittelee AI:n suorituskyvyn vuosikymmeniksi eteenpäin.