Enfabrica odhaluje ethernetový paměťový materiál, který by mohl předefinovat AI inference v měřítku

Enfabrica, startup se sídlem v Silicon Valley, který je podporován Nvidia, představil průlomový produkt, který by mohl výrazně změnit způsob, jakým jsou nasazovány a škálovány velké AI úkoly. Nový systém Elastic Memory Fabric System (EMFASYS) společnosti je prvním komerčně dostupným ethernetovým paměťovým materiálem, který je speciálně navržen pro řešení hlavního úzkého místa generativního AI inference: přístupu k paměti.

V době, kdy se AI modely stávají stále složitějšími, kontextově vědomými a trvalými – vyžadujícími obrovské množství paměti na uživatelskou relaci – EMFASYS nabízí nový přístup k oddělení paměti od výpočtu, což umožňuje AI datovým centerům dramaticky zlepšit výkon, snížit náklady a zvýšit využití jejich nejdražších zdrojů: GPU.

Co je paměťový materiál — a proč je důležitý?

Tradičně byla paměť uvnitř datových center pevně vázaná na server nebo uzel, ve kterém se nachází. Každý GPU nebo CPU má přístup pouze k vysokopropustné paměti, která je přímo připojena k němu – obvykle HBM pro GPU nebo DRAM pro CPU. Tato architektura funguje dobře, když jsou úkoly malé a předvídatelné. Ale generativní AI změnil hru. LLM vyžadují přístup k velkým kontextovým oknům, historii uživatele a multiagentní paměti – vše, co musí být zpracováno rychle a bez zpoždění. Tyto požadavky na paměť často překračují dostupnou kapacitu místní paměti, vytvářejí úzká místa, která zablokují jádra GPU a zvyšují náklady na infrastrukturu.

Paměťový materiál řeší tento problém tím, že transformuje paměť do sdíleného, distribuovaného zdroje – druhu síťově připojeného paměťového fondu, který je přístupný libovolnému GPU nebo CPU ve clusteru. Myslete si to jako vytvoření “paměťového cloudu” uvnitř datového centra. Místo replikace paměti napříč servery nebo přetížení drahého HBM umožňuje materiál paměti agregovat, disagregovat a přístup k ní na vyžádání přes vysokorychlostní síť. To umožňuje AI inference úkoly škálovat více efektivně bez toho, aby byly omezovány fyzickými omezeními paměti jednotlivých uzlů.

Přístup Enfabrica: Ethernet a CXL, společně poprvé

EMFASYS dosahuje této architektury paměti na úrovni regálu kombinací dvou powerful technologií: RDMA přes Ethernet a Compute Express Link (CXL). První ermögňuje ultra-nízké zpoždění, vysokopropustné přenosy dat přes standardní ethernetové sítě. Druhý umožňuje paměti být odpojeny od CPU a GPU a seskupeny do sdílených zdrojů, které jsou přístupné přes vysokorychlostní CXL odkazy.

V jádru EMFASYS je ACF-S chip Enfabrica, 3,2 terabitů za sekundu (Tbps) “SuperNIC”, který slučuje síťování a kontrolu paměti do jednoho zařízení. Tento čip umožňuje serverům rozhraní s obrovskými fondy komoditní DDR5 DRAM – až 18 terabajtů na uzel – distribuovaných napříč regálem. Zásadně důležité je, že to dělá pomocí standardních ethernetových portů, což umožňuje operátorům využívat svou stávající infrastrukturu datového centra bez investic do proprietárních interconnectů.

Co dělá EMFASYS zvláště přesvědčivým, je jeho schopnost dynamicky offloadovat paměťově vázané úkoly z drahých GPU-připojených HBM na mnohem dostupnější DRAM, zatímco udržuje mikrosekundové zpoždění. Softwarový stack za EMFASYS zahrnuje inteligentní caching a load-balancing mechanismy, které skrývají zpoždění a orchestrují pohyb paměti způsoby, které jsou transparentní pro LLM, které běží na systému.

Důsledky pro AI průmysl

Toto je více než jen chytré hardwarové řešení – představuje filozofický posun v tom, jak je AI infrastruktura postavena a škálována. Když se generativní AI pohybuje od novinky k nutnosti, s miliardami uživatelských dotazů zpracovávaných denně, náklady na poskytování těchto modelů se staly nesnesitelnými pro mnoho společností. GPU jsou často nevyužité ne kvůli nedostatku výpočtu, ale protože čekají na paměť. EMFASYS řeší tento nesoulad přímo.

Povolováním sdílené, materiál-připojené paměti, přístupné přes Ethernet, Enfabrica nabízí operátorům datových center škálovatelnou alternativu k neustálému nákupu více GPU nebo HBM. Místo toho mohou zvýšit kapacitu paměti modulárně, pomocí komoditní DRAM a inteligentního síťování, snižují celkovou stopu a zlepšují ekonomiku AI inference.

Důsledky jdou za rámec okamžité úspory nákladů. Tato druh architektury umožňuje paměť jako službu modely, kde kontext, historie a stav agenta mohou přetrvat za jednu relaci nebo server, otevírající dveře k více inteligentním a personalizovaným AI systémům. Také nastavuje scénu pro více odolné AI cloudy, kde úkoly mohou být distribuovány elasticky napříč regálem nebo celým datovým centrem bez rigidních omezení paměti.

Vyhled do budoucnosti

Enfabrica EMFASYS je aktuálně vzorkován s vybranými zákazníky, a zatímco společnost neuvedla, kdo jsou tito partneři, Reuters reports že majoritní AI cloudoví poskytovatelé již testují systém. To позиcionuje Enfabrica nejen jako dodavatele komponent, ale jako klíčového enablera v další generaci AI infrastruktury.

Oddělením paměti od výpočtu a zpřístupněním ji napříč vysokorychlostními, komoditními ethernetovými sítěmi, Enfabrica vytváří základ pro novou éru AI architektury – jednu, ve které inference může škálovat bez kompromisů, kde zdroje již nejsou stráveny a kde ekonomika nasazení velkých jazykových modelů konečně začíná dávat smysl.

Ve světě, který je stále více definován kontextově bohatými, multiagentními AI systémy, je paměť již není podpůrnou roli – je to stage. A Enfabrica sází na to, že ten, kdo postaví nejlepší stage, bude definovat výkon AI pro roky, které přijdou.