Enfabrica onthult Ethernet-gebaseerd Memory Fabric dat AI-inferentie op grote schaal kan herdefiniëren

Enfabrica, een in Silicon Valley gevestigde startup die wordt gesteund door Nvidia (NVDA ), heeft een doorbraakproduct onthuld dat de manier waarop grote AI-werklasten worden geïmplementeerd en geschaald mogelijk aanzienlijk kan veranderen. Het nieuwe Elastic Memory Fabric System (EMFASYS) van het bedrijf is het eerste commercieel beschikbare Ethernet-gebaseerde memory fabric dat specifiek is ontworpen om het kernbottleneck van generatieve AI-inferentie aan te pakken: toegang tot het geheugen.

Op een moment waarop AI-modellen complexer, contextueel en persistent worden – en waarbij grote hoeveelheden geheugen per gebruikerssessie zijn vereist – levert EMFASYS een novate benadering om geheugen los te koppelen van berekening, waardoor AI-datacenters hun prestaties aanzienlijk kunnen verbeteren, kosten kunnen verlagen en het gebruik van hun duurste middelen – GPUs – kunnen verhogen.

Wat is een Memory Fabric – en waarom is het belangrijk?

Traditioneel is het geheugen in datacenters nauw verbonden met de server of node waarin het zich bevindt. Elke GPU of CPU heeft alleen toegang tot het hoogbandbreedtegeheugen dat rechtstreeks aan hem is gekoppeld – meestal HBM voor GPUs of DRAM voor CPUs. Deze architectuur werkt goed wanneer workloads klein en voorspelbaar zijn. Maar generatieve AI heeft het spel veranderd. LLM’s vereisen toegang tot grote contextuele vensters, gebruikersgeschiedenis en multi-agentgeheugen – allemaal moeten deze snel en zonder vertraging worden verwerkt. Deze geheugeneisen overschrijden vaak de beschikbare capaciteit van lokaal geheugen, waardoor bottlenecks ontstaan die GPU-kernen stranden en de infrastructuurkosten opdrijven.

Een memory fabric lost dit op door het geheugen om te vormen tot een gedeeld, gedistribueerd middel – een soort netwerkgekoppeld geheugenpool dat toegankelijk is voor elke GPU of CPU in de cluster. Denk hierbij aan het creëren van een “geheugennwolk” binnen het datacenterrek. In plaats van geheugen te repliceren over servers of dure HBM te overbelasten, stelt een fabric het geheugen in staat om te worden geaggregeerd, gedesaggregeerd en op aanvraag toegankelijk te maken via een hoogwaardig netwerk. Dit stelt AI-inferentieworkloads in staat om efficiënter te schalen zonder te worden beperkt door de fysieke geheugengrenzen van een enkele node.

Enfabrica’s benadering: Ethernet en CXL, samen eindelijk

EMFASYS bereikt deze rack-schaalgeheugenarchitectuur door twee krachtige technologieën te combineren: RDMA over Ethernet en Compute Express Link (CXL). De eerste maakt ultralage-latentie, hoge-doorvoerdatatransfer mogelijk over standaardEthernet-netwerken. De tweede stelt geheugen in staat om los te worden gekoppeld van CPUs en GPUs en te worden gepoold in gedeelde middelen, toegankelijk via hoge-snelheidsCXL-verbindingen.

De kern van EMFASYS is Enfabrica’s ACF-S-chip, een 3,2 terabit-per-seconde (Tbps) “SuperNIC” die netwerken en geheugenbeheer combineert in één apparaat. Deze chip stelt servers in staat om te communiceren met enorme hoeveelheden commodity DDR5 DRAM – tot 18 terabyte per node – die zijn verdeeld over het rek. Cruciaal is dat dit gebeurt met behulp van standaardEthernet-poorten, waardoor operators hun bestaande datacenter-infrastructuur kunnen gebruiken zonder te investeren in propriëtaire interconnects.

Wat EMFASYS bijzonder aantrekkelijk maakt, is de mogelijkheid om geheugengebonden workloads dynamisch uit te buiten van dure GPU-gekoppelde HBM naar veel goedkopere DRAM, terwijl microseconde-niveau-toeganglatentie wordt behouden. De software-stack achter EMFASYS omvat intelligente caching- en load-balancingmechanismen die latentie verbergen en geheugenbeweging orkestreren op manieren die transparant zijn voor de LLM’s die op het systeem worden uitgevoerd.

Implicaties voor de AI-industrie

Dit is meer dan alleen een slimme hardwareoplossing – het vertegenwoordigt een filosofische verschuiving in de manier waarop AI-infrastructuur wordt gebouwd en geschaald. Terwijl generatieve AI van noviteit naar noodzaak evolueert, met miljarden gebruikersaanvragen die dagelijks worden verwerkt, is de kosten van het bedienen van deze modellen onhoudbaar geworden voor veel bedrijven. GPUs worden vaak onderbenut omdat ze stil staan en wachten op geheugen. EMFASYS lost deze onevenwichtigheid rechtstreeks op.

Door geheugen in een pool te bieden dat via Ethernet toegankelijk is, biedt Enfabrica datacenter-operatoren een schaalbare alternatief voor het continue kopen van meer GPUs of HBM. In plaats daarvan kunnen ze de geheugencapaciteit modulair verhogen met behulp van standaard DRAM en intelligente netwerken, waardoor de totale voetafdruk wordt verkleind en de economie van AI-inferentie wordt verbeterd.

De implicaties gaan verder dan de directe kostenbesparingen. Deze soort gedecentraliseerde architectuur baant de weg voor geheugen-als-een-dienstmodellen, waarbij context, geschiedenis en agentstatus kunnen voortbestaan buiten een enkele sessie of server, waardoor de deur open gaat voor meer intelligente en gepersonaliseerde AI-systemen. Het zet ook de toon voor meer veerkrachtige AI-wolken, waar workloads elastisch kunnen worden verdeeld over een rek of een heel datacenter zonder starre geheugengrenzen.

Terugblik

Enfabrica’s EMFASYS wordt momenteel bemonsterd met een selecte groep klanten, en hoewel het bedrijf nog niet heeft onthuld wie deze partners zijn, Reuters rapporteert dat grote AI-cloudproviders het systeem al aan het testen zijn. Dit positioneert Enfabrica niet alleen als componentleverancier, maar als een sleutelspeler in de volgende generatie AI-infrastructuur.

Door geheugen los te koppelen van berekening en het beschikbaar te maken over hoge-snelheidsethernet-netwerken, legt Enfabrica de basis voor een nieuwe generatie AI-architectuur – een waarin inferentie kan schalen zonder compromissen, waar middelen niet langer worden beperkt en waar de economie van het implementeren van grote taalmodellen eindelijk begint te kloppen.

In een wereld die steeds meer wordt gedefinieerd door contextuele, multi-agent AI-systemen, is geheugen niet langer een ondersteunende acteur – het is het podium. En Enfabrica wedt dat wie het beste podium bouwt, de prestaties van AI voor de komende jaren zal definiëren.