Enfabrica presenterar Ethernet-baserad minnesstruktur som kan omdefiniera AI-inferens i stor skala

Enfabrica, en startup baserad i Silicon Valley med stöd av Nvidia, har presenterat en banbrytande produkt som kan komma att omforma hur storskaliga AI-arbetsbelastningar distribueras och skalas. Företagets nya Elastic Memory Fabric System (EMFASYS) är den första kommersiellt tillgängliga Ethernet-baserade minnesstrukturen som är specifikt utformad för att åtgärda den centrala flaskhalsen inom generativ AI-inferens: minnesåtkomst.

I en tid då AI-modeller blir alltmer komplexa, kontextmedvetna och ihållande – och kräver enorma mängder minne per användarsession – levererar EMFASYS en ny metod för att frikoppla minne från beräkningsförmåga, vilket gör det möjligt för AI-datacenter att dramatiskt förbättra prestanda, sänka kostnader och öka utnyttjandet av sina dyraste resurser: GPU:er.

Vad är ett minnestyg – och varför är det viktigt?

Traditionellt sett har minne i datacenter varit tätt bundet till servern eller noden där det finns. Varje GPU eller CPU har endast tillgång till det högbandbreddsminne som är direkt anslutet till det – vanligtvis HBM för GPU:er eller DRAM för CPU:er. Denna arkitektur fungerar bra när arbetsbelastningarna är små och förutsägbara. Men generativ AI har förändrat spelet. LLM:er kräver tillgång till stora kontextfönster, användarhistorik och multiagentminne – som alla måste bearbetas snabbt och utan dröjsmål. Dessa minneskrav överstiger ofta den tillgängliga kapaciteten i lokalt minne, vilket skapar flaskhalsar som strandar GPU-kärnor och blåser upp infrastrukturkostnaderna.

A minnestyg löser detta genom att omvandla minne till en delad, distribuerad resurs – en sorts nätverksansluten minnespool som är tillgänglig för alla GPU:er eller processorer i klustret. Tänk på det som att skapa ett "minnesmoln" i datacentrets rack. Istället för att replikera minne över servrar eller överbelasta dyr HBM, tillåter en fabric att minne aggregeras, disaggregeras och nås på begäran över ett höghastighetsnätverk. Detta gör att AI-inferensarbetsbelastningar kan skalas mer effektivt utan att begränsas av de fysiska minnesgränserna för någon enskild nod.

Enfabricas tillvägagångssätt: Ethernet och CXL, äntligen tillsammans

EMFASYS uppnår denna rackminnesarkitektur genom att kombinera två kraftfulla tekniker: RDMA över Ethernet och Compute Express Link (CXL)Den förra möjliggör dataöverföring med extremt låg latens och hög genomströmning över vanliga Ethernet-nätverk. Den senare gör att minne kan kopplas bort från processorer och grafikprocessorer och samlas i delade resurser, åtkomliga via höghastighets-CXL-länkar.

Kärnan i EMFASYS är Enfabricas ACF-S-chip, ett 3.2 terabit per sekund (Tbps) "SuperNIC" som slår samman nätverk och minneskontroll i en enda enhet. Detta chip gör det möjligt för servrar att interagera med massiva pooler av standard DDR5 DRAM – upp till 18 terabyte per nod – fördelade över racket. Avgörande är att det gör det med hjälp av vanliga Ethernet-portar, vilket gör det möjligt för operatörer att utnyttja sin befintliga datacenterinfrastruktur utan att investera i proprietära sammankopplingar.

Det som gör EMFASYS särskilt attraktivt är dess förmåga att dynamiskt avlasta minnesbundna arbetsbelastningar från dyra GPU-anslutna HBM till betydligt mer prisvärda DRAM, samtidigt som åtkomstlatens på mikrosekundnivå bibehålls. Programvarustacken bakom EMFASYS inkluderar intelligenta cachnings- och lastbalanseringsmekanismer som döljer latens och orkestrerar minnesrörelser på sätt som är transparenta för de LLM:er som körs på systemet.

Implikationer för AI-industrin

Detta är mer än bara en smart hårdvarulösning – det representerar ett filosofiskt skifte i hur AI-infrastruktur byggs och skalas upp. I takt med att generativ AI går från nyhet till nödvändighet, med miljarder användarfrågor som bearbetas dagligen, har kostnaden för att hantera dessa modeller blivit ohållbar för många företag. Grafikprocessorer är ofta underutnyttjade, inte på grund av brist på beräkningskapacitet, utan för att de står inaktiva och väntar på minne. EMFASYS åtgärdar den obalansen direkt.

Genom att möjliggöra poolat, fabric-attached memory (fabric-attached minne) åtkomligt via Ethernet erbjuder Enfabrica datacenteroperatörer ett skalbart alternativ till att kontinuerligt köpa fler GPU:er eller HBM. Istället kan de öka minneskapaciteten modulärt med hjälp av standard DRAM och intelligent nätverkshantering, vilket minskar det totala fotavtrycket och förbättrar ekonomin för AI-inferens.

Implikationerna går utöver omedelbara kostnadsbesparingar. Denna typ av disaggregerad arkitektur banar väg för minne-som-en-tjänst-modeller, där kontext, historik och agenttillstånd kan bestå bortom en enda session eller server, vilket öppnar dörren för mer intelligenta och personliga AI-system. Det banar också väg för mer motståndskraftiga AI-moln, där arbetsbelastningar kan distribueras elastiskt över ett rack eller ett helt datacenter utan stela minnesbegränsningar.

Ser framåt

Enfabricas EMFASYS gör för närvarande stickprov hos utvalda kunder, och även om företaget inte har avslöjat vilka dessa partners är, Reuters rapporterar att stora AI-molnleverantörer redan testar systemet. Detta positionerar Enfabrica inte bara som en komponentleverantör, utan som en viktig möjliggörare i nästa generations AI-infrastruktur.

Genom att frikoppla minne från beräkningsförmåga och göra det tillgängligt över snabba, standardiserade Ethernet-nätverk lägger Enfabrica grunden för en ny era av AI-arkitektur – en där inferens kan skalas utan kompromisser, där resurser inte längre är strandsatta och där ekonomin i att driftsätta stora språkmodeller äntligen börjar bli meningsfull.

I en värld som alltmer definieras av kontextrika AI-system med flera agenter är minnet inte längre en stödjande aktör – det är scenen. Och Enfabrica satsar på att den som bygger den bästa scenen kommer att definiera AI:ns prestanda i många år framöver.