Enfabrica präsentiert Ethernet-basiertes Memory-Fabric, das die AI-Inferenz im großen Maßstab neu definieren könnte

Enfabrica, ein in Silicon Valley ansässiges Startup, das von Nvidia (NVDA ) unterstützt wird, hat ein bahnbrechendes Produkt vorgestellt, das die Art und Weise, wie große AI-Workloads bereitgestellt und skaliert werden, erheblich verändern könnte. Das neue Elastic Memory Fabric System (EMFASYS) von Enfabrica ist das erste kommerziell verfügbare Ethernet-basierte Memory-Fabric, das speziell zur Lösung des Kernproblems der generativen AI-Inferenz entwickelt wurde: dem Zugriff auf den Speicher.

Zu einer Zeit, in der AI-Modelle komplexer, kontextbewusster und persistenter werden und enorme Mengen an Speicher pro Benutzersitzung erfordern, bietet EMFASYS einen neuen Ansatz, um den Speicher vom Rechenprozess zu trennen, sodass AI-Rechenzentren ihre Leistung erheblich verbessern, Kosten senken und die Auslastung ihrer teuersten Ressourcen, der GPUs, erhöhen können.

Was ist ein Memory-Fabric und warum ist es wichtig?

Traditionell war der Speicher in Rechenzentren eng an den Server oder den Knoten gebunden, in dem er sich befand. Jeder GPU oder CPU hatte nur Zugriff auf den hochbandigen Speicher, der direkt an ihn angeschlossen war – normalerweise HBM für GPUs oder DRAM für CPUs. Diese Architektur funktioniert gut, wenn die Workloads klein und vorhersehbar sind. Aber die generative AI hat das Spiel geändert. LLMs erfordern Zugriff auf große Kontextfenster, Benutzerhistorie und multi-agenten-Speicher – all dies muss schnell und ohne Verzögerung verarbeitet werden. Diese Speicheranforderungen übersteigen oft die verfügbare Kapazität des lokalen Speichers und erzeugen Engpässe, die GPU-Kerne blockieren und die Infrastrukturkosten in die Höhe treiben.

Ein Memory-Fabric löst dieses Problem, indem es den Speicher in eine gemeinsam genutzte, verteilte Ressource umwandelt – eine Art Netzwerk-attached-Speicher-Pool, der von jeder GPU oder CPU im Cluster zugänglich ist. Stellen Sie sich vor, Sie erstellen eine “Speicher-Cloud” innerhalb des Rechenzentrums-Racks. Anstatt den Speicher über Server zu replizieren oder teuren HBM zu überlasten, ermöglicht ein Fabric es, den Speicher zu aggregieren, zu disaggregieren und über ein Hochgeschwindigkeitsnetzwerk auf Abruf zuzugreifen. Dies ermöglicht es AI-Inferenz-Workloads, effizienter zu skalen, ohne durch die physischen Speicherlimits eines einzelnen Knotens eingeschränkt zu sein.

Enfabricas Ansatz: Ethernet und CXL, endlich vereint

EMFASYS erreicht diese Rack-Skala-Speicherarchitektur, indem es zwei leistungsstarke Technologien kombiniert: RDMA über Ethernet und Compute Express Link (CXL). Erstere ermöglicht ultraschnellen, niedrigverzögerlichen Datentransfer über Standard-Ethernet-Netzwerke. Letztere ermöglicht es, den Speicher von CPUs und GPUs zu trennen und in gemeinsam genutzte Ressourcen zu poolen, die über Hochgeschwindigkeits-CXL-Links zugänglich sind.

Im Kern von EMFASYS befindet sich Enfabricas ACF-S-Chip, ein 3,2-Terabit-pro-Sekunde-(Tbps)-“SuperNIC”, der Networking und Speichersteuerung in einem einzigen Gerät kombiniert. Dieser Chip ermöglicht es Servern, auf massive Mengen an preisgünstigem DDR5-DRAM zuzugreifen – bis zu 18 Terabyte pro Knoten – die über das Rack verteilt sind. Wesentlich ist, dass er dies über Standard-Ethernet-Ports tut, sodass Betreiber ihre bestehende Rechenzentrumsinfrastruktur nutzen können, ohne in proprietäre Interconnects investieren zu müssen.

Was EMFASYS besonders überzeugend macht, ist seine Fähigkeit, Speicher-begrenzte Workloads dynamisch von teuren GPU-angebundenen HBM auf viel günstigeres DRAM umzuleiten, während gleichzeitig eine Zugriffsverzögerung auf Mikrosekundenebene aufrechterhalten wird. Die Software-Stack hinter EMFASYS umfasst intelligente Caching- und Lastausgleichsmechanismen, die die Verzögerung verbergen und den Speichertransfer auf eine Weise steuern, die für die auf dem System laufenden LLMs transparent ist.

Auswirkungen auf die AI-Branche

Dies ist mehr als nur eine clevere Hardware-Lösung – es stellt eine philosophische Veränderung dar, wie AI-Infrastruktur aufgebaut und skaliert wird. Wenn generative AI von einer Neuheit zu einer Notwendigkeit wird, mit Milliarden von Benutzeranfragen, die täglich verarbeitet werden, sind die Kosten für die Bereitstellung dieser Modelle für viele Unternehmen nicht mehr tragbar. GPUs werden oft nicht wegen mangelnder Rechenleistung, sondern weil sie auf Speicher warten, unterausgelastet. EMFASYS geht direkt auf diese Ungleichgewichte ein.

Indem Enfabrica einen poolbasierten, fabric-angebundenen Speicher über Ethernet zugänglich macht, bietet das Unternehmen Rechenzentrumsbetreibern eine skalierbare Alternative, um ständig mehr GPUs oder HBM zu kaufen. Stattdessen können sie die Speicherkapazität modulartig erhöhen, indem sie preisgünstiges DRAM und intelligente Netzwerke verwenden, was den Gesamtaufwand reduziert und die Wirtschaftlichkeit der AI-Inferenz verbessert.

Die Auswirkungen gehen über die unmittelbaren Kosteneinsparungen hinaus. Diese Art von disaggregierter Architektur ebnet den Weg für Speicher-as-a-Service-Modelle, bei denen Kontext, Historie und Agentenstatus über eine einzelne Sitzung oder einen einzelnen Server hinaus bestehen bleiben können, was zu intelligenteren und personalisierteren AI-Systemen führt. Sie bereitet auch den Boden für widerstandsfähigere AI-Clouds, bei denen Workloads elastisch über ein Rack oder ein ganzes Rechenzentrum verteilt werden können, ohne starre Speicherbeschränkungen.

Blick in die Zukunft

Enfabricas EMFASYS wird derzeit bei ausgewählten Kunden getestet, und obwohl das Unternehmen noch nicht bekannt gegeben hat, wer diese Partner sind, Reuters berichtet, dass große AI-Cloud-Anbieter das System bereits testen. Dies positioniert Enfabrica nicht nur als Komponentenlieferant, sondern als wichtiger Enabler in der nächsten Generation von AI-Infrastruktur.

Indem Enfabrica den Speicher vom Rechenprozess trennt und über Hochgeschwindigkeits-Commodity-Ethernet-Netzwerke zugänglich macht, legt das Unternehmen den Grundstein für eine neue Ära der AI-Architektur – eine, in der die Inferenz ohne Kompromisse skaliert, Ressourcen nicht mehr blockiert sind und die Wirtschaftlichkeit der Bereitstellung großer Sprachmodelle endlich Sinn ergibt.

In einer Welt, die zunehmend durch kontextreiche, multi-agenten-AI-Systeme definiert ist, ist der Speicher nicht länger ein Nebendarsteller – er ist die Bühne. Und Enfabrica setzt darauf, dass derjenige, der die beste Bühne baut, die Leistung der AI für Jahre zu kommen definieren wird.