Enfabrica Prezenta Pamięć Opartą Na Ethernet, Która Może Zrededefiniować Wnioskowanie AI W Skali

Enfabrica, startup z Doliny Krzemowej wspierany przez Nvidia, zaprezentował przełomowy produkt, który może znacząco zmienić sposób wdrażania i skalowania dużych obciążeń AI. Nowy system Elastic Memory Fabric System (EMFASYS) firmy jest pierwszym dostępnym komercyjnie pamięciowym tkaninem opartym na Ethernet, specjalnie zaprojektowanym do rozwiązania podstawowego problemu wnioskowania AI generatywnego: dostępu do pamięci.

W czasie, gdy modele AI stają się coraz bardziej złożone, świadome kontekstu i trwałe – wymagające ogromnych ilości pamięci na sesję użytkownika – EMFASYS dostarcza nowy sposób na odłączenie pamięci od obliczeń, umożliwiając centrům danych AI znacząco poprawić wydajność, obniżyć koszty i zwiększyć wykorzystanie najdroższych zasobów: GPU.

Czym Jest Tkanina Pamięciowa — I Dlaczego Jest Ważna?

Tradycyjnie pamięć w centrach danych była ściśle związana z serwerem lub węzłem, w którym się znajdowała. Każdy GPU lub CPU miał dostęp tylko do pamięci o dużej przepustowości bezpośrednio do niego dołączonej — zwykle HBM dla GPU lub DRAM dla CPU. Ta architektura działa dobrze, gdy obciążenia są małe i przewidywalne. Ale AI generatywna zmieniła grę. LLM wymagają dostępu do dużych kontekstowych okien, historii użytkownika i pamięci wielu agentów — wszystko to musi być przetwarzane szybko i bez opóźnień. Te wymagania pamięciowe często przekraczają dostępną pojemność lokalnej pamięci, tworząc wąskie gardła, które unieruchamiają rdzenie GPU i zwiększają koszty infrastruktury.

Tkanina pamięciowa rozwiązuje ten problem, przekształcając pamięć w udostępniony, rozproszony zasób — rodzaj sieciowo dołączonej puli pamięci dostępnej dla każdego GPU lub CPU w klastrze. Wyobraź sobie to jako tworzenie “chmury pamięci” wewnątrz szafy centrum danych. Zamiast replikować pamięć na serwerach lub przeładowywać drogą pamięć HBM, tkanina pozwala na agregację, rozproszenie i dostęp do pamięci na żądanie przez sieć o dużej przepustowości. To umożliwia obciążeniom wnioskowania AI skalować się bardziej efektywnie bez ograniczeń fizycznych poszczególnych węzłów.

Podejście Enfabrica: Ethernet i CXL, Razem Na Koniec

EMFASYS osiąga tę architekturę pamięciową w skali szafy, łącząc dwie potężne technologie: RDMA przez Ethernet i Compute Express Link (CXL). Pierwsza umożliwia ultra-niską latencję i wysokoprzepustową transmisję danych przez standardowe sieci Ethernet. Druga pozwala na odłączenie pamięci od CPU i GPU i pulę wspólnych zasobów, dostępnych za pośrednictwem szybkich połączeń CXL.

W sercu EMFASYS znajduje się chip ACF-S Enfabrica, “SuperNIC” o przepustowości 3,2 terabitów na sekundę (Tbps), który łączy sieciowanie i kontrolę pamięci w jednym urządzeniu. Ten chip umożliwia serwerom interfejsowanie z ogromnymi pulami tanich pamięci DDR5 — do 18 terabajtów na węzeł — rozproszonych w szafie. Co jest istotne, robi to za pomocą standardowych portów Ethernet, pozwalając operatorom wykorzystywać istniejącą infrastrukturę centrum danych bez inwestowania w specjalistyczne łącza.

To, co sprawia, że EMFASYS jest szczególnie atrakcyjny, to jego zdolność do dynamicznego przenoszenia obciążeń związanych z pamięcią z drogiej pamięci HBM do znacznie tańszej pamięci DRAM, przy jednoczesnym utrzymaniu latencji na poziomie mikrosekund. Stos odpowiedni dla EMFASYS obejmuje inteligentne mechanizmy buforowania i balansowania obciążeń, które ukrywają opóźnienia i orchestrują ruch pamięci w sposób przezroczysty dla LLM działających w systemie.

Wnioski Dla Przemysłu AI

To jest więcej niż tylko inteligentne rozwiązanie sprzętowe — reprezentuje filozoficzną zmianę w tym, jak infrastruktura AI jest budowana i skalowana. Gdy AI generatywna przechodzi od nowinki do konieczności, z miliardami zapytań użytkowników przetwarzanych codziennie, koszt obsługi tych modeli stał się niewykonalny dla wielu firm. GPU są często niewykorzystane nie z powodu braku obliczeń, ale dlatego, że czekają na pamięć. EMFASYS rozwiązuje ten dysbalans bezpośrednio.

Dzięki umożliwieniu puli pamięci dołączonej do tkaniny i dostępnej przez Ethernet, Enfabrica oferuje operatorom centrów danych skalowalną alternatywę dla ciągłego kupowania coraz większej ilości GPU lub HBM. Zamiast tego mogą one zwiększyć pojemność pamięci w sposób modułowy, wykorzystując standardową pamięć DRAM i inteligentne sieciowanie, zmniejszając całkowitą powierzchnię i poprawiając ekonomię wnioskowania AI.

Wnioski wykraczają poza natychmiastowe oszczędności kosztów. Tego rodzaju architektura rozproszona otwiera drogę do modeli pamięci jako usługi, gdzie kontekst, historia i stan agenta mogą trwać poza jedną sesją lub serwerem, otwierając drzwi do bardziej inteligentnych i personalizowanych systemów AI. To również tworzy scenę dla bardziej wytrzymałych chmur AI, gdzie obciążenia mogą być elastycznie rozłożone na szafę lub całe centrum danych bez sztywnych ograniczeń pamięci.

Spójrzmy W Przyszłość

Enfabrica’s EMFASYS jest obecnie testowany z wybranymi klientami, a chociaż firma nie ujawniła, kim są ci partnerzy, Reuters rapportuje, że główni dostawcy chmur AI już testują ten system. To pozycjonuje Enfabrica nie tylko jako dostawcę komponentów, ale jako kluczowego uczestnika w następnej generacji infrastruktury AI.

Dzięki odłączeniu pamięci od obliczeń i udostępnieniu jej przez sieci o dużej przepustowości i standardowe sieci Ethernet, Enfabrica tworzy podstawy dla nowej ery architektury AI — jednej, w której wnioskowanie może skalować się bez kompromisów, gdzie zasoby nie są już marnowane, a ekonomika wdrażania dużych modeli językowych w końcu zaczyna mieć sens.

W świecie coraz bardziej definiowanym przez systemy AI bogate w kontekst i wielu agentów, pamięć nie jest już tylko drugoplanową rolą — jest sceną. A Enfabrica stawia, że ten, kto zbuduje najlepszą scenę, zdefiniuje występ AI na lata do przodu.