Enfabrica, Ethernet Tabanlı Hafıza Kumaşını Tanıttı: Büyük Ölçekli AI Çıktısını Yeniden Tanımlayabilir

Enfabrica, Nvidia (NVDA ) tarafından desteklenen bir Silikon Vadisi merkezli startup, büyük ölçekli AI iş yüklerinin dağıtılması ve ölçeklendirilmesinde önemli bir değişikliğe neden olabilecek bir ürün ortaya koydu. Şirketin yeni Esnek Hafıza Kumaşı Sistemi (EMFASYS), generatif AI çıkarımı için temel bir engel olan hafıza erişimini adreslemek üzere özel olarak tasarlanan ilk ticari Ethernet tabanlı hafıza kumaşısıdır.

AI modelleri daha karmaşık, bağlam bilinci ve kalıcı hale geldikçe ve her kullanıcı oturumu için大量 miktarda hafızaya ihtiyaç duydukça, EMFASYS, hesaplamadan hafızayı ayırmaya yönelik yeni bir yaklaşım sunar. Bu, AI veri merkezlerinin performansını önemli ölçüde iyileştirmesine, maliyetlerini düşürmesine ve en pahalı kaynakları olan GPU’ların kullanımını artırmalarına olanak tanır.

Hafıza Kumaşı Nedir ve Neden Önemlidir?

Geleneksel olarak, veri merkezlerindeki hafıza, içinde bulunduğu sunucu veya düğümle sıkı bir şekilde bağlantılıdır. Her GPU veya CPU, yalnızca yüksek bant genişliğine sahip doğrudan bağlı hafızaya erişebilir – genellikle GPU’lar için HBM veya CPU’lar için DRAM. Bu mimari, iş yükleri küçük ve öngörülebilir olduğunda iyi çalışır. Ancak generatif AI oyunu değiştirdi. Büyük bağlamsal pencerelere, kullanıcı geçmişine ve çoklu aracı hafızasına erişimi gerektirir – tüm bunlar hızlı ve gecikmesiz olarak işlenmelidir. Bu hafıza talepleri genellikle yerel hafıza kapasitesini aşar, GPU çekirdeklerini mahsur bırakarak ve altyapı maliyetlerini artırarak engeller oluşturur.

Bir hafıza kumaşı bunu, hafızayı paylaşılan, dağıtılmış bir kaynak haline getirerek çözer – bir tür ağa bağlı hafıza havuzu, kümadaki herhangi bir GPU veya CPU tarafından erişilebilir. Veri merkezi raftaki bir “hafıza bulutu” oluşturmayı düşünün. Hafızayı sunucular arasında çoğaltmak veya pahalı HBM’yi aşırı yüklemek yerine, bir kumaş hafızayı toplu hale getirmeye, dağıtmaya ve yüksek hızlı bir ağ üzerinden talep üzerine erişime izin verir. Bu, AI çıkarımı iş yüklerinin, herhangi bir tek düğümün fiziksel hafıza sınırlamalarına bağlı kalmadan daha verimli bir şekilde ölçeklenmesine olanak tanır.

Enfabrica’nın Yaklaşımı: Ethernet ve CXL, Sonunda Birlikte

EMFASYS, bu raflar arası hafıza mimarisini, iki güçlü teknolojiyi birleştirerek gerçekleştirir: RDMA över Ethernet ve Compute Express Link (CXL). İlki, standart Ethernet ağları üzerinden ultra düşük gecikme ve yüksek hızlı veri transferi sağlar. İkincisi, hafızayı CPU’lar ve GPU’lar dan ayırarak paylaşılan kaynaklar olarak havuza alınmasına ve yüksek hızlı CXL bağlantıları üzerinden erişilmesine olanak tanır.

EMFASYS’in çekirdeğinde, Enfabrica’nın ACF-S çipi bulunmaktadır – bir 3.2 terabit/saniye (Tbps) “SuperNIC” çipi, ağ ile hafıza kontrolünü tek bir cihazda birleştiren. Bu çip, sunucuların, rafta dağıtılan büyük miktarlarda komutluk DDR5 DRAM (her düğüm için 18 terabayt) ile arayüz oluşturmasına olanak tanır. Kritik olarak, bunu standart Ethernet bağlantı noktaları kullanarak yapar, bu da operatörlerin özel arabirimlere yatırım yapmadan mevcut veri merkezi altyapısını kullanmalarına olanak tanır.

EMFASYS’i özellikle çekici kılan, pahalı GPU’ya bağlı HBM’den çok daha uygun fiyatlı DRAM’a hafıza bağlı iş yüklerini dinamik olarak devre dışı bırakma yeteneğidir, aynı zamanda mikrosaniye düzeyinde erişim gecikmesini korur. EMFASYS’in arkasındaki yazılım yığını, akıllı önbelleğe alma ve yük dengeleme mekanizmaları içerir – bunlar, LLM’lerin sistem üzerinde çalışmasını transparent bir şekilde gizler ve hafıza hareketini yönetir.

AI Endüstrisi için Sonuçlar

Bu, sadece akıllı bir donanım çözümü değil, AI altyapısının nasıl inşa edildiği ve ölçeklendirildiği konusunda felsefi bir değişimi temsil ediyor. Generatif AI, yenilikten gerekliliğe geçerken, milyarlarca kullanıcı sorgusunun günlük olarak işlendiği bir zamanda, bu modelleri sunmanın maliyeti birçok şirket için sürdürülemez hale geldi. GPU’lar genellikle hesaplama eksikliği nedeniyle değil, hafıza nedeniyle boşta kalıyor. EMFASYS, bu dengesizliği doğrudan ele alıyor.

Paylaşılan, kumaşa bağlı hafızayı Ethernet üzerinden erişilebilir hale getirerek, Enfabrica, veri merkezi operatörlerine, sürekli olarak daha fazla GPU veya HBM satın almaktan ziyade, modüler olarak hafıza kapasitesini artırmak için bir ölçeklenebilir alternatif sunar – bu, standart DRAM ve akıllı ağ ile gerçekleştirilir, genel ayak izini azaltır ve AI çıkarımı ekonomisini iyileştirir.

Sonuçlar, immediate maliyet tasarrufundan öteye gider. Bu tür bir dağıtılmış mimari, hafıza hizmetleri modelleri için yolu açar – burada bağlam, tarih ve aracı durumu, bir oturum veya sunucunun ötesinde kalıcı olabilir, daha akıllı ve kişiselleştirilmiş AI sistemlerine kapı açar. Ayrıca, daha esnek AI bulutlarına da zemin hazırlar – burada iş yükleri, katı hafıza sınırlamaları olmadan bir rafta veya tüm bir veri merkezinde esnek bir şekilde dağıtılabilir.

İleriye Bakış

Enfabrica’nın EMFASYS’i şu anda seçili müşterilerle örnek olarak sunuluyor ve şirket bu ortakların kim olduklarını açıklamadı, ancak Reuters raporuna göre, büyük AI bulut sağlayıcıları already sistemi deniyor. Bu, Enfabrica’yı sadece bir bileşen tedarikçisi olarak değil, bir sonraki AI altyapısı neslinin önemli bir sağlayıcısı olarak konumlandırıyor.

Enfabrica, hafızayı hesaplama işlemlerinden ayırarak ve onu yüksek hızlı, komutluk Ethernet ağları üzerinden erişilebilir hale getirerek, AI mimarisinin yeni bir döneminin temelini atıyor – burada çıkarım ölçeklenebilir, kaynaklar mahsur kalmaz ve büyük dil modellerini dağıtmak için ekonomi nihayet anlam kazanmaya başlar.

Bağlamsal olarak zengin, çoklu aracı AI sistemlerinin tanımladığı bir dünyada, hafıza artık destekleyici bir aktör değil, sahnedir. Ve Enfabrica, en iyi sahneyi inşa edenın, yıllarca AI performansını tanımlayacağına bahis yapıyor.