Enfabrica, Ethernet Tabanlı Hafıza Dokusuyla AI İnceleme Ölçeklerini Yeniden Tanımlayabilir

Enfabrica, Nvidia tarafından desteklenen bir Silikon Vadisi şirketi, büyük ölçekli AI iş yüklerinin nasıl dağıtıldığını ve ölçeklendirildiğini önemli ölçüde değiştirebilecek bir ürün ortaya çıkardı. Şirketin yeni Esnek Hafıza Dokusu Sistemi (EMFASYS), AI çıkarımı için temel bir engel olan hafıza erişimini ele almak için özel olarak tasarlanan ilk ticari olarak उपलबabilir Ethernet tabanlı hafıza dokusudur.

AI modelleri daha karmaşık, bağlam bilinci ve kalıcı hale geldikçe ve her kullanıcı oturumu için大量 miktarda hafızaya ihtiyaç duydukça, EMFASYS, hafızayı hesaptan ayırarak AI veri merkezlerinin performansını önemli ölçüde iyileştirmelerine, maliyetleri düşürmelerine ve en pahalı kaynakları olan GPU’ların kullanımını artırmalarına olanak tanıyan yeni bir yaklaşım sunar.

Hafıza Dokusu Nedir ve Neden Önemlidir?

Geleneksel olarak, veri merkezlerindeki hafıza, içinde bulunduğu sunucu veya düğümle sıkı bir şekilde bağlantılıdır. Her GPU veya CPU, yalnızca yüksek bant genişliğine sahip doğrudan eklenen hafızaya erişebilir – genellikle GPU’lar için HBM veya CPU’lar için DRAM. Bu mimari, iş yükleri küçük ve öngörülebilir olduğunda iyi çalışır. Ancak üretken AI oyunu değiştirdi. LLM’ler, büyük bağlam pencerelerine, kullanıcı geçmişine ve çoklu ajan hafızasına erişimi nhanh ve gecikmesiz bir şekilde işlemek gerekir – tüm bunlar yerel hafıza kapasitesini aşan memory talepleri oluşturur ve bu da GPU çekirdeklerini engeller ve altyapı maliyetlerini artırır.

Bir hafıza dokusu bunu, hafızayı paylaşılan, dağıtılmış bir kaynak haline getirerek çözer – bir tür ağa bağlı hafıza havuzu, kümedeki herhangi bir GPU veya CPU tarafından erişilebilir. Bunu, veri merkezi raftında bir “hafıza bulutu” oluşturmak olarak düşünün. Sunucular arasında hafızayı kopyalamak veya pahalı HBM’yi aşırı yüklemektense, bir dokunun hafızayı toplamasına, dağıtmasına ve yüksek hızlı bir ağ üzerinden talebe göre erişmesine izin verir. Bu, AI çıkarımı iş yüklerinin, herhangi bir tek düğümün fiziksel hafıza sınırlamaları tarafından bağlanmadan daha verimli bir şekilde ölçeklenmesini sağlar.

Enfabrica’nın Yaklaşımı: Ethernet ve CXL, Birlikte Sonunda

EMFASYS, bu raft ölçekli hafıza mimarisini, iki güçlü teknolojiyi birleştirerek gerçekleştirir: RDMA over Ethernet ve Compute Express Link (CXL). İlki, standart Ethernet ağları üzerinden ultra düşük gecikme ve yüksek verimli veri aktarımını sağlar. İkincisi, hafızayı CPU’lar ve GPU’lar dan ayırarak paylaşılan kaynaklar haline getirir ve bunları yüksek hızlı CXL bağlantıları üzerinden erişilebilir hale getirir.

EMFASYS’in çekirdeğinde, Enfabrica’nın ACF-S yongası bulunur, bu bir 3.2 terabit-saniye (Tbps) “SuperNIC” dir ve ağ ile hafıza kontrolünü tek bir cihazda birleştiren bir yongadır. Bu yonga, sunucuların, rafta dağıtılan büyük miktarda commodity DDR5 DRAM havuzlarına – her düğüm için 18 terabayta kadar – standart Ethernet bağlantı noktaları kullanarak erişmesine olanak tanır. EMFASYS’in özellikle çekici olmasını sağlayan, hafızayla ilgili iş yüklerini, pahalı GPU-eklenen HBM’den çok daha ucuz DRAM’a dinamik olarak devretme yeteneğidir ve bunu mikrosaniye düzeyinde erişim gecikmesi korurken yapar. EMFASYS’in arkasındaki yazılım yığını, gecikmeyi gizleyen ve sistemde çalışan LLM’ler için şeffaf bir şekilde hafıza hareketini düzenleyen akıllı önbelleğe alma ve yük dengeleme mekanizmaları içerir.

AI Endüstrisi için Sonuçlar

Bu, yalnızca akıllı bir donanım çözümü değil, aynı zamanda AI altyapısının nasıl inşa edildiği ve ölçeklendirildiği konusunda felsefi bir değişimi temsil ediyor. Üretken AI, yenilikten gerekliliğe geçerken ve milyarlarca kullanıcı sorgusunun günlük olarak işlendiği bir zamanda, bu modelleri sunmanın maliyeti birçok şirket için sürdürülemez hale geldi. GPU’lar genellikle hesaplama eksikliği nedeniyle değil, hafıza beklerken boşta kalıyor. EMFASYS, bu dengesizliği doğrudan ele alıyor.

Ethernet üzerinden erişilebilen havuzlanmış, dokuya bağlı hafızayı sağlayarak, Enfabrica veri merkezi operatörlerine, sürekli olarak daha fazla GPU veya HBM satın almaktan ziyade, modüler olarak hafıza kapasitesini artırmak için bir ölçeklenebilir alternatif sunar. Bunun yerine, off-the-shelf DRAM ve akıllı ağ kullanarak, genel ayak izini azaltabilir ve AI çıkarımı ekonomisini geliştirebilirler.

Sonuçlar, yalnızca immediate maliyet tasarrufundan öteye gider. Bu tür bir dağıtılmış mimari, hafızanın, bir oturum veya sunucunun ötesinde kalıcı olabilen bir hizmet olarak sunulmasına olanak tanır, daha akıllı ve kişiselleştirilmiş AI sistemlerine yol açar. Ayrıca, iş yüklerinin, esnek bir şekilde bir rafta veya tüm veri merkezinde dağıtılabilen, katı hafıza sınırlamaları olmayan daha dayanıklı AI bulutlarına da zemin hazırlar.

İleriye Bakış

Enfabrica’nın EMFASYS’i şu anda seçili müşterilerle örnekleniyor ve şirket bu ortakların kim olduklarını açıklamadı, ancak Reuters raporuna göre, büyük AI bulut sağlayıcıları zaten sistemi deniyor. Bu, Enfabrica’yı yalnızca bir bileşen tedarikçisi olarak değil, aynı zamanda bir sonraki nesil AI altyapısında kilit bir aktör olarak konumlandırıyor.

Hafızayı hesaptan ayırarak ve onu yüksek hızlı, commodity Ethernet ağları üzerinden erişilebilir hale getirerek, Enfabrica, AI çıkarımının ölçeklenmesini utanç verici olmadan mümkün kılan, kaynakların artık mahsur kalmadığı ve büyük dil modellerini dağıtmak için nihayet ekonomik olarak makul bir şekilde çalışan bir yeni AI mimarisinin temellerini atıyor.

Bağlam zengin, çoklu ajanlı AI sistemlerinin tanımladığı bir dünyada, hafıza artık destekleyici bir aktör değil, sahnedir. Ve Enfabrica, en iyi sahneyi inşa eden kişinin, yıllarca AI performansını tanımlayacağını düşünüyor.