Enfabrica, Yapay Zeka Çıkarımını Ölçekte Yeniden Tanımlayabilecek Ethernet Tabanlı Bellek Yapısını Tanıttı

EnfabrikaNvidia destekli Silikon Vadisi merkezli bir girişim olan , büyük ölçekli yapay zeka iş yüklerinin dağıtım ve ölçeklendirme biçimini önemli ölçüde değiştirebilecek çığır açıcı bir ürünü tanıttı. Şirketin yeni Elastic Memory Fabric System (EMFASYS), üretken yapay zeka çıkarımının temel darboğazı olan bellek erişimini ele almak üzere özel olarak tasarlanmış, ticari olarak piyasaya sürülen ilk Ethernet tabanlı bellek yapısıdır.

Yapay zeka modellerinin giderek daha karmaşık, bağlam farkında ve kalıcı hale geldiği, kullanıcı oturumu başına büyük miktarda bellek gerektirdiği bir dönemde EMFASYS, belleği hesaplamadan ayırmak için yeni bir yaklaşım sunarak yapay zeka veri merkezlerinin performansı önemli ölçüde iyileştirmesine, maliyetleri düşürmesine ve en pahalı kaynakları olan GPU'ların kullanımını artırmasına olanak tanıyor.

Hafıza Dokusu Nedir ve Neden Önemlidir?

Geleneksel olarak, veri merkezlerindeki bellek, bulunduğu sunucuya veya düğüme sıkı sıkıya bağlıdır. Her GPU veya CPU, yalnızca doğrudan kendisine bağlı yüksek bant genişliğine sahip belleğe erişebilir; bu genellikle GPU'lar için HBM veya CPU'lar için DRAM'dir. Bu mimari, iş yükleri küçük ve öngörülebilir olduğunda iyi çalışır. Ancak üretken yapay zeka, oyunu değiştirdi. Hukuk alanında lisans (LL.M) programları, geniş bağlam pencerelerine, kullanıcı geçmişine ve çoklu aracı belleğine erişim gerektirir; bunların tümü hızlı ve gecikmesiz işlenmelidir. Bu bellek talepleri genellikle yerel belleğin mevcut kapasitesini aşarak, GPU çekirdeklerini zorlayan ve altyapı maliyetlerini artıran darboğazlar yaratır.

A bellek kumaş Bu sorunu, belleği paylaşımlı, dağıtılmış bir kaynağa dönüştürerek çözer; kümedeki herhangi bir GPU veya CPU tarafından erişilebilen bir tür ağa bağlı bellek havuzu. Bunu, veri merkezi rafında bir "bellek bulutu" oluşturmak olarak düşünün. Belleği sunucular arasında çoğaltmak veya pahalı HBM'yi aşırı yüklemek yerine, bir yapı, belleğin yüksek hızlı bir ağ üzerinden toplanmasına, dağıtılmasına ve isteğe bağlı olarak erişilmesine olanak tanır. Bu, yapay zeka çıkarım iş yüklerinin herhangi bir tek düğümün fiziksel bellek sınırlarına bağlı kalmadan daha verimli bir şekilde ölçeklenmesini sağlar.

Enfabrica'nın Yaklaşımı: Ethernet ve CXL Sonunda Bir Arada

EMFASYS, iki güçlü teknolojiyi birleştirerek bu raf ölçekli bellek mimarisini elde eder: Ethernet üzerinden RDMA ve Hesaplama Ekspres Bağlantısı (CXL)İlki, standart Ethernet ağları üzerinden ultra düşük gecikmeli, yüksek verimli veri aktarımını mümkün kılar. İkincisi ise belleğin CPU ve GPU'lardan ayrılıp, yüksek hızlı CXL bağlantıları üzerinden erişilebilen paylaşımlı kaynaklara aktarılmasına olanak tanır.

EMFASYS'nin merkezinde, ağ iletişimi ve bellek kontrolünü tek bir cihazda birleştiren, saniyede 3.2 terabit (Tbps) hızında çalışan bir "Süper NIC" olan Enfabrica ACF-S yongası yer alıyor. Bu yonga, sunucuların rafa dağıtılmış devasa DDR5 DRAM havuzlarıyla (düğüm başına 18 terabayta kadar) arayüz oluşturmasına olanak tanıyor. En önemlisi, bunu standart Ethernet bağlantı noktalarını kullanarak gerçekleştiriyor ve operatörlerin tescilli ara bağlantılara yatırım yapmadan mevcut veri merkezi altyapılarından yararlanmalarını sağlıyor.

EMFASYS'yi özellikle ilgi çekici kılan şey, bellekle ilgili iş yüklerini pahalı GPU bağlantılı HBM'den çok daha uygun fiyatlı DRAM'e dinamik olarak aktarabilme ve tüm bunları mikrosaniye düzeyinde erişim gecikmesini koruyabilme yeteneğidir. EMFASYS'nin arkasındaki yazılım yığını, gecikmeyi gizleyen ve bellek hareketini sistemde çalışan LLM'ler için şeffaf bir şekilde düzenleyen akıllı önbelleğe alma ve yük dengeleme mekanizmaları içerir.

Yapay Zeka Endüstrisi için Etkiler

Bu, akıllı bir donanım çözümünden çok daha fazlası; yapay zeka altyapısının nasıl oluşturulup ölçeklendirildiğine dair felsefi bir değişimi temsil ediyor. Üretken yapay zeka, her gün milyarlarca kullanıcı sorgusunun işlendiği bir yenilik olmaktan çıkıp bir zorunluluk haline geldikçe, bu modelleri sunmanın maliyeti birçok şirket için sürdürülemez hale geldi. GPU'lar genellikle yetersiz kullanım nedeniyle değil, bellek bekleyerek boşta durdukları için yetersiz kullanılıyor. EMFASYS bu dengesizliği doğrudan ele alıyor.

Enfabrica, Ethernet üzerinden erişilebilen, birleştirilmiş, kumaşa bağlı belleği etkinleştirerek, veri merkezi operatörlerine sürekli olarak daha fazla GPU veya HBM satın almak yerine ölçeklenebilir bir alternatif sunuyor. Bunun yerine, hazır DRAM ve akıllı ağlar kullanarak bellek kapasitesini modüler olarak artırabilir, böylece toplam ayak izini küçültebilir ve yapay zeka çıkarımının ekonomikliğini artırabilirler.

Etkileri, anında maliyet tasarruflarının ötesine geçiyor. Bu tür parçalanmış mimari, bağlam, geçmiş ve aracı durumunun tek bir oturum veya sunucunun ötesinde kalıcı olabileceği, hizmet olarak bellek modellerinin önünü açarak daha akıllı ve kişiselleştirilmiş yapay zeka sistemlerinin kapısını açıyor. Ayrıca, iş yüklerinin katı bellek sınırlamaları olmadan bir rafa veya tüm bir veri merkezine esnek bir şekilde dağıtılabildiği daha dayanıklı yapay zeka bulutları için de zemin hazırlıyor.

Geleceğe Bakan Vizyon

Enfabrica'nın EMFASYS şu anda seçili müşterilerle örnekleme yapıyor ve şirket bu ortakların kim olduğunu açıklamasa da, Reuters raporları Büyük yapay zeka bulut sağlayıcılarının sistemi halihazırda pilot olarak denediği belirtiliyor. Bu, Enfabrica'yı yalnızca bir bileşen tedarikçisi olarak değil, aynı zamanda yeni nesil yapay zeka altyapısının kilit bir sağlayıcısı olarak konumlandırıyor.

Enfabrica, belleği hesaplamadan ayırarak ve bunu yüksek hızlı, ticari Ethernet ağları üzerinden kullanılabilir hale getirerek yapay zeka mimarisinin yeni bir döneminin temellerini atıyor. Bu dönemde çıkarımlar ödün vermeden ölçeklenebiliyor, kaynaklar artık tükenmiyor ve büyük dil modellerini dağıtmanın ekonomisi nihayet anlam kazanmaya başlıyor.

Bağlam açısından zengin, çok etkenli yapay zeka sistemleriyle giderek daha fazla tanımlanan bir dünyada, hafıza artık yardımcı bir aktör değil, sahnedir. Ve Enfabrica, en iyi sahneyi inşa edenin, önümüzdeki yıllarda yapay zekanın performansını belirleyeceğine inanıyor.