Infineon Technologies ve d-Matrix, Düşük Gecikme Süresi AI Altyapısı Üzerinde İşbirliği Yapıyor

Infineon Technologies, modern veri merkezlerinde kullanılan AI çıkarımı sistemlerinin performansını ve enerji verimliliğini geliştirmeye odaklanan d-Matrix ile bir işbirliği melakukan duyurdu. İşbirliği, d-Matrix’in Corsair AI çıkarımı hızlandırıcı platformu ve Infineon’un OptiMOS çift-fazlı güç modüllerini etrafında şekilleniyor. Bu modüller, etkileşimli AI iş yükleri için yüksek yoğunluklu hesap ortamlarını desteklemek üzere tasarlandı.

Duyuru, AI donanım endüstrisinde büyüyen bir değişimi vurguluyor. Geçtiğimiz birkaç yılın altyapı patlaması, büyük ölçüde eğitim increasingly büyük AI modellerine odaklanmıştı, ancak endüstri şimdi hızlı bir şekilde çıkarıma – gerçek dünya uygulamalarında modelleri çalıştırma sürecine – doğru genişliyor. Bu iş yükleri, özellikle gecikme, yanıt verme ve enerji tüketimi açısından donanım üzerinde farklı talepler yaratıyor.

AI Çıkarımının Neden Büyük Bir Donanım Savaş Alanı Haline Geliyordu

AI Çıkarımı, etkileşimli AI sistemlerinin saniyeler yerine milisaniyeler içinde yanıtlar gerektirdiği için AI altyapısı pazarının en hızlı büyüyen segmentlerinden biri haline geldi. d-Matrix, Corsair’i özellikle bu iş yükleri için konumlandırdı ve ultra düşük gecikme ve enerji verimli çıkarımı vurguladı.

d-Matrix’e göre, Corsair, generatif AI çıkarımını yavaşlatan bellek tıkanıklıklarını azaltmaya yönelik bir dijital bellek içi hesap mimarisi etrafında tasarlandı. Şirket, platformun, özellikle etkileşimli uygulamalar için geleneksel GPU merkezli çıkarım sistemlerine kıyasla önemli ölçüde daha düşük gecikme ve daha yüksek verimlilik sağladığını iddia ediyor.

Infineon ile işbirliği, başka bir kritik zorluğu ele alıyor: güç dağıtımı.

AI sunucuların yoğunluğunu artırmasıyla birlikte, hızlandırıcılara güç dağıtımı, altyapının ölçeklenmesini sınırlayan bir faktör haline geldi. Infineon’un OptiMOS TDM2254xx modülleri, elektriksel kayıpları azaltırken güç yoğunluğunu iyileştiren dikey güç dağıtım mimarileri için tasarlandı.

Gerçek Zamanlı AI Sistemlerine Doğru Kayma

Şirketler, işbirliğini “etkileşimli AI”nin yükselişi etrafında çerçevelediler, burada çıkarım sistemlerinin çok düşük gecikme ile sürekli olarak çıktılar üretmesi gerekiyor. Bu, konuşma AI, AI ajanları, gerçek zamanlı akıl yürütme sistemleri ve büyük dil modellerinden hızlı token üretimi gerektiren uygulamaları içerir.

d-Matrix kurucu CEO’su Sid Sheth, Corsair’in arkasındaki mimarinin özellikle 2 milisaniye altı token gecikmesi için tasarlandığını söyledi. Bu, şirketlerin AI sistemlerini deneysel ortamlardan müşteri odaklı ortamlara taşımasıyla birlikte giderek daha önemli hale gelen bir ölçüttür.

Geniş AI endüstrisi, çıkarım altyapısının eğitim altyapısından farklı bir şekilde evrimleşabileceğini de tanımaya başlıyor. GPU kümeleri, generatif AI’nin ilk genişleme aşamasını domine etti, ancak çıkarım, ham hesaplama gücünden ziyade bellek bant genişliği, gecikme, ağ ve enerji verimliliği etrafında optimize edilen mimarileri ödüllendiriyor.

Güç Verimliliği AI Ölçeklenmesinin Merkezi Haline Geliyor

Hyperscaler’lar ve AI bulut sağlayıcıları için karşılaşılan en büyük kısıtlamalardan biri elektrik talebidir. AI çıkarım iş yükleri, milyonlarca istek üzerinden sürekli olarak çalışabilir, bu da operasyonel verimliliğin dağıtım maliyetleri için kritik olmasını sağlar.

Infineon, AI altyapısı içinde silikon, silikon karbür (SiC) ve galliyum nitrit (GaN) tabanlı yarı iletken teknolojileri ile konumunu agresif bir şekilde genişletiyor. Şirket, AI hızlandırıcıları ve sunucu altyapısının altında yer alan güç dağıtım katmanına güç sağlamak üzerinde giderek daha fazla odaklanıyor.

d-Matrix ile işbirliği, AI hızlandırıcı startup’larının, geleneksel GPU ağır mimarilerine alternatifler arayan endüstri içinde yarı iletken şirketleriyle daha da entegre hale geldiğini yansıtıyor.

AI Altyapısı Geleneksel GPU’lerin Ötesine Genişliyor

İşbirliği, aynı zamanda AI donanımında deneylerin arttığı bir döneme denk geliyor. Birçok startup, özellikle çıkarım, bellek merkezli hesaplama veya AI ağları için özel hızlandırıcılar geliştiriyor.

d-Matrix, hesap-bellek teknolojileri ve büyük dil modelleri ve AI ajanları için düşük gecikmeli çıkarım sistemleri üzerinde durarak kendini ayırt etti. Şirket, ayrıca hızlandırıcı çiplerden öte, yakın zamanda çıkarım kümeleri için ağ, bileşik altyapı ve tam sistem optimizasyonuna vurgu yaptı.

AI uygulamaları giderek daha fazla etkileşimli ve ajantik hale geldikçe, altyapı sağlayıcılarının, yalnızca ham hesaplama gücüne odaklanmak yerine, tüm veri merkezi yığınları boyunca gecikmeyi azaltma, enerji tüketimini düşürme ve sistem düzeyinde verimliliği artırma üzerinde daha fazla durması bekleniyor.