ARIA, raf ölçeğinde yapay zekâ çıkarım testleri için Lumai optik sunucularını seçti

Lumai, optik yapay zekâ donanımını yeni bir değerlendirme ortamına taşıyor: Birleşik Krallık İleri Araştırma ve Buluş Ajansı (ARIA) tarafından desteklenen Çıkarım Ölçeklendirme Laboratuvarı. Laboratuvar, ilk optik hesaplama platformu olarak Lumai Iris çıkarım sunucularını devreye almayı planlıyor. Böylece araştırmacılar, mimariyi ticari bir veri merkezi ortamında raf ölçeğinde test edebilecek.

CommonAI CIC tarafından yürütülen laboratuvarın amacı, yeni yapay zekâ donanımları için aşılması zor bir boşluğu kapatmak: Yeni bir işlemcinin işe yaradığını göstermek başka, onu gerçek modellerle ve standart güç, soğutma ve raf gereksinimlerini karşılayan entegre bir sistemin parçası olarak çalıştırmak başka.

Duyuru, Nisan ayında Iris Nova’nın piyasaya sürülmesinin devamı niteliğinde. Ancak bu yeni adım, Lumai’nin öne çıkan verimlilik iddialarını kanıtlayan tamamlanmış ve bağımsız bir kıyaslama testinin yayımlanması değil; kamu desteğiyle yürütülen bir test ortamında gerçekleştirilecek çok düğümlü bir değerlendirme.

Matris Hesaplamalarını Işıkla Gerçekleştirmek

2021’de kurulan ve Oxford Üniversitesi’nden ayrılarak kurulan bir şirket olan Lumai, optik ve dijital teknolojileri birleştiren hibrit bir mimari geliştiriyor. Optik motoru, yapay zekâ çıkarımında kullanılan yoğun matematiksel işlemleri gerçekleştirmeyi hedeflerken elektronik bileşenler sistemin diğer işlevlerini üstlenmeye devam ediyor.

Şirketin teknik açıklamasına göre bilgiler ışık demetlerine kodlanıyor ve üç boyutlu uzaydaki optik bileşenler aracılığıyla işleniyor. Amaç, her hesaplamayı transistörleri anahtarlayarak yapmak yerine, ışığın yayılması sayesinde çok sayıda matematiksel işlemi paralel olarak gerçekleştirmek.

Bu, sunucunun tümüyle pasif olduğu ya da hiç güç tüketmediği anlamına gelmiyor. Sistemin tamamı hâlâ ışık kaynaklarına, veri dönüştürmeye, belleğe, dijital işlemeye ve denetime ihtiyaç duyuyor. Asıl mühendislik sorusu, kullanışlı bir model gerçekten çalışırken optik motorun verimliliğinin, sistemin diğer bileşenlerinin getirdiği bu maliyetlere rağmen ne ölçüde korunduğu.

Lumai; dönüştürme yükünü büyük iş yüklerine yaymayı amaçlayan geniş bir veri arayüzü, modelin anahtar-değer önbelleği için üç katmanlı bir bellek tasarımı ve donanım farkındalıklı niceleme kullandığını belirtiyor. Bunlar mimarinin pratik bileşenleri: Veriyi taşıma, kullanılabilir sayısal hassasiyeti koruma ve hızlandırıcıya sürekli iş sağlama, laboratuvar gösterimi dışındaki performansı da etkiliyor.

Lumai Neden Ön Doldurma Aşamasını Hedefliyor?

Büyük dil modellerinin çıkarım süreci iki farklı aşamadan oluşuyor. Ön doldurma sırasında sistem, girdiyi işler ve yanıt üretmek için gereken iç durumu oluşturur. Çözümleme sırasında ise model ağırlıklarına ve önbelleğe alınmış bağlama tekrar tekrar erişerek çıktı belirteçlerini adım adım üretir.

Ön doldurma aşamasında genellikle büyük matris işlemleri ağırlık taşırken çözümleme, özellikle daha küçük toplu işlem boyutlarında bellek bant genişliğiyle sınırlanabilir. Bu iki aşamanın göreli ağırlığı model boyutuna, istem uzunluğuna, toplu işlem boyutuna ve sunum yapılandırmasına göre değişir. Lumai, tüm işlem hattını tek tür işlemciyle optimize etmek yerine hesaplama yoğun aşamada uzmanlaşmayı hedefliyor.

Iris ürün belgelerinde optik hızlandırıcı, çözümleme için optimize edilmiş donanımla birlikte ön doldurma işlemcisi olarak kullanılabileceği de belirtilerek heterojen bilgi işlem sistemlerinin bir bileşeni olarak konumlandırılıyor. Lumai, Iris Nova’nın 8 milyar ve 70 milyar parametreli Llama modellerini desteklediğini ve veri merkezlerinde değerlendirilmek üzere sunulduğunu belirtiyor. Ürün ailesi, standart raf altyapısı ve havayla soğutma için tasarlandı.

Lumai’nin kurucu ortağı ve CEO’su Xianxin Guo, “Ticari bir veri merkezinde çok düğümlü bir sistemi çalıştırmak, yeni bilgi işlem mimarilerinin gerçek kullanım için hazır olup olmadıklarını kanıtladıkları noktadır,” dedi. ARIA çalışması, entegrasyon konusunu bir sonraki aşamanın merkezine taşıyor.

Tam Sistemler İçin Bir Test Ortamı

ARIA, toplumsal fayda sağlama potansiyeli taşıyan iddialı teknolojileri destekleyen, Birleşik Krallık’ın kamu araştırma ve geliştirme fonlama ajansıdır. Scaling Compute programı; yeni hesaplama ilkeleri, ağ oluşturma ve sistem tasarımı da dahil olmak üzere yerleşik bilgi işlem yaklaşımlarına alternatifleri araştırıyor.

Çıkarım Ölçeklendirme Laboratuvarı, ARIA’dan 50 milyon sterlin destek alıyor. ARIA’nın tanımına göre laboratuvar, kanıtlanmamış teknolojilerin her bir pilot uygulamada son kullanıcıların modeller çalıştırabileceği, kullanıma hazır bir sisteme entegre edildiği, raf düzeyinde yapılandırılmış bir dizi pilot çalışmadan oluşuyor. Amaç, tüm sistemin performansını ticari alternatiflerle karşılaştırmak ve hızla geliştirmeler yapmak; her altı ayda bir yeni bir raf kurulması planlanıyor.

Laboratuvarı yürüten Cambridge merkezli, kâr amacı gütmeyen üyelik kuruluşu CommonAI; şirketleri, kamu kurumlarını ve akademik katılımcıları ortak mühendislik çalışmaları için bir araya getiriyor. Program taslağında beşten fazla raf düzeyinde sistem öngörülüyor ve yeni donanımların gerçek çalışma performansını ortaya koymasına yardımcı olmak için bağımsız doğrulamaya önem veriliyor.

Bu yapı önemli; çünkü bir hızlandırıcı tek başına ele alınan bir işlemde iyi performans gösterse de veri taşıma, zamanlama, yazılım desteği ve sunum işlem hattının geri kalanı hesaba katıldığında sağladığı fayda azalabilir. Ortak bir test ortamı hem avantajların hem de darboğazların ortaya çıkarılmasına yardımcı olabilir.

Verimlilik İddiaları Neyi Gösteriyor, Neyi Göstermiyor?

Lumai, mimarinin veri merkezi güç tüketimini %90’a kadar azaltma ve toplam sahip olma maliyetini geleneksel GPU mimarilerinin yaklaşık onda birine indirme potansiyeli taşıdığını belirtiyor. Şirketin web sitesi, performansı 50 kat artırmaya yönelik bir yol haritası sunuyor. Duyuruda ayrıca, optik ön doldurma silikon tabanlı çözümlemeyle eşleştirildiğinde çıkarım başına enerji verimliliğinin en az 16 kat arttığı bildiriliyor.

Bu rakamlar farklı karşılaştırmaları ifade ediyor; birbirinin yerine kullanılabilecek ölçütler ya da ARIA tarafından bağımsız olarak doğrulanmış sonuçlar gibi değerlendirilmemeli. Duyuruda, bu kazanımların ticari iş yükleri genelinde elde edildiğini ortaya koyacak ortak bir kıyaslama yapılandırması, model kalitesi karşılaştırması veya yayımlanmış raf ölçeğinde sonuç seti sunulmuyor.

Dolayısıyla asıl önemli gelişme, laboratuvarın değerlendirmesi. Yararlı ölçümler arasında tamamlanan istek başına enerji tüketimi, ilk belirtece kadar geçen süre, sürdürülebilir çıktı verimi, model doğruluğu ve sistemin tamamını çalıştırma maliyeti yer alır. Anlamlı karşılaştırmalar yapabilmek için aynı modelin, bağlam uzunluklarının, toplu işleme varsayımlarının ve hizmet gereksinimlerinin kullanılması gerekir.

Birleşik Krallık’ın sınırlı güç bütçeleri içinde ülke içindeki yapay zekâ kapasitesini artırma hedefi açısından başarılı bir optik sistem, başka bir bilgi işlem seçeneği sunabilir. Lumai’nin sistemi devreye alması, bu olasılığı ticari koşullarda sınamaya yönelik bir adım. Sistemin avantajının büyük ölçekte daha düşük model sunum maliyetlerine dönüşüp dönüşmeyeceği, değerlendirmenin ortaya koyacağı bütünsel sistem kanıtlarına bağlı olacak.