AI Altyapısının Bir Sonraki Aşaması Hyperscale Veri Merkezlerinden Daha Fazlasını Gerektirecek

Yapay zeka, altyapı stratejisini model kapasitesinden ayrılmaz hale getiren bir döneme giriyor. Yıllarca, hyperscale veri merkezleri, büyük ölçekli eğitimlerin yükselmesini sağladı, sınır modellerinin milyonlardan trilyonlara parameter sayısını artırmasını ermögledi. Ancak AI benimsemesi, şirketler, endüstriler ve gerçek zamanlı sistemler boyunca hızlandıkça, inference, eğitim yerini alıyor ve inference, temel olarak farklı gereksinimlere sahip.

AI’nın bir sonraki dönemi, yalnızca hyperscale tesislerle desteklenemez. Bunun yerine, merkezi eğitim kampüslerinin, dağıtılmış, güçle hizalanmış, ticari ölçekli veri merkezleriyle tamamlandığı bir hibrit model ortaya çıkıyor. Bu değişim, gecikme kısıtlamaları, veri egemenliği ihtiyaçları, enerji gerçekleri ve devam eden hyperscale genişlemenin fiziksel sınırları tarafından yönlendiriliyor.

Eğitim ve Inference’nin Ayrılması

Eğitim, merkezi bir faaliyet olarak kalıyor. Büyük kümeler, yüksek hızlı veri boru hatları ve uzun süreli işler gerektirir, bunlar ölçek ekonomisinden yararlanarak yararlanabilir. Hyperscale kampüsleri, yoğun hesaplama, özel ağ dokuları ve küresel erişilebilirlik ile bu için optimize edilmiştir. Ancak inference farklı davranır. Kısa sürelidir, yüksek hacimlidir, gecikme duyarlıdır ve souvent coğrafi veya şirket sınırları ile bağlantılıdır. Akamai’nin ajentik sistemler üzerine yaptığı recent çalışması, most organizasyonların artık kritik AI kullanım durumları için 500 milisaniyeden az son-to-son gecikme hedeflediğini gösteriyor ve çoklu ajent iş akışları sık sık yalnızca ağ geçişi ve CPU tarafı yürütme nedeniyle bu eşiği aşabiliyor.

Gecikme, soyut bir ölçüttür. Robotik ve otonom sistemlerde, kontrol döngüleri genellikle 100 ila 1.000 hertz her 1 ila 10 milisaniyede çalışır. Herhangi bir harici zeka, bu zaman kısıtlamalarına uymalıdır. Uzak bir veri merkezine 50 milisaniyelik bir tur, kontrol rejimini tamamen bozar. Finansal ticaret ve dolandırıcılık tespitinde, milisaniyeler ekonomik sonuçları belirler. Endüstriyel otomasyonda, gecikmiş inference, prosesleri destabilize edebilir veya güvenliği tehlikeye atabilir. Ve etkileşimli deneyimlerde, oyun, AR/VR ve gerçek zamanlı kaptanlarda, 100 ila 150 milisaniyenin üzerinde yanıt süresi keskin bir şekilde bozulur.

Modern AI sistemleri, artan olarak, bir dizi ardışık çağrının zincirlerinden oluşan çoklu ajent iş akışlarına dayanmaktadır. Akamai’nin analizi, CPU tarafı yürütmesinin toplam gecikmenin çoğunu oluşturabileceğini gösteriyor ve her ağ turu ek gecikme ekliyor. 50 ardışık çağrısı olan bir iş akışı, uzak bir hyperscale bölgesine yönlendirildiğinde saniyelerce taşıma gecikmesi yaşayabilir. Aynı iş akışını, aynı kampüs veya metro alanında bulunan bir hyperlocal veri merkezine yerleştirin ve fizik değişir. Yerel inference, 1 ila 5 milisaniyelik tur响u gecikme sağlayabilir. 50 adımlı bir iş akışı, uzak bir bölgede saniyelerce sürebilir, ancak yerel olarak 50 ila 250 milisaniyede tamamlanabilir, böylece şirketlerin gecikme bütçelerine uyumlu kalınır.

Veri Egemenliği ve Şebeke Gerçekleri Yerel Dağıtımları Sürükleyici

Gecikme, hikayenin sadece bir parçasıdır. Düzenlenen endüstriler için, sağlık, finans ve kamu sektörü, veri egemenliği genellikle yerel inference için birincil sürücudur. AI iş yüklerini bir şirket güvenlik duvarının arkasında çalıştırarak, mevcut güvenlik sınırlarını korur, çoklu kiracılı 노출ı azaltır, uyumluluğu basitleştirir ve hassas verileri paylaşılan bulut altyapısından uzak tutar. Hyperscale sağlayıcılar güçlü güvenlik sunar, ancak saldırı yüzeyi ve güven zinciri doğası gereği daha geniştir. Şirketler, güvenlik duruşlarıyla uyumlu inference mimarilerine tercih ediyor.

Gecikme ve güvenlik endişelerine ek olarak, enerji erişimi eşit derecede önemli bir kısıtlama haline geliyor. Büyük hyperscale kampüsleri genellikle iletim kısıtlamaları ve interconnect kuyrukları nedeniyle çok yıllık gecikmelere neden olur. Daha küçük ticari ölçekli dağıtımlar, özellikle mevcut yüklerin veya dağıtılmış jenerasyonun yakınlarında bulunanlar, genellikle çok daha hızlı bir şekilde enerji verilebilir. Bu önemlidir, çünkü AI talebi, bir paradoks ile çarpışıyor.

Operatörler yeni şebeke bağlantılarını güvence altına çalışırken, muazzam miktarlarda yenilenebilir enerji kesiliyor. Küresel olarak, yenilenebilir enerji kesilmesi şimdi yılda 200 terawatt-saatten fazla. Amerika Birleşik Devletleri’nde, kesilme yaklaşık 20 terawatt-saat olarak tahmin ediliyor. ERCOT, yakın bir yılda rüzgar ve güneş enerjisi üretiminden 9 terawatt-saat üzerinde kesinti yaptı. CAISO, 2024’te 3.4 terawatt-saat güneş ve rüzgarı atıldı, güneş %93’ü tüm kesilen çıktıyı oluşturdu. Enerji sistemi anketleri, hem güneş hem de rüzgarın, şebeke kapasitesini aştığında önemli ölçüde kesintiye uğradığını tutarlı bir şekilde gösteriyor. Güneş kesintisi, özellikle güçlü öğle zirvelerine sahip bölgelerde daha yaygınken, rüzgar kesintisi genellikle off-peak saatlerde veya kısıtlı koridorlarda xảyabilir. Enerji üretimine yakın yerleştirilen dağıtılmış veri merkezleri, özellikle güneş zengini bölgelerde, mahsur kalan enerjiyi faydalı inference kapasitesine dönüştürebilir.

Hyperscale kampüsleri, eğitim için vazgeçilmez kalacak, ancak artan fiziksel ve ekonomik sınırlarla karşı karşıya kalacak. İletim şebekesine bağlanmak, uzun bir süreç olabilir, yeni trafo merkezleri, iletim güncellemeleri, çoklu ajans izinleri ve topluluk incelemesi gerektirir. Bunlar, yıllarca süren süreçlerdir. Hyperscale tesisleri, büyük arazi ayak izleri, önemli su tahsisatı ve karmaşık çevresel onaylar gerektirir. Topluluklar, gürültü, su kullanımı ve arazi etkileri nedeniyle yeni veri merkezi geliştirmesine karşı giderek daha fazla direniyor. Ve merkezi kampüsler, riski yoğunlaştırır, böylece hava olayları, şebeke kesintileri veya jeopolitik kesintiler, büyük ölçüde küresel hesaplama kapasitesini etkileyebilir. Dağıtılmış mimariler, coğrafi yedeklilik ve operasyonel esneklik sağlar.

Gelecek, Çok Katmanlı Bir AI Altyapısı

Inference hesabının sorunsuz çalışmasını sağlamak için, verimlilik, ham kapasite kadar önemli hale gelebilir. Inference, sürekli enerji tüketir ve endüstri analistleri, inference’in sonunda AI ile ilgili enerji tüketiminin çoğunu temsil edebileceğini öne sürüyor. Yerel yenilenebilir enerji entegrasyonundan, azaltılmış iletim kayıplarından, doğru boyutlu dağıtımlardan, geliştirilmiş termal profillerden ve daha yüksek kullanım oranlarından elde edilen verimlilik kazanımları, AI talebini sürdürülebilir bir şekilde karşılamak için essential hale gelecek. Dağıtılmış ticari ölçekli veri merkezleri, bu kazanımları sağlayabilecek konumda, enerji bolluğu, ucuzluğu veya atıl durumda olan yerlerde kurulabiliyor.

AI altyapısının bir sonraki aşaması, eğitimde hakim olan hyperscale kampüslerin, inference’de hizmet veren dağıtılmış ticari ölçekli veri merkezlerinin ve ultra yerel iş yüklerini hizmet veren kenar cihazlarının bir karışımı olacak. Bu çok katmanlı mimari, güç, gecikme, güvenlik ve ölçek gibi fiziksel gerçekleri yansıtıyor. AI, gerçek zamanlı sistemler boyunca her endüstriye gömüldükçe, altyapı, hizmet ettiği dünyaya inference’i getirmek için buna uygun olarak evrimleşmelidir.