Nesil AI’nın Geleceği Kenarında

ChatGPT ve genel olarak Nesil AI’nın ortaya çıkışı, teknoloji tarihindeki bir dönüm noktasıdır ve internetin ve akıllı telefonların doğuşuna benzer. Nesil AI, zeki sohbetler yapma, sınavlara girme, karmaşık programlar ve kodlar oluşturma ve göz alıcı resimler ve videolar yaratma yeteneğinde sınırsız potansiyel göstermiştir. GPU’lar, bulutda çoğu Nesil AI modelini çalıştırmaktadır – hem eğitim hem de çıkarım için – ancak bu, özellikle çıkarım için, maliyet, güç, gecikme, gizlilik ve güvenlik gibi faktörler nedeniyle uzun vadeli bir ölçeklenebilir çözüm değildir. Bu makale, bu faktörleri ve Nesil AI iş yüklerini kenara taşımak için motivasyonel örnekleri ele almaktadır.

Çoğu uygulama, yüksek performanslı işlemcilerde çalışır – ya cihazda (örneğin, akıllı telefonlar, masaüstü bilgisayarlar, dizüstü bilgisayarlar) ya da veri merkezlerinde. Uygulamaların AI’ı kullanan payının genişlemesi ile birlikte, yalnızca CPU’ları olan bu işlemciler yetersiz kalır. Ayrıca, Nesil AI iş yüklerindeki hızlı genişleme, pahalı, enerji tüketen GPU’lar ile donatılmış AI destekli sunucular için talep yaratmaktadır ve bu da altyapı maliyetlerini artırmaktadır. Bu AI destekli sunucular, normal bir sunucunun fiyatının 7 katına kadar çıkabilir ve GPU’lar bu ek maliyetin %80’ini oluşturmaktadır.

Ek olarak, bir bulut tabanlı sunucu 500W ile 2000W arasında enerji tüketirken, bir AI destekli sunucu 2000W ile 8000W arasında enerji tüketmektedir – 4 kat daha fazla! Bu sunucuları desteklemek için veri merkezlerine ek soğutma modülleri ve altyapı güncellemeleri gerekmektedir – bu, hesaplama yatırımı kadar yüksek olabilir. Veri merkezleri zaten yılda 300 TWH enerji tüketmektedir, dünyadaki toplam enerji tüketiminin लगभग %1’i. AI benimseme eğilimleri devam ederse, 2030 yılına kadar veri merkezleri tarafından kullanılan enerji, dünya genel enerji tüketiminin %5’ine kadar çıkabilir. Ayrıca, Nesil AI veri merkezlerine yatırım withoutprecedent bir şekilde artmaktadır. Veri merkezlerinin 2027 yılına kadar AI altyapısı gereksinimlerini karşılamak için 500 milyar dolarlık sermaye harcaması yapması beklenmektedir.

Veri merkezlerinin enerji tüketimi, Nesil AI’nın benimsenmesiyle birlikte önemli ölçüde artacaktır.

AI hesaplama maliyeti ve enerji tüketimi, Nesil AI’nın geniş çaplı benimsenmesini engelleyecektir. Ölçeklendirme sorunları, AI hesaplamalarını kenara taşımak ve AI iş yükleri için optimize edilmiş işlem çözümleri kullanarak aşılabilecektir. Bu yaklaşım, müşterilere gecikme, gizlilik, güvenilirlik ve artan kapasite gibi diğer faydalar da sağlar.

Hesaplama Veriye Bağlı Olarak Kenara Taşınır

On yıl önce, AI akademik dünyadan çıktığında, AI modellerinin eğitimi ve çıkarımı bulut/veri merkezinde gerçekleşmiştir. Verilerin çoğu, özellikle video, kenarda üretilip tüketildiğinden, bu verilerin çıkarımını kenara taşımak, işletmeler için toplam sahip olma maliyetini (TCO) azaltarak ağ ve hesaplama maliyetlerini azaltmıştır. Bulutta AI çıkarım maliyetleri tekrarlayan maliyetlerdir, ancak kenarda AI çıkarım maliyeti, bir defaya mahsus donanım gideridir. Esasen, sistemi bir Kenar AI işlemcisi ile donatmak, genel işletme maliyetlerini düşürür. Geleneksel AI iş yüklerinin Kenara taşınması gibi (örneğin, cihaz, cihaz), Nesil AI iş yükleri de aynı şekilde takip edecektir. Bu, işletmeler ve tüketiciler için önemli tasarruflar sağlayacaktır.

Kenara taşınma, AI hızlandırıcıları ile birlikte, diğer faydalar da sağlar. Bunların başında gecikme gelmektedir. Örneğin, oyun uygulamalarında, Nesil AI, oyun karakterlerini kontrol etmek ve geliştirmek için kullanılabilir. Kenar AI hızlandırıcıları, bir oyun konsolu veya bilgisayarda çalışan LLM modelleri, oyunculara karakterlere özel hedefler verebilir, böylece karakterler hikayeye anlamlı bir şekilde katılabilir. Yerel kenar çıkarımının düşük gecikmesi, karakterlerin konuşmalarını ve hareketlerini oyuncuların komutlarına ve eylemlerine gerçek zamanlı olarak yanıtlayacak şekilde sağlar. Bu, maliyet etkin ve enerji verimli bir şekilde yüksek derecede etkileyici bir oyun deneyimi sunar.

Sağlık gibi uygulamalarda, gizlilik ve güvenilirlik son derece önemlidir (örneğin, hasta değerlendirme, ilaç önerileri). Veriler ve ilgili Nesil AI modelleri, hasta verilerini korumak (gizlilik) ve buluttaki AI modellerine erişimi engelleyen ağ arızalarının önüne geçmek için şirket içinde olmalıdır. Bir sağlık hizmeti sağlayıcısı için özel olarak tasarlanmış bir Kenar AI cihazı, Nesil AI modeli çalıştırarak gizlilik ve güvenilirlik sorunlarını çözerken aynı zamanda daha düşük gecikme ve maliyet sağlar.

Kenar cihazlarda Nesil AI, oyunlarda düşük gecikme sağlar ve sağlık hizmetlerinde hasta verilerini korur ve güvenilirliği artırır.

Bulutta çalışan birçok Nesil AI modeli, neredeyse bir trilyon parametre içerebilir – bu modeller, genel amaçlı sorguları etkili bir şekilde ele alabilir. Ancak, şirketlere özgü uygulamalar, modellerin ilgili sonuçlar üretmesini gerektirir. Hızlı yemek restoranlarında sipariş alma için tasarlanmış bir Nesil AI asistanı örneğini düşünün – bu sistem, müşteri ile sorunsuz bir etkileşim için, restoranın menü öğelerini, alerjenleri ve içerikleri bilmelidir. Model boyutu, bir süper küme LLM kullanarak daha küçük, 10-30 milyar parametreli bir LLM eğiterek ve ardından müşteri özel verisi ile ince ayar yaparak optimize edilebilir. Böyle bir model, artan doğruluk ve kapasite ile sonuçlar üretebilir. Ve modelin daha küçük boyutu, Kenar AI hızlandırıcılarında etkili bir şekilde dağıtılabilecektir.

Nesil AI Kenarda Kazanacak

Genel amaçlı uygulamalar gibi ChatGPT ve Claude için bulutta çalışan Nesil AI’ya her zaman ihtiyaç duyulacaktır. Ancak, şirketlere özgü uygulamalar gibi Adobe Photoshop’un üretken doldurma veya Github copilot için Nesil AI, Kenarda sadece geleceğin değil, aynı zamanda bugünün bir parçasıdır. Bu mümkün kılan anahtar, amaçlarına uygun AI hızlandırıcılarıdır.