Neden AI çıkarımı, eğitimden daha önemli bir mühendislik zorluğudur

Son on yılda, yapay zeka alanında spotlights eğitim üzerinde yoğunlaştı. Büyük atılımlar, büyük ölçekli hesaplamalar, trilyon parametreli modeller ve sistemleri “düşünmeye” öğretmek için yapılan milyarlarca dolarlık harcamalardan geldi. AI geliştirmeyi büyük ölçüde bir inşaat projesi olarak ele aldık: zeka gökdelenini inşa ettik. Ancak şimdi bu gökdelen inşa edildiğine göre, gerçek zorluk, milyonların aynı anda içinde yaşamak ve çalışmak zorunda olduğu bu gökdeleni nasıl işleteceğimizi bulmak. Bu, AI araştırmacıları ve mühendislerin odak noktasını, eğitim (zeka yaratma eylemi) yerine çıkarıma (onun kullanımına) kaydırıyor. Eğitim, büyük, tek seferlik bir sermaye harcaması (CapEx) iken, çıkarım, sürekli bir işletme gideri (OpEx)dir ve süresiz olarak devam eder. Şirketler, milyonlarca kullanıcıya hizmet veren ajanları dağıttıkça, bir gerçekle karşılaşıyorlar: çıkarım, sadece “eğitim”in tersi değil. Temel olarak farklı ve belki de daha zor bir mühendislik zorluğudur.

Neden Çıkarım Maliyetleri Her Zamankinden Daha Önemli

Mühendislik zorluğunu anlamak için, önce temel ekonomik zorunluluğu anlamak gerekir. Eğitim aşamasında, verimsizlik hoş görülebilir. Bir eğitim çalışması dört hafta yerine üç hafta sürerse, bu bir sıkıntıdır. Çıkarımda ise verimsizlik, işletme için felaket olabilir. Örneğin, bir frontier modelinin eğitimi 100 milyon dolar maliyetinde olabilir. Ancak bu modeli günde 10 milyon sorgu yanıtlamak için dağıtmak, optimize edilmezse birkaç ay içinde bu maliyeti aşabilir. Bu nedenle, bir pazar değişimi görüyoruz ve çıkarım yatırımlarının eğitim yatırımlarını geçeceği öngörülüyor.

Mühendisler için bu, hedefleri değiştiriyor. Artık sadece işleme hızı (bu büyük veri setini ne kadar hızlı işleyebilirim?) için optimize etmiyoruz. Gecikme (tek bir tokenı ne kadar hızlı döndürebilirim?) ve eşzamanlılık (bir GPU’da kaç kullanıcıya hizmet verebilirim?) için optimize ediyoruz. Eğitim aşamasında hakim olan “kaba kuvvet” yaklaşımı, burada çalışmıyor. Bir gecikme sorununa daha fazla H100 ekleyemezsiniz, çünkü sorun bellek bant genişliğindedir.

Bellek Duvarı: Gerçek Tıkanma

Büyük Dil Modeli (LLM) çıkarımının az bilinen bir gerçeği, bunun genellikle hesaplama gücüyle sınırlı olmaması, bellek tarafından kısıtlanmasıdır. Eğitim sırasında, verileri büyük toplu işleriz ve GPU’nun hesaplama birimlerini tamamen kullanırız. Çıkarımda, özellikle gerçek zamanlı uygulamalar gibi sohbet botları veya ajanlar için, istekler sırayla gelir. Her bir token oluşturmak, modelin milyarlarca parametresini yüksek bant genişiteli bellek (HBM) üzerinden hesapleme çekirdeklerine yüklemesini gerektirir. Bu, “Bellek Duvarı”dır. Bu, bir Ferrari motoruna (GPU çekirdeği) sahip olmak ancak trafikte (sınırlı bellek bant genişliği) sıkışmak gibidir.

Bu zorluk, mühendislik ekiplerini, silikon seviyesine kadar sistem mimarisini yeniden düşünmeye zorluyor. Bu nedenle, Groq gibi Linear Processing Units (LPUs) ve özel Neural Processing Units (NPUs) gibi çiplerin yükselişini görüyoruz. Bu çipler, HBM tıkanmasını, devasa miktarlarda yonga üzerindeki SRAM kullanarak ve bellek erişimini basit bir algoritma yerine sürekli bir veri akışı olarak ele alarak aşmaya tasarlandı. Yazılım mühendisi için bu, “varsayılan olarak CUDA” döneminin sonunu işaret ediyor. Artık donanım bilinci olan kodu yazmalıyız, verilerin kablodan nasıl geçtiğini tam olarak anlamalıyız.

Yeni AI Verimliliği Cephesi

Donanımı her zaman değiştiremeyeceğimiz için, önümüzdeki mühendislik cephesi, yazılım optimizasyonunda yatıyor. Burada bazı en yenilikçi atılımlar gerçekleşiyor. Bilgisayarların nasıl nöral ağları uyguladığını ve çalıştırdığını yeniden tanımlayan tekniklerin bir Rönesans’ı yaşıyoruz.

• Sürekli Toplu İşleme: Geleneksel toplu işleme, “otobüs” dolana kadar bekler, bu da gecikmelere neden olur. Sürekli toplu işleme (vLLM gibi çerçeveler tarafından öncülük edilen), yeni isteklerin her iterasyonda GPU işleme trenine katılmasına veya ayrılmasına izin veren bir metro sistemi gibi çalışır. Bu, gecikmeWithout feda etmeden işleme kapasitesini en üst düzeye çıkarır ve derin işletim sistemi uzmanlığı gerektiren karmaşık bir zamanlama sorununu çözer.

• Spekülatif Çözme: Bu teknik, bir yanıt taslağı oluşturmak için küçük, hızlı ve ucuz bir modeli kullanır, जबक bir büyük, yavaş ve daha yetenekli model paralel olarak onu doğrular. Metin doğrulamanın metin oluşturmaktan çok daha az hesaplama gerektirdiği gerçeğine dayanır.
• KV Önbellek Yönetimi: Uzun sohbetlerde, “geçmiş” (Anahtar-Değer önbelleği) hızla büyür ve大量 GPU belleği tüketir. Mühendisler şimdi, işletim sistemlerindeki sanal bellek sayfalamasından esinlenen “PagedAttention” tekniğini uygulamaya başladılar. Bu teknik, belleği parçalara ayırır ve bunları sürekli olarak yönetir.

Etken Karmaşıklık

Standart çıkarım zor ise, Etken AI bunu üssümsüz şekilde zorlaştırır. Bir sohbet botu durumsuzdur: Kullanıcı sorar, AI cevaplar, işlem biter. Bir AI Aracısı ise bir döngüye sahiptir. Planlar, araçları çalıştırır, sonuçları gözlemler ve yineleme yapar. Mühendislik açısından bu, bir kâbus. Bu mimari değişikliği, birkaç temel zorluğu da beraberinde getirir:

1. Durum Yönetimi: Çıkarım motoru, ajanın düşünce sürecinin “durumunu” birden fazla adımda, bazen dakikalarca koruyabilmelidir.
2. Sonsuz Döngüler: Öngürülebilir bir ileri geçişin aksine, bir ajan mantık döngüsüne takılabiliyor. Olasılıksal kod için güçlü “bekçi köpekleri” ve “devre kesicileri” oluşturmak, tamamen yeni bir alan.
3. Değişken Hesaplama: Bir kullanıcı sorgusu, tek bir çıkarım çağrısını tetikleyebilirken, bir diğeri elli tane tetikleyebilir. Her bir isteğin aşırı değişkenliği taşıdığı bir altyapının yükünü yönetmek ve otomatik ölçekleme mantığını yönetmek, tamamen yeni bir sınıfın düzenlenmesini gerektirir.

Aslında, “modelleri sunmaktan” “bilişsel mimarileri düzenleme”ye geçiyoruz.

AI’ı Her Gün Kullanılan Cihazlara Getirmek

Son olarak, enerji ve ağ gecikme limitleri, çıkarımın sonunda kenara taşınmasını zorlayacaktır. Her akıllı ampul, otonom araç veya fabrika robotunun isteklerini bir veri merkezine yönlendirmeyi bekleyemeyiz. Burada mühendislik zorluğu, sıkıştırma. İnternette öğrenmiş bir modeli, bir tırnak ucundan küçük bir çipe, bir pil üzerinde çalışacak şekilde nasıl sığdırabilirsiniz?

Model kuantizasyonu (16-bit’ten 4-bit veya hatta 1-bit’e indirgeme) ve model damıtma (küçük bir öğrenci modelinin büyük bir öğretmen modelini taklit etmesini sağlama) gibi teknikler standart uygulama haline geliyor. Ancak gerçek zorluk, bu modelleri, her biri kendi donanım kısıtlamalarına sahip milyarlarca cihaza (Android, iOS, gömülü Linux, özel sensörler) dağıtmak.

Sonuç

Yaratıcı AI’ın “2. Gün” dönemine giriyoruz. 1. Gün, AI’ın şiir yazabileceğini göstermekti. 2. Gün, bu yeteneği daha güvenilir, daha uygun fiyatlı ve daha yaygın hale getirmek için mühendislik. Önümüzdeki on yılı tanımlayacak mühendisler, yeni model mimarileri icat edenler değil, milyarlarca tokeni saniyede sunarken enerji şebekesini eritmeden veya şirketi iflas ettirmeden nasıl hizmet vereceğini çözebilen sistem mühendisleri, çekirdek hata avcıları ve altyapı mimarları olacaklar. AI çıkarımı artık sadece bir çalışma zamanı ayrıntısı değil, ürünün ta kendisidir. Ve onu optimize etmek, bir sonraki büyük mühendislik zorluğudur.