Ajan tabanlı yapay zekâ, zekâ sınırına ulaşmadan önce altyapı engeline takılacak

Modeller, onlardan beklenenleri sunma kapasitemizden daha hızlı gelişiyor.

Yapay zekâ ajanlarının geleceğine ilişkin tartışmaların çoğu, yetenekleri üzerine. Model güvenilir biçimde plan yapabilir mi? Kendi hatalarını telafi edebilir mi? Sonuçları olan bir eylemi gerçekleştirmesi için ona güvenilebilir mi?

Bunlar gerçek sorular. Ancak önümüzdeki birkaç yıl içinde ajanların büyük ölçekte kullanıma alınıp alınmayacağını belirleyecek sorular bunlar değil; çünkü daha yakın bir kısıt var ve bu kısıt çok daha hızlı ortaya çıkıyor. Ajanları çalıştırmak ekonomik açıdan zorlayıcı ve bu zorluk, herkesin eklemek istediği yeteneklerle birlikte artıyor.

Sohbet robotlarıyla ajanlar farklı iş yüklerine sahiptir

Sohbet amaçlı bir istek, tek bir gidiş dönüşten ibarettir. İstem gönderilir, belirteçler alınır ve bağlantı kapatılır. İstekleri toplu işleyebilir, öneki önbelleğe alabilir ve verimi tek bir sayıyla değerlendirebilirsiniz.

Bir ajan isteği ise bir oturumdur. Ajan bir aracı çağırır, bekler, sonucu okur, sırada ne yapacağına karar verir, başka bir aracı çağırır ve sonunda yanıt verir. Basit bir görevde bile aralarda bekleme süreleriyle birlikte altı ya da sekiz model çağrısı gerekebilir.

Bu fark, zekâyla hiçbir ilgisi olmayan bir nedenle önemlidir. Ajan, adımlar arasında durumu elinde tutar: konuşmayı, araçların çıktılarını ve birikmiş akıl yürütme sürecini. Sunum tarafında bu durum, KV önbelleği olarak GPU belleğinde tutulur ve oturum boyunca, ajanın sizin tarafınızda olmayan bir API’yi bekleyerek geçirdiği saniyeler de dâhil, belleği işgal eder.

Dolayısıyla kapasite ölçütü artık “saniyedeki istek sayısı” değil, “bellekte tutulan eşzamanlı oturum sayısı” olur. Saniyede bin sohbet isteğini rahatlıkla karşılayabilen bir sistem, aynı donanımda eşzamanlı olarak yalnızca birkaç düzine ajan oturumunu destekleyebilir.

En yüksek maliyeti bekleme yaratır

İşin rahatsız edici yanı şu: Bir araç çağrısı sırasında ajan hiçbir şey yapmaz. Belirteç üretilmez. Hesaplama gücü kullanılmaz. Ancak bu bağlamı bellekten çıkarmak ve yeniden hesaplamak onu bellekte tutmaktan daha maliyetli olacağından GPU belleği kullanılmaya devam eder.

En pahalı donanımınız, o sırada bir veritabanı sorgusunun yanıtını bekleyen bir istek için ayrılmış olur.

Geleneksel dağıtık sistemlerde bu sorunu uzun zaman önce çözdük: kaynağı serbest bırakır, yanıt geldiğinde işe kaldığımız yerden devam ederiz. Model sunumunda da aynı şeyi yapmak, KV önbelleğini ana belleğe veya diske aktarıp daha sonra geri yüklemek anlamına gelir; ancak aktarım maliyeti o kadar yüksektir ki çoğu sistem bunu yapmaya yanaşmaz. Tam da bu konudaki araştırmalar sürüyor; çünkü sorun maliyetli.

Sıralı yürütme, sorunu gereksiz yere büyütüyor

Ajan çerçevelerinin neredeyse tamamı araç çağrılarını art arda yürütür. Model hava durumunu sorgulamak ister, sonucu alır; takvimi kontrol etmek ister, sonucu alır; uçuş araması yapmak ister, sonucu alır.

Bu üç çağrı çoğu zaman birbirine bağlı değildir. Aynı anda yürütülebilirler. Sıralı yürütüldüklerinde gecikme süreleri toplanır; eşzamanlı yürütüldüklerinde ise toplam süre en uzun olan çağrının süresine eşit olur.

Bu, ajanlara özgü yeni bir gözlem değil; tek bir gecikme bütçesi içinde birden fazla model ya da hizmet çalıştıran her sistem için geçerli olan yapısal bir noktadır. Toplam gecikme, her aşamanın sürelerinin toplamı değil, bağımlılık grafiğindeki en uzun yol olmalıdır. Bu nokta ajanlar için daha da önemlidir; çünkü oturumun tamamı boyunca GPU belleğinde yer tutarlar. Dolayısıyla duvar saati süresini kısaltmak yalnızca kullanıcı deneyimini iyileştirmez, aynı zamanda donanıma sığabilecek oturum sayısını da doğrudan artırır.

Oturum süresini yarıya indirirseniz, modelde hiçbir değişiklik yapmadan aynı GPU’larla eşzamanlı kapasiteyi yaklaşık iki katına çıkarabilirsiniz.

Yeniden denemeler, kimsenin tasarlamadığı biçimde üst üste ekleniyor

Ajan çerçeveleri, altyapılarındaki HTTP kitaplıklarının varsayılan yeniden deneme ayarlarını devralır. Genellikle üç deneme yapılır.

Model de kendine özgü biçimde yeniden dener. Bir araç işe yaramayan bir sonuç döndürdüğünde, akıl yürütme modeli çoğu zaman farklı bir yaklaşım dener; bu da kimsenin yapılandırmadığı bir yeniden denemedir.

Bu iki durumu üst üste koyduğunuzda, kendi akıl yürütmesiyle üç yeni yaklaşım deneyen bir modelin etrafına eklenmiş üç denemelik bir politika, kimsenin kayda geçirmediği dokuz denemelik bir politikaya dönüşür. Bu denemelerin her biri, kendine ait belirteçleri ve GPU’da geçirdiği süreyle tam bir model çağrısıdır.

Bir bağımlılık yavaşladığında bu katlanma etkisi, performans düşüşünü hizmet kesintisine dönüştürür; üstelik her denemenin maliyeti, yeniden denenen bir REST çağrısının maliyetinden birkaç mertebe daha yüksektir.

Bu engel gerçekte nasıl görünür?

Yeteneklerin ulaştığı bir tavan değil. Daha sıradan bir şey: projeleri pilot aşamasından üretime geçiş eşiğinde durduran birim ekonomisi sorunu.

Pilot uygulama çalışır. Kullanıcı sayısı ondur, gecikme kabul edilebilir düzeydedir ve fatura yuvarlama hatası sayılacak kadar küçüktür. Sonra biri bunu on bin kullanıcı için hesaplar ve gereken GPU kapasitesi akıl almaz görünür; bunun nedeni modelin yavaş olması değil, eşzamanlı oturumların her birinin tüm ömrü boyunca bellek tutmasıdır ve bu süreye bekleme de dâhildir.

Birçok umut vadeden kurum içi demonun sessizce sona erdiği aşama budur.

Engeli Aşmak İçin Neler Yapılabilir?

Bunların hiçbiri sıra dışı değil; hepsi modellemeden ziyade altyapıyla ilgili:

Bağımsız araç çağrılarını eşzamanlı yürütün. Bugün uygulanabilen, yeni donanım gerektirmeyen ve tek başına en büyük kazanımı sağlayan yöntem.

Oturum süresini kapasite ölçütü olarak kabul edin. Saniyedeki belirteç sayısı değil. GPU kullanımı değil. Durumun bellekte ne kadar süre kaldığı ve kaç oturumun sığdığı.

Yeniden deneme sınırını her çağrı için ayrı ayrı değil, sistem genelinde belirleyin. Yeniden denemeleri toplam trafiğin küçük bir yüzdesiyle sınırlayan küresel bir üst sınır, yukarıda açıklanan katlanarak artan etkiyi önler. Google’ın SRE uygulamalarındaki aşırı yükü yönetme yaklaşımı ve Envoy’un yeniden deneme bütçeleri, bu fikri yapay zekâ yığınının dışında hayata geçirir.

Akıl yürütmeyi yürütmeden ayırın. Planlama için büyük bir model, mekanik adımlar içinse çok daha küçük bir model kullanın. Bir ajanın yaptığı işlerin çoğu, en gelişmiş modeli gerektirmez.

Bağlamı bellekten çıkarmayı düşük maliyetli hâle getirin. Nicemlenmiş KV önbelleği, sayfalanmış dikkat ve boşta bekleyen oturumlar için belleğin harici depolamaya aktarılması. Şu anda hizmet sunumu alanındaki en ilgi çekici çalışmalar burada yürütülüyor.

Modeller gelişmeye devam edecek. Bu konuda beklentiler sağlam görünüyor. Ajanların altyapının bir parçası hâline mi geleceği, yoksa demolar olarak mı kalacağı, kulağa daha az etkileyici gelen bir şeye bağlı: beklerken pahalı belleği tutan bir iş yükünü sunup sunamayacağımıza ve bir işlemler dizisinin toplam süresi yerine en uzun yolunun süresini ödemeyi başarıp başaramayacağımıza.

Son noktada sözünü ettiğim yürütme modelini — tek bir gecikme bütçesi içinde birbirine bağımlı model çağrılarının eşzamanlı yürütülmesini — “Makine Öğrenimi Sistemlerinde Model Yönlendirme için Asenkron Çıkarım Grafiği Yürütmesi” başlıklı çalışmamda yayımladım; çalışma International Journal of Computer Trends and Technology 72(10), Ekim 2024’te yer aldı. Üretken modellerin özellikle gecikmeye duyarlı karar sistemlerine entegrasyonu için “LLM Destekli Alım Satım ve Karar Platformları: Üretken Zekâyı Finansal Karar Sistemleriyle Buluşturmak” başlıklı çalışmaya bakabilirsiniz; çalışma Journal of Information Systems Engineering and Management 11(1s), 2026’da yayımlandı.