Perplexity, Yapay Zekâ Ağ Geçitlerinin İşleyişini ve Sınırlarını Açıklayan Bir Rehber Yayımladı

Perplexity, yapay zekâ ağ geçitlerinin uygulamalar ile büyük dil modelleri arasındaki trafiği nasıl yönlendirdiğini, ölçtüğünü ve yönettiğini, ayrıca bir kuruluşun böyle bir ağ geçidine ne zaman ihtiyaç duyduğunu açıklayan bir rehberi 20 Ekim 2026’da yayımladı. “Yapay Zekâ Ağ Geçidi Nedir? LLM ve Ajan Trafiği için Yönlendirme, Maliyet Kontrolü ve Yönetişim Rehberi” başlıklı yazı, şirketin blogunda yayımlanan en yeni içerik oldu.

Tanım ve İsteklerin İşlenmesi

Rehber, yapay zekâ ağ geçidini, bir tarafta kuruluşun uygulamaları veya yapay zekâ ajanları, diğer tarafta bunların çağırdığı büyük dil modelleri ve araçlar arasında yer alan merkezi bir vekil katman olarak tanımlıyor. Yönlendirme, maliyet kontrolü, güvenlik politikalarının uygulanması ve kullanımın izlenmesi tek bir noktadan yürütülüyor. Her sağlayıcının (rehberde OpenAI, Anthropic, Google, açık kaynaklı modeller ve kurum içinde barındırılan uç noktalar sayılıyor) kendi SDK’sini, API anahtarlarını ve istek biçimini sunması nedeniyle ağ geçidi, standart bir isteği kabul edip çağrılan sağlayıcıya uygun biçime dönüştürüyor. Modeller, uygulama kodu yerine ağ geçidi yapılandırması üzerinden ekleniyor, değiştiriliyor veya kullanımdan kaldırılıyor.

Rehbere göre, ağ geçidinin temel URL’sine yönlendirilen her istek aynı dört adımdan geçiyor: Ağ geçidi, çağrıyı yapan tarafın kimliğini anahtar ve role göre doğrulayıp yetkilendiriyor; belirteç sınırları, bütçeler ve kişisel tanımlanabilir bilgilerin (PII) ayıklanması dâhil güvenlik önlemleri gibi politikaları uyguluyor; maliyet, gecikme veya kullanılabilirliğe göre bir modele ya da sağlayıcıya yönlendiriyor, yedek bir seçeneğe geçiş yapıyor ve isteği hedef sağlayıcının biçimine dönüştürüyor; harcama takibi ve hata ayıklama için model, belirteç sayıları, gecikme ve sonuç bilgilerini kaydediyor.

Yetenekler ve Belirtilen Sınırlamalar

Rehber altı yetenek alanını ele alıyor. Yönlendirme ve yedek sisteme geçiş, maliyet, gecikme veya yeteneğe göre model seçiyor; sağlayıcı devre dışı kaldığında ya da hız sınırına takıldığında istekleri otomatik olarak başka yöne yönlendiriyor. Belirteç temelli hız sınırları ve bütçeler, ekip, proje veya kullanıcı başına kullanımı sınırlıyor ve belirlenen tahsis miktarına ulaşıldığında istekleri reddediyor. Anlamsal önbellekleme, yeni istemleri anlam bakımından kayıtlı yanıtlarla eşleştiriyor ve istemler yeterince benzer olduğunda model çağrısı yapmadan kaydedilmiş yanıtı döndürüyor. Güvenlik önlemleri her istemi ve yanıtı inceliyor; sağlayıcıya ulaşmadan önce kişisel veya hassas verileri kaldırıyor, istem enjeksiyonu riskini azaltıyor ve istenmeyen içeriği filtreliyor. Gözlemlenebilirlik, hangi modelin çalıştığını, belirteç kullanımını, gecikmeyi ve hataları kaydediyor. Yönetişim özellikleri ise role dayalı model erişimi sağlıyor ve her çağrının denetim kaydını tutuyor.

Sınırlamalar konusunda rehber, ağ geçidinin gecikmeyi artırdığını, ancak LLM trafiğinde bu gecikmenin nispeten düşük olduğunu belirtiyor. Broadcom’un VMware Cloud Foundation ekibinin Haziran 2026’da gerçekleştirdiği bağımsız bir kıyaslama çalışmasına atıfta bulunan rehberde, ayarlanmış bir Envoy AI Gateway’in yönlendirme ve hız sınırlama açık, içerik incelemesi ise kapalıyken, aynı anda en fazla 224 kullanıcıya kadar her isteğe yaklaşık 2 milisaniye eklediği belirtiliyor. Aktarılan aynı kıyaslama, güvenlik önlemleri ile anlamsal önbelleklemenin onlarca ila yüzlerce milisaniye ekleyebileceğine de dikkat çekiyor. Rehber ayrıca ağ geçitlerinin modele ne sorulacağına karar vermediğini, konuşmaları hatırlamadığını, bir ajanın adım adım işleyişini yürütmediğini veya yanıt kalitesini değerlendirmediğini belirtiyor. Maliyet odaklı yönlendirmenin, daha ucuz bir modelin daha kötü yanıt vermesi hâlinde kaliteyi düşürebileceği uyarısında da bulunuyor.

Ağ Geçidi Türleri ve Ajan Trafiği

Rehber, yapay zekâ ağ geçitleri ile geleneksel API ağ geçitlerini çeşitli yönlerden karşılaştırıyor: istek sayısı sınırlarına karşılık belirteç ölçümü, tam eşleşmeli önbellekleme yerine anlamsal önbellekleme, anahtar kimlik doğrulamasına karşılık hassas veriler ve gizli talimatlar için istem incelemesi ve arka uç hizmetlerine yönlendirmeye karşılık maliyet, gecikme veya yeteneğe göre modellere yönlendirme. Ayrıca kapsamı daha dar iki terimi birbirinden ayırıyor: LLM ağ geçidi doğrudan model çağrısını yönetirken MCP ağ geçidi, Model Bağlamı Protokolü üzerinden bir ajanın erişebileceği araçları ve veri kaynaklarını yönetiyor. Rehberin belirttiğine göre LiteLLM, Portkey, Azure API Management ve Envoy AI Gateway artık MCP yönetişimi de sunuyor; bu nedenle söz konusu terimler, kontrolün örtüşen katmanlarını tanımlıyor.

Rehberin, bir görev tamamlanana kadar model çağrıları ve araç kullanımı döngüleri içinde çalışan sistemler olarak tanımladığı ajanlar söz konusu olduğunda ağ geçidi, ajanların başlattığı tüm trafiği kontrol edip izliyor, ajanın erişebileceği araçları ve veri kaynaklarını yetkilendiriyor ve tüm model ve araç çağrılarını bir denetim kaydına geçiriyor.

Atıfta Bulunulan Benimseme Verileri ve Dağıtım Rehberi

Talebi ölçmek için rehber, üçüncü tarafların verilerine atıfta bulunuyor. Cisco’nun AI Readiness Index 2025 raporuna göre, 500’den fazla çalışanı olan kuruluşlarda ankete katılan 8.039 üst düzey iş yöneticisinin %83’ü yapay zekâ ajanları geliştirmeyi veya devreye almayı planlıyor. Gartner ise 2026 sonuna kadar kurumsal uygulamaların %40’ında belirli görevlere yönelik ajanların bulunmasını bekliyor; bu oran 2025’te %5’in altındaydı. Maliyet konusunda rehber, ankete katılan finans yöneticilerinin %79’unun geçen yıl yapay zekâ bütçesini aştığını belirttiği DoiT/Sapio 2026 anketine ve kurumsal CIO’ların %93’ünün farklı modellerin farklı kullanım alanlarında daha iyi performans gösterdiğini, kuruluşların %81’inin iki veya daha fazla model sağlayıcısı kullanmayı beklediğini ve %55’inin LLM sağlayıcısını en az bir kez değiştirdiğini belirttiği Dataiku ve Harris Poll’un 2026 anketine atıfta bulunuyor.

Kılavuzda aktarılan bağımsız izleme verilerine göre, önde gelen LLM sağlayıcılarının çalışma süresi Mayıs 2026’da yaklaşık %99,85–%99,9 düzeyindeydi; kılavuz bu oranı yılda yaklaşık 9–13 saatlik kesinti olarak ifade ediyor. Cockroach Labs’ın 2026’da 1.125 üst düzey altyapı lideriyle yaptığı ankette, katılımcıların üçte ikisi yapay zekânın bir saat devre dışı kalmasının kuruluşlarına 100.000 doların üzerinde maliyet getireceğini tahmin etti. Kılavuz ayrıca OWASP’ın 2025 sıralamasında istem enjeksiyonunun en büyük LLM güvenlik riski olarak yer aldığını ve Zscaler ThreatLabz’ın, yapay zekâ uygulamalarına gönderilen kurumsal verilerin bir yılda %93 arttığını; yalnızca ChatGPT’nin 410 milyon veri kaybı önleme ihlalini tetiklediğini ortaya koyan bulgusunu aktarıyor.

Kılavuz, bir kuruluşun ağ geçidine ihtiyaç duyduğunu gösteren işaretleri sıralıyor: sağlayıcı anahtarlarının birden fazla kod tabanında sabit kodlanmış olması, finans ekiplerinin model faturalarını hangi kullanıma bağlayacağını belirleyememesi, tek bir sağlayıcıya bağımlılıktan kaynaklanan hız sınırı veya kesinti hataları, hassas veriler içeren istemlerin denetlenmemesi, ekipler arasında birbiriyle yarışan sağlayıcı entegrasyonları, MCP araç entegrasyonları ve güvenlik ya da uyumluluk durumuna ilişkin genel bir görünümün bulunmaması. Kılavuza göre tek bir prototip, düşük hacimli bir yan proje veya güvenlik gereksinimleri asgari düzeyde olan tek bir model uç noktasına yapılan çağrılar için ağ geçidi gerekli değildir. Adı geçen, kendi bünyesinde barındırılabilen seçenekler arasında özel bulut, Kubernetes veya şirket içi altyapıda kullanılabilen LiteLLM, Portkey ve Apache APISIX; yönetilen seçenekler arasında ise Cloudflare AI Gateway, Azure API Management ve Amazon Bedrock AgentCore Gateway yer alıyor. Kılavuz, tercih yaparken veri denetimi ve gizliliğin, PostgreSQL, Redis veya etcd gibi durum depoları da dâhil olmak üzere operasyonel yükün, dağıtım hızının ve entegrasyonların değerlendirilmesini öneriyor. SSS bölümünde “üretken yapay zekâ ağ geçidi” ile “yapay zekâ ağ geçidi” terimlerinin birbirinin yerine kullanılabildiği ve en iyi açık kaynaklı yapay zekâ ağ geçidi diye tek bir seçenek olmadığı belirtiliyor.