Perplexity, LLM Ağ Geçitlerinin İşleyişini ve Üretim Ortamındaki Riskleri Açıklıyor

Perplexity, 27 Ekim 2026’da LLM ağ geçitlerine ilişkin uygulamalı bir kılavuz yayımladı. Kılavuzda mühendislik ekiplerine ara katmanın model çağrılarını nasıl yönlendirdiği, kimlik doğrulamasını nasıl yaptığı, çağrıları nasıl önbelleğe alıp kaydettiği anlatılıyor; ayrıca sağlayıcı kimlik bilgilerinin tek bir hizmette toplanmasının yol açtığı güvenlik ve güvenilirlik riskleri sıralanıyor.

Ağ Geçidinin Tanımı ve Sınıflandırması

Kılavuz, LLM ağ geçidini model çağrıları için kullanılan bir ters vekil sunucu olarak tanımlıyor: Uygulamalar, OpenAI, Anthropic veya Google gibi sağlayıcılara doğrudan istek göndermek yerine ağ geçidine gönderiyor; ağ geçidi de bu istekleri operatörün kurallarını uygulayarak ilgili sağlayıcılara iletiyor. Kılavuz, bu kategoriyi araçların dağınıklığına bir çözüm olarak sunuyor ve Eylül 2026’da Reddit’in r/LLMDevs bölümünde yayımlanan bir gönderiyle başlıyor. Gönderide bir mühendis, iş yerindeki herkesin Claude, OpenAI, AWS Bedrock ve diğer çıkarım sağlayıcıları için kendi anahtarlarına sahip olduğu bir ortamı anlatıyor.

Kılavuzdaki karşılaştırma tablosu dört ağ geçidi türünü birbirinden ayırıyor. API ağ geçidi, arka uç hizmetlerinin önünde yer alır ve istemcinin kimliğinin doğrulanıp doğrulanmadığına ve hız sınırına tabi olup olmadığına karar verir. LLM ağ geçidi, model sağlayıcılarının önünde yer alır; isteğin hangi modele gönderileceğine, ücretin kime yansıtılacağına ve isteğe yanıt verilip verilmeyeceğine karar verir. MCP ağ geçidi, bir ajanın belirli argümanlarla belirli bir aracı çağırıp çağıramayacağına karar verir. Kılavuz, bu rollerin bir kısmını bir araya getiren tedarikçi ürünlerini tanımlamak için “AI ağ geçidi” terimini kullanıyor.

Altı Adımlı İstek Yaşam Döngüsü

Kılavuz, bir isteğin uygulamadan modele gidip geri dönme sürecini izleyerek işleyişi açıklıyor. Önce uygulama, çoğu zaman OpenAI ile uyumlu bir biçimde hazırlanmış sohbet isteğini ağ geçidinin uç noktasına gönderiyor. Ağ geçidi, genellikle bir ekibe veya ürüne tahsis edilen sanal anahtar gibi kimlik bilgilerini doğruluyor; giriş korumaları devreye alınmışsa istemleri hassas veriler veya modelin talimatlarını geçersiz kılma girişimleri açısından tarayabiliyor. Önbelleğe alma etkinse, koşulları karşılayan eşleşen bir isteğe kaydedilmiş bir yanıtla karşılık verilebiliyor. Bazı ağ geçitleri, isteklerin birebir aynı olmasını değil benzer olduklarının değerlendirilmesini esas alan anlamsal önbelleğe alma özelliği de sunuyor. Ardından ağ geçidi, yapılandırmasında eşleşen rotayı buluyor ve ilk sağlayıcının zaman aşımına uğraması durumunda yedek bir sağlayıcıya geçebiliyor. İsteği seçilen sağlayıcının biçimine dönüştürüyor, giden çağrının kimliğini doğruluyor ve yanıtı uygulamanın kullanabileceği biçime geri çeviriyor. Günlük kaydı etkinleştirilmişse çağrıyı kimin yaptığını, hangi modelin yanıt verdiğini, belirteç sayılarını, gecikme süresini ve maliyeti kaydediyor.

Güvenlik ve Güvenilirlik Riskleri

Kılavuzun temel uyarısı, ağ geçidinde çok sayıda kimlik bilgisinin toplanması. Microsoft’un güvenlik ekibi, LiteLLM dağıtımının hangi bilgileri barındırabileceğini veya alabileceğini sıraladı: sağlayıcı API anahtarları, LiteLLM ana anahtarı, sanal anahtar kayıtları, veritabanı bağlantı dizeleri, yönlendirme yapılandırması ve kiracı politikası verileri. Microsoft, 26 Ağustos 2026 tarihli gönderisinde, saldırganların ağ geçidinin çalışma ortamından kimlik bilgilerini ele geçirdiği gözlemlenmiş bir LiteLLM ağ geçidi ihlalini anlattı.

13 Ekim 2026’da Check Point Research, LiteLLM’de yüksek riskli iki güvenlik açığı olduğunu duyurdu: Kimliği doğrulanmış kullanıcıların (salt okunur yetkiye sahip olanlar dâhil) yönetim işlevlerine erişmesine ve ağ geçidinin kontrolünü ele geçirmesine olanak tanıyan bir erişim denetimi açığı olan CVE-2026-35029 ve kullanıcıların ağ geçidi isteklerini saldırganın kontrolündeki bir sunucuya yönlendirerek yapay zekâ sağlayıcılarının API anahtarlarını ele geçirmesine imkân veren bir sunucu tarafı istek sahteciliği açığı olan CVE-2026-59823. Her iki açık da LiteLLM’in 1.83.9 sürümünde giderildi. Check Point, LiteLLM’in ayda 97 milyon kez indirildiğini ve GitHub’da 59.000’den fazla yıldızı bulunduğunu bildirdi; LiteLLM’e koordineli bildirim sürecini Ekim 2025’te başlattığını da belirtti.

Kılavuz, ekiplere güvenlik kontrolleri için bir hata politikası belirlemelerini de söylüyor. Kancaları, ağ geçidinin içerikleri bir karar vermesi için harici bir tarayıcıya ilettiği istek akışındaki noktalar olarak açıklıyor. Portkey belgelerinde before_request_hooks ve after_request_hooks adlarının kullanıldığını, TrueFoundry’nin ise MCP araç çağrılarından önce ve sonra denetimler ekleyerek toplam dört kanca çalıştırdığını belirtiyor.

Güvenilirlik konusunda kılavuz, belgelenmiş hizmet kesintilerine dikkat çekiyor. Cloudflare’ın 12 Haziran 2025’teki kesintiye ilişkin kendi açıklamasında, AI Gateway’in istemci ve dahili yapılandırmalar için Workers KV’ye bağımlı olması nedeniyle AI Gateway’deki hata oranlarının isteklerin %97’sine kadar yükseldiği belirtiliyor; genel kesinti 2 saat 28 dakika sürdü. OpenRouter’ın 17 ve 19 Şubat 2026’daki kesintilere ilişkin olay sonrası raporunda, üçüncü taraf bir önbellekleme bağımlılığının arızalanmasının ardından olayların 38 ve 35 dakika sürdüğü, “Kullanıcı bulunamadı” anlamına gelen 401 “User not found” hatalarına yol açtığı ve altyapı sorunları yetkilendirme sorgularını engellediğinde 401 yerine 503 hataları döndürülmesi ile devre kesiciler dâhil çeşitli düzeltmeler yapıldığı belirtiliyor.

Dağıtım Seçenekleri, Fiyatlandırma ve Sağlayıcıya Özgü Özellikler

Kılavuz dört dağıtım seçeneği sunuyor. Ekipler, istekleri kabul eden, çağrıyı yapanın anahtarını denetleyen, sağlayıcı kimlik bilgisini ekleyen, çağrıyı ileten ve sonucu kaydeden yalın bir ağ geçidini kendi bünyelerinde geliştirebilir veya LiteLLM, Bifrost ve Helicone gibi seçenekler arasından açık kaynaklı bir ağ geçidini kendi sunucularında barındırabilir. Yönetilen ağ geçitleri arasında Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter ve Portkey’in barındırılan ağ geçidi yer alıyor. Dördüncü seçenek, şirketin hâlihazırda kullandığı bir API ağ geçidini genişletmek; bu kapsamda Kong AI Gateway, Apigee’nin AI ağ geçidi politikaları ve Azure API Management’ın AI ağ geçidi örnek gösteriliyor.

Maliyet açısından kılavuz, LLM ağ geçitlerinin ücretsiz açık kaynaklı yazılımlardan, ayda yaklaşık 50 dolardan başlayan ücretli planlara ve özel kurumsal fiyatlandırmaya kadar uzandığını; bazı hizmetlerin bunun yerine yüzde üzerinden ücret aldığını belirtiyor. Örneğin, kılavuza göre OpenRouter’ın Standard planı kredi satın alımlarına yüzde 5,5 ekliyor.

Kılavuz, son olarak sağlayıcılara özel yanıtlar sunuyor. Amazon Bedrock AgentCore Gateway’in, AWS’nin “inference targets” adını verdiği yöntemle model çağrılarını desteklediğini; böylece uygulamaların Amazon Bedrock, OpenAI ve Anthropic dâhil sağlayıcılara tek bir uç nokta üzerinden erişebildiğini belirtiyor. Ayrıca Perplexity’nin kendi Agent API’sinin OpenAI’ın Responses API arayüzünü desteklediğini, böylece ekiplerin mevcut OpenAI istemci kitaplıklarını yeniden kullanabildiğini; Agent API’nin kullanıcıların farklı sağlayıcılara ait modeller de dâhil olmak üzere en fazla beş modeli tercih ettikleri sırayla listelemesine imkân tanıdığını söylüyor. Kılavuzda ayrıca, desteklenen ajanlara yerel kancalar aracılığıyla bağlanan ve kabuk komutları ya da dosya yazma işlemleri gibi planlanan eylemleri çalıştırılmadan önce inceleyebilen Perplexity’nin açık kaynaklı Numbat’ından da söz ediliyor. Eylemleri engelleme seçeneği isteğe bağlı ve varsayılan olarak kapalı.