Yapay zeka modelleri ve platformları
SageMaker AI, İstekleri Kapsayıcı Tarafından Bildirilen GPU Önbellek Durumuna Göre Yönlendiriyor

Öne çıkan noktalarKV farkındalıklı yönlendirme, konteyner tarafından bildirilen tahliyeleri izleyerek…
Daha fazla göster
- KV farkındalıklı yönlendirme, konteyner tarafından bildirilen tahliyeleri izleyerek önbellek isabet oranlarını %3–48'den %80–93'e yükseltir.
- Model gecikmesi iyileşse bile yönlendirme ek yükü CloudWatch OverheadLatency'ye 14 ila 19 milisaniye ekler.
- Özelliğin herhangi bir yönlendirme etkisi göstermesi için en az iki örnek veya çıkarım bileşeni kopyası gerekir.
Amazon Web Services, 17 Kasım 2026’da istekleri kapsayıcı tarafından bildirilen önbellek durumuna göre yönlendirmek için KV önbelleğini dikkate alan yönlendirmeyi Amazon SageMaker AI gerçek zamanlı uç noktaları için kullanıma sundu. AWS, yük altındaki uzun istem testlerinde rastgele yönlendirmeye kıyasla ilk belirtece kadar geçen medyan sürenin %97’ye kadar azaldığını ve iş hacminin %234 arttığını bildiriyor.
KV önbelleği, önceki istem hesaplamalarını GPU belleğinde tutar. Böylece model, eşleşen girdi belirteçlerinin ilk işleme, yani ön doldurma (prefill) aşamasını tekrarlamak yerine bu hesaplamaları yeniden kullanabilir. Bu nedenle önbelleğin hangi konuma yerleştirildiği; sohbet asistanları, getirme destekli üretim ve uzun sistem istemleri kullanan ajanlar için önemlidir: Bir isteğin başka bir yere gönderilmesi, bir örneği başka bir GPU’nun zaten tuttuğu bağlamı yeniden hesaplamaya zorlayabilir.
Bildirilen Önbellek Durumuna Göre Yönlendirme
SageMaker AI’nin mevcut önek farkındalıklı stratejisi, önbelleğin konumunu sabit bir istek önekinden çıkarır. Önbellekten çıkarmaları algılayamaz; ayrıca büyüyen bir sohbetteki ilk turlar farklı karmalar oluşturup ayrı örneklere düşebilir. KV farkındalıklı yönlendirme ise önbellek girdileri depolandığında veya önbellekten çıkarıldığında model kapsayıcısından gelen olayları kullanır.
Hizmet, istemleri, belirteç kimliklerini, istek yüklerini veya KV tensörlerini depolamak yerine, örneklerle ya da çıkarım bileşeni kopyalarıyla eşleştirilmiş tek yönlü kısaltılmış karmalardan oluşan yönetilen bir dizin tutar. Gelen her istem belirteçlere ayrılır ve bu dizinde aranır. Uç nokta, önbellekteki en uzun eşleşmeyi örnek yüküyle karşılaştırır ve aşırı yoğun olan adayları devre dışı bırakır.
Arama yavaşsa, işe yarar bir eşleşme yoksa veya eşleşen tüm örnekler yoğunsa istek, en az sayıda bekleyen isteğe sahip olana yönlendirme stratejisine geçer ve yine de işlenir. Ölçek küçültme sırasında kaldırılan örneklere ait dizin girdileri silinir; yeni eklenen veya başka bir örneğin yerine geçen örneklerin önbellekleri ise boştur. Bu durum, önbelleğin geçici olarak yeniden oluşturulması ve soğuk başlangıç gecikmesiyle ilgili hususları beraberinde getirir.
Performans Kazanımları ve Yönlendirme Ek Yükü
AWS, 30 dakika süren testlerinde Llama 3.1 70B Instruct’ı yedi ml.p5.48xlarge örneğinde çalıştırdığını; testlerde 20 veya 100 simüle kullanıcı, çok turlu sohbetler, belge soru-cevap oturumları ve yaklaşık 64.000 belirtece ulaşan istemler kullanıldığını bildiriyor. Önbellek isabet oranı, rastgele yönlendirmede %3–48 iken KV farkındalıklı yönlendirmede %80–93’e çıktı. Sonuçlar iş yüküne bağlı olarak değişiyor; kısa istemlerde yeniden kullanılabilecek ön doldurma hesaplaması daha az olduğundan kazanım da en düşük düzeyde kaldı.
Yönlendirme araması, belirteçlere ayırma ve dizin işleme kaynaklı ek yük getirir: kısa istemlerde birkaç milisaniye, daha uzun istemlerde ise daha fazla. Standart, yalnızca metin içeren isteklerde hesaplanan belirteçler modele aktarılır ve ikinci kez belirteçlere ayırma işlemi önlenir. AWS’nin iki örnek üzerinde yaptığı ayrı Qwen3-4B-Instruct-2507 karşılaştırmasında, SageMaker AI’nin model kapsayıcısının dışında harcadığı süreyi ölçen ortalama CloudWatch OverheadLatency, KV farkındalıklı yönlendirmede 14 ila 19 milisaniye daha yüksek çıktı; buna karşın model gecikmesi ve ilk belirtece kadar geçen süre iyileşti.
Dağıtım Gereksinimleri ve Görünürlük
Kullanıma sunulduğu sırada bu özellik için SageMaker AI’ye yönelik AWS vLLM Deep Learning Container’ın vLLM 0.33.0 veya sonraki bir sürümünün ya da Amazon Linux server-sagemaker-cuda-v2.8.0 derlemesinin veya sonraki bir sürümünün kullanılması gerekir. Önek önbelleğe alma ve KV önbelleği olayları etkinleştirilmelidir. Müşteriler SM_VLLM_KV_EVENTS_CONFIG modelde … olarak ayarlar ve RoutingStrategy … değerini KV_AWARE istemci çağrılarını değiştirmeden üretim varyantında … olarak ayarlar.
Bu özellik, dinamik Düşük Sıralı Uyarlama (Low-Rank Adaptation) bağdaştırıcıları da dahil olmak üzere GPU destekli gerçek zamanlı tek modelli uç noktaları ve çıkarım bileşeni uç noktalarını destekler. Yönlendirme için tek modelli bir uç noktada en az iki örnek veya iki çıkarım bileşeni kopyası gerekir; tek bir hedef olduğunda bu ayarın yönlendirme üzerinde etkisi olmaz. İsteklerin, desteklenen çağırma API’leri üzerinden OpenAI ile uyumlu Completions veya Chat Completions yüklerini kullanması gerekir; ayrıca InvokeEndpointWithBidirectionalStream desteklenmez.
KV farkındalıklı yönlendirme, kullanıma sunulduğu sırada özel ölçümler veya yönlendirme kararlarına ilişkin müşteri hesabı günlükleri sağlamaz; yedek yönlendirmeler de SageMaker AI konsolunda ya da ölçümlerde gösterilmez. Müşteriler, istem belirteçlerine ilişkin ayrıntıları etkinleştirdikten sonra usage.prompt_tokens_details.cached_tokens öğesini inceleyebilir; ayrıca ayrıntılı gözlemlenebilirlik araçları ve CloudWatch üzerinden önbellek isabet oranı ile ilk belirtece kadar geçen süre gibi kapsayıcı ölçümlerini izleyebilir.
Bu özellik, desteklenen bir kapsayıcıyla SageMaker AI gerçek zamanlı çıkarımını destekleyen tüm ticari AWS Bölgelerinde kullanılabilir ve uç nokta örneklerinin ücreti dışında ek bir ücret alınmaz. AWS, kararlı ve paylaşılan istemler, kısa bağlamlar ve orta düzeydeki yükler için daha basit seçenek olarak önek farkındalıklı yönlendirmeyi sunmaya devam ediyor. KV farkındalıklı yönlendirme ise daha uzun ve yeniden kullanılabilir bağlamları, bellek baskısını ve sık önbellekten çıkarmaları ele alıyor. Böylece her iş yükü için somut bir altyapı dengesi ortaya çıkıyor: yeniden kazanılan GPU ön doldurma işlemleri ile istek başına ek yönlendirme yükü.












