Yapay zeka modelleri ve platformları

AWS, SageMaker AI Çıkarım Uç Noktaları için Varsayılan İzlemeyi Etkinleştiriyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarVarsayılan izleme, kullanıcıların önceden eşik değerleri belirlemesini gerektirmeden…
Daha fazla göster
  • Varsayılan izleme, kullanıcıların önceden eşik değerleri belirlemesini gerektirmeden gecikme sapmasını ve boşta kalan GPU'ları işaretler.
  • Bulgular, üretim değişikliklerinden önce alternatifleri ayrı hesaplama kaynaklarında kıyaslayan ajan tabanlı bir SageMaker Studio iş akışı başlatır.
  • İzleme ek GPU maliyeti olmadan çalışır ve OPT_OUT_TRACKING ortam değişkeni aracılığıyla devre dışı bırakılabilir.

Amazon Web Services (AWS), uygun Amazon SageMaker AI üretken yapay zekâ çıkarım uç noktaları için 19 Kasım 2026’da varsayılan izlemeyi etkinleştirerek gecikme sapması, atıl GPU kapasitesi ve gözden kaçan sunum optimizasyonlarına ilişkin AWS Health bulgularını kullanıma sundu.

İzleme, vLLM sunum kapsayıcıları ve GPU bulut sunucuları kullanan uç noktalarda herhangi bir kurulum gerektirmiyor. İstek veya yanıt içeriklerini değil, uç nokta düzeyindeki gecikmeyi, GPU kullanımını ve sunum yapılandırmasını okuyor. Amaç; trafik, istem uzunlukları, sunum yazılımı ve modelin kaynak gereksinimleri değiştikçe dağıtım sonrasında ortaya çıkan kademeli sapmaları belirlemek.

Bu duyuru, AWS’nin 22 Nisan 2026’da kullanıma sunduğu optimize edilmiş üretken yapay zekâ çıkarım önerilerini genişletiyor. Bu iş akışı, kullanıcıların hedef olarak maliyet, gecikme veya iş hacmini seçmesine, en fazla üç bulut sunucusu türünü karşılaştırmasına ve NVIDIA AIPerf ile gerçek GPU’larda yapılandırmaları kıyaslamasına olanak tanıyor. Ayrıca mevcut üretim uç noktalarında kıyaslama yapılmasını da destekliyor; yeni katman ise kullanıcıların başlattığı bu karar sürecine sürekli gözlem ve bildirimler ekliyor.

İzleme Neleri Tespit Ediyor?

Gecikme sapmasına ilişkin bulgular, ortanca (p50) uçtan uca gecikmeyi ve ilk belirtece kadar geçen ortanca süreyi uç noktanın önceki haftadaki değerleriyle karşılaştırıyor. Başlangıç değeri geçmiş verilere dayandığından kullanıcıların önceden bir eşik belirlemesi gerekmiyor. Bunun sonucunda yapılan kıyaslama, tensör paralelliği ayarlarını ve alternatif bulut sunucusu türlerini veya boyutlarını test ediyor.

Diğer bulgular; kapasitesinin çok altında çalışan GPU’ları, desteklendiği hâlde devre dışı bırakılmış spekülatif kod çözümlemeyi, ayarlanmamış GPU çekirdeklerini ve daha yeni performans iyileştirmelerini ya da kritik ve yüksek önem dereceli güvenlik açıklarına yönelik yamaları içermeyen sunum kapsayıcılarını kapsıyor. Kullanılmayan kapasite söz konusu olduğunda kıyaslama, gözlemlenen en yoğun trafik düzeyinde daha ucuz bulut sunucusu türlerini ve daha küçük boyutları test ediyor. Yapılandırma testleri, duruma göre mevcut kurulumu spekülatif kod çözümleme etkinleştirilmiş, çekirdekleri ayarlanmış veya kapsayıcısı güncellenmiş seçeneklerle karşılaştırıyor.

AWS’nin örnekleri, tüm filoya ilişkin ölçümler değil, adım adım açıklayıcı örneklerdir: Örneklerden birinde ilk belirtece kadar geçen ortanca sürenin haftadan haftaya yaklaşık 200 milisaniye arttığı, diğerindeyse haftanın büyük bölümünde en yoğun çalışan GPU’nun bile kapasitesinin yalnızca %12’sini veya daha azını kullandığı bildiriliyor.

Sağlık Uyarısından Kıyaslamaya

Bulgular AWS Health ve e-posta aracılığıyla iletiliyor. Her uç nokta için bir seferde geçerli tüm bulguları kapsayan en fazla bir bildirim gönderiliyor; AWS, bir hesabın aynı anda alabileceği bildirim sayısını sınırlıyor ve bildirimler uç noktanın bulunduğu AWS Bölgesi’ne özel oluyor.

Bildirimde neyin gözlemlendiği, bunun gecikme, kapasite veya maliyet açısından neden önemli olduğu ve önerilen bir eylem belirtiliyor; tahminler açıkça tahmin olarak etiketleniyor. Bu, tamamlanmış bir kıyaslama değil, bir gözlem niteliği taşıyor. Eylem seçildiğinde, uç nokta ve gözlemlenen trafiği önceden doldurulmuş olarak sunan ajan tabanlı bir deneyim SageMaker Studio’da açılıyor.

Kullanıcı onay verdikten sonra ajan, uç noktanın modelini ve ölçümlerinden türetilen bir trafik profilini kullanan, düzenlenebilir bir SageMaker Python SDK not defteri oluşturuyor. Not defteri, öneri işini AWS Health olayıyla etiketleyerek sonuçların ilgili bulguyla ilişkilendirilebilmesini sağlıyor. İş, ayrı işlem kaynakları kullanarak mevcut yapılandırmayı yanıt süresi, iş hacmi ve milyon belirteç başına maliyet bakımından alternatiflerle karşılaştırıyor; kullanıcı bir sonucu uygulayana kadar üretim ortamında değişiklik yapılmıyor.

AWS, seçilen yapılandırmanın önce tek bir üretim varyantına uygulanmasını ve geri alma olanağı için mevcut yapılandırmanın kullanılabilir durumda tutulmasını öneriyor. Bir bulgunun beklemeye alınması veya yok sayılması da olağan bir sonuç; bildirim AWS Health olay geçmişinde kalıyor.

Maliyetler ve Devre Dışı Bırakma Seçenekleri

İzleme ek GPU maliyeti doğurmuyor. Kıyaslamalarda standart SageMaker AI ücretleri veya mevcut bir makine öğrenimi rezervasyonu kullanılıyor. Bir bulguya göre işlem yapmak içinse SageMaker Studio etki alanı, öneri işlerini çalıştırıp uç noktaları güncellemeye yönelik AWS Identity and Access Management izinleri ve yeterli kıyaslama bulut sunucusu kotası gerekiyor.

Müşteriler bildirimlerin iletimini AWS User Notifications aracılığıyla yönetebilir ve isteğe bağlı olarak aylık çalıştırmalar gibi yinelenen öneriler planlayabilir. Bu OPT_OUT_TRACKING ortam değişkenini bir model kapsayıcısında ayarlamak, söz konusu uç noktanın motor ölçümlerinin, GPU ölçümlerinin ve başlatma yapılandırması ayrıntılarının toplanmasını durdurur ve bu uç noktaya ilişkin bildirimleri engeller.

Bir optimizasyonun desteklenmesi, fayda sağlayacağının garantisi değildir. AWS, spekülatif kod çözümleme sonuçlarının eşzamanlılık düzeyine, istem ve yanıt uzunluklarına bağlı olduğunu ve yoğun ve yoğun olmayan trafik dönemlerinde farklılık gösterebileceğini belirtiyor. Bu ayrım, özelliğin pratikteki rolünü ortaya koyuyor: Varsayılan telemetri uyarı sağlarken kıyaslama, olası bir tasarrufun veya hız artışının önemli trafik koşullarında geçerli olup olmadığını belirliyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.