Yapay zeka modelleri ve platformları
AWS, SageMaker JumpStart’a Kalite, Hız ve Maliyet Sıralamaları Ekliyor

Öne çıkan noktalarAWS, kıyaslama puanlarını ayrı tutar; böylece ekipler uygulamaları için önemli olan…
Daha fazla göster
- AWS, kıyaslama puanlarını ayrı tutar; böylece ekipler uygulamaları için önemli olan teste öncelik verebilir.
- Sıralamalar, model kalitesinin evrensel bir sıralaması yerine seçilen bir dağıtım yapılandırmasını yansıtır.
- Saatlik maliyet tahmini veri transferi, depolama ve indirimleri hariç tutar; bu nedenle tam fatura değildir.
Amazon Web Services, 18 Kasım 2026’da Amazon SageMaker JumpStart Model Liderlik Tablosu’nu kullanıma sundu. Böylece SageMaker Studio kullanıcıları, 70’ten fazla modelin kıyaslama sonuçlarını, yanıt performansını ve tahmini bulut sunucusu fiyatlarını tek bir görünümde inceleyebiliyor.
Bu yenilik, JumpStart’ın yüzlerce açık ağırlıklı temel model içeren kataloğunun yol açtığı bir seçim sorununu ele alıyor: yayımlanan sonuçlar farklı istemler, ayarlar ve donanımlarla elde edilmiş olabiliyor; dağıtım sırasındaki davranış ve maliyet de yapılandırmaya göre değişiyor. Yeni Liderlik Tablosu görünümü, JumpStart temel modelleri sayfasında Kategoriler ve Tüm modeller seçeneklerinin yanında yer alıyor; doğrudan büyük dil modeli sıralamalarını açıyor ve JumpStart’ın arama ve filtrelerini koruyor. İlk sürümde Meta, Google, Qwen, IBM ve Arcee modelleri yer alıyor. Tablo, paylaşılabilir bir URL’ye de sahip.
Tutarlı Testler ve Dağıtım Denetimleri
AWS, test ettiği modellerin her birini ortak bir değerlendirme altyapısı ve ayarlarıyla kıyasladığını belirtiyor. Üç test şunlar: çok adımlı akıl yürütmeyi ölçen BIG-Bench Hard; web aramalarıyla yanıtlanması zor, lisansüstü düzeyde bilim soruları içeren GPQA Diamond; daha geniş bilgi ve akıl yürütme becerilerini daha zor çoktan seçmeli sorularla ölçen MMLU-Pro.
Puanlar birleştirilerek tek bir bileşik puana dönüştürülmüyor; böylece kullanıcılar uygulamaları açısından en önemli testi önceliklendirebiliyor. Üç kıyaslamanın da tümünde yüksek puan daha iyi sonuç anlamına geliyor.
AWS, operasyonel ölçümler için müşterilerin kullanabildiği JumpStart dağıtım yapılandırmalarının aynısını kullanan uç noktalara standartlaştırılmış bir iş yükü gönderiyor. Tablo; ilk belirtece kadar geçen süreyi, istek başına saniyedeki belirteç sayısı cinsinden iş hacmini ve saatlik tahmini bulut sunucusu maliyetini gösteriyor. Bu değerler iki denetime bağlı: varsayılanı Maksimum Bağlam olan bir kullanım senaryosu profili ve varsayılanı Dengeli olan bir optimizasyon hedefi. Profilin değiştirilmesi, kalite puanlarını etkilemeden performans ve maliyet sonuçlarını değiştiriyor.
Dengeli seçeneği, hem saatlik fiyatı hem de üretim hızını hesaba katarak belirteç başına tahmini maliyeti en düşük yapılandırmayı seçiyor. Diğer hedefler saatlik bulut sunucusu fiyatı en düşük, ilk belirtece kadar geçen süre en kısa ya da iş hacmi en yüksek yapılandırmayı seçiyor; bazı yüksek iş hacimli yapılandırmalarda spekülatif kod çözme kullanılıyor. Bu nedenle sıralama, modellerin evrensel bir sıralaması değil, belirli bir dağıtım yapılandırmasına özgü.
Seçim Dağıtım Aşamasında da Sürdürülüyor
Ekipler önce lisans, sağlayıcı veya girdi ve çıktı kipliği gibi gereksinimleri karşılamayan modelleri eleyebilir, ardından kalan modelleri seçtikleri kıyaslamaya göre sıralayabilir. Mavi ısı haritaları, sütunlardaki daha güçlü sonuçları öne çıkarırken ayarlanabilir sütunlar ve sabitlenmiş model adları daha geniş karşılaştırmaları kolaylaştırıyor.
Bir model seçildiğinde dağıtım seçenekleri ve sunucusuz özelleştirme destekleniyorsa özelleştirme denetimleri açılıyor. SageMaker JumpStart belgelerinde, özelleştirme, ince ayar ve değerlendirmenin her model için sunulmadığı belirtiliyor.
AWS, farklı bir yapılandırmanın kaliteyi, gecikmeyi, iş hacmini ve maliyeti değiştirebileceğinden, karşılaştırma sırasında kullanılan kullanım senaryosu profili ve optimizasyon hedefiyle dağıtım yapılmasını öneriyor. Saatlik tahmin, yalnızca yapılandırmanın varsayılan bulut sunucusu türü için kullandıkça öde tarifesinden hesaplanan SageMaker bulut sunucusu ücretini kapsıyor. Veri aktarımı, depolama, çıkarım bileşeni ücretleri, Rezerve Edilmiş Bulut Sunucusu indirimleri ve AWS Savings Plans bu tutara dahil değil. Bu nedenle liderlik tablosundaki fiyat sütunu toplam faturayı yansıtmıyor.
Kıyaslamaların Sınırları ve Olası Genişlemeler
AWS, kısa bir aday listesi oluşturmak için tablonun kullanılmasını, ardından üretime geçmeden önce en iyi iki ya da üç adayın kurumun kendi verileri ve istemleriyle test edilmesini öneriyor. Puanlar her kıyaslama içinde karşılaştırılmalı; küçük farklar çalıştırmalar arasındaki değişkenlikten kaynaklanabileceğinden birbirine yakın sonuçlar eşit kabul edilmeli. Akıl yürütme yapan ve yapmayan modeller farklı üretim parametreleri kullanıyor. Ayrıca akıl yürütme modellerinin GPQA Diamond sonuçları 10 geçişin ortalaması olarak hesaplanıyor; bu nedenle bu model türleri arasındaki karşılaştırmalar yaklaşık nitelikte.
AWS, seçilmiş özel merkezler için liderlik tabloları, nesne algılama, metin gömmeleri ve görüntü anlama alanlarında ek görev tabloları ile daha fazla model ve kıyaslama üzerinde çalıştığını belirtiyor. Bir puanın eksik olması, kalitenin düşük olduğu anlamına gelmiyor; bazı modeller henüz kıyaslanmadı ve ilk sürümdeki kıyaslamalar büyük dil modellerine odaklanıyor.
JumpStart kullanıcıları artık model seçimine, modelin çalışacağı hizmetin içindeki dağıtıma özgü kanıtlarla başlayabiliyor. Geriye daha dar kapsamlı, ancak yine de önemli bir karar kalıyor: modelin kıyaslamadaki üstünlüğünün kurumun kendi iş yükünde de geçerli olup olmadığı ve elde edilen herhangi bir kazanımın ölçülen yanıt davranışını ve bulut sunucusu maliyetini haklı çıkarıp çıkarmadığı.












