Model dan platform AI
AWS Menambahkan Peringkat Kualitas, Kecepatan, dan Biaya ke SageMaker JumpStart

Poin utamaAWS memisahkan skor benchmark agar tim dapat memprioritaskan pengujian yang penting…
Lihat selengkapnya
- AWS memisahkan skor benchmark agar tim dapat memprioritaskan pengujian yang penting bagi aplikasi mereka.
- Peringkat mencerminkan konfigurasi penerapan yang dipilih, bukan urutan universal kualitas model.
- Perkiraan biaya per jam tidak mencakup transfer data, penyimpanan, dan diskon sehingga bukan merupakan tagihan penuh.
Pada 18 November 2026, Amazon Web Services memperkenalkan Papan Peringkat Model Amazon SageMaker JumpStart, yang memberikan satu tampilan bagi pengguna SageMaker Studio untuk melihat hasil tolok ukur, kinerja respons, dan perkiraan harga instans untuk lebih dari 70 model.
Peluncuran ini menjawab masalah pemilihan yang muncul karena katalog JumpStart memuat ratusan model fondasi berbobot terbuka: hasil yang dipublikasikan dapat diperoleh dari perintah, pengaturan, dan perangkat keras yang berbeda, sementara perilaku penerapan dan biayanya bervariasi menurut konfigurasi. Tampilan Papan Peringkat yang baru berada di samping Kategori dan Semua model pada halaman model dasar JumpStart, langsung menampilkan peringkat model bahasa besar, serta mempertahankan fitur pencarian dan filter JumpStart. Cakupan peluncuran meliputi Meta, Google, Qwen, IBM, dan Arcee, dan papan peringkat ini memiliki URL yang dapat dibagikan.
Pengujian yang Konsisten dan Kontrol Penerapan
AWS menyatakan bahwa setiap tolok ukur dijalankan dengan perangkat evaluasi dan pengaturan yang sama pada semua model yang diuji. Tiga pengujian tersebut adalah BIG-Bench Hard, yang mencakup penalaran bertahap; GPQA Diamond, yang menggunakan pertanyaan sains tingkat pascasarjana yang sulit dijawab melalui pencarian web; dan MMLU-Pro, yang menguji pengetahuan dan penalaran yang lebih luas dengan pertanyaan pilihan ganda yang lebih sulit.
Skor setiap pengujian tetap terpisah dan tidak digabungkan menjadi satu skor gabungan, sehingga pengguna dapat memprioritaskan pengujian yang paling relevan dengan aplikasi mereka. Skor yang lebih tinggi lebih baik pada ketiga tolok ukur.
Untuk mengukur kinerja operasional, AWS mengirimkan beban kerja terstandardisasi ke titik akhir menggunakan konfigurasi penerapan JumpStart yang sama dengan yang tersedia bagi pelanggan. Papan peringkat ini melaporkan waktu hingga token pertama, throughput per permintaan dalam token per detik, dan perkiraan biaya instans per jam. Angka-angka tersebut bergantung pada dua kontrol: profil kasus penggunaan, yang secara bawaan menggunakan Konteks Maksimum, dan sasaran pengoptimalan, yang secara bawaan menggunakan Seimbang. Mengubah profil akan mengubah hasil kinerja dan biaya, tetapi tidak mengubah skor kualitas.
Seimbang memilih konfigurasi dengan perkiraan biaya per token terendah, dengan memperhitungkan harga per jam dan kecepatan pembuatan teks. Sasaran lainnya memilih harga instans per jam terendah, waktu hingga token pertama terendah, atau throughput tertinggi; beberapa konfigurasi throughput menggunakan dekode spekulatif. Dengan demikian, peringkat ini berlaku khusus untuk konfigurasi penerapan tertentu, bukan urutan model yang universal.
Pemilihan Berlanjut ke Penerapan
Tim dapat terlebih dahulu mengecualikan model yang tidak memenuhi persyaratan seperti lisensi, penyedia, atau modalitas masukan dan keluaran, lalu mengurutkan model yang tersisa berdasarkan tolok ukur pilihan. Peta panas biru menyoroti hasil yang lebih baik di setiap kolom, sedangkan kolom yang dapat disesuaikan dan nama model yang dibekukan mendukung perbandingan yang lebih luas.
Memilih model akan membuka opsi penerapan dan, jika penyesuaian tanpa server didukung, kontrol penyesuaian. Dokumentasi SageMaker JumpStart menyebutkan bahwa penyesuaian, penyempurnaan, dan evaluasi tidak tersedia untuk semua model.
AWS menyarankan agar penerapan menggunakan profil kasus penggunaan dan sasaran pengoptimalan yang sama seperti saat perbandingan, karena konfigurasi yang berbeda dapat mengubah kualitas, latensi, throughput, dan biaya. Perkiraan biaya per jam hanya mencakup instans SageMaker dengan tarif sesuai permintaan untuk jenis instans bawaan pada konfigurasi tersebut. Biaya transfer data, penyimpanan, komponen inferensi, diskon Reserved Instance, dan AWS Savings Plans tidak termasuk dalam angka tersebut. Karena itu, kolom harga pada papan peringkat tidak mencerminkan keseluruhan tagihan.
Batasan Tolok Ukur dan Kemungkinan Perluasan
AWS menyarankan penggunaan papan peringkat untuk menyusun daftar pendek, lalu menguji dua atau tiga kandidat teratas dengan data dan perintah milik organisasi sebelum digunakan dalam produksi. Skor sebaiknya dibandingkan dalam tolok ukur yang sama, dan hasil yang berdekatan sebaiknya dianggap seri karena perbedaan kecil dapat mencerminkan variasi antarpengujian. Model penalaran dan nonpenalaran menggunakan parameter pembuatan teks yang berbeda, sedangkan hasil GPQA Diamond untuk model penalaran dirata-ratakan dari 10 pengujian. Karena itu, perbandingan antara kedua jenis model tersebut hanya bersifat perkiraan.
AWS menyatakan sedang menjajaki pembuatan papan peringkat untuk hub privat terkurasi, papan tugas tambahan untuk deteksi objek, penyematan teks, dan pemahaman gambar, serta penambahan model dan tolok ukur. Skor yang tidak tersedia bukan berarti kualitasnya buruk; beberapa model memang belum menjalani pengujian tolok ukur, dan tolok ukur dalam peluncuran ini berfokus pada model bahasa besar (LLM).
Bagi pengguna JumpStart, pemilihan model kini dapat dimulai dengan bukti yang spesifik untuk penerapan, langsung di layanan tempat model akan dijalankan. Pilihan yang tersisa lebih terbatas, tetapi tetap penting: apakah keunggulan model dalam tolok ukur juga berlaku pada beban kerja milik organisasi, dan apakah peningkatan apa pun sepadan dengan karakteristik respons serta biaya instans yang terukur.












