Model dan platform AI

SageMaker AI Merutekan Permintaan Berdasarkan Status Cache GPU yang Dilaporkan Kontainer

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaPerutean yang sadar-KV meningkatkan tingkat cache hit dari 3–48% menjadi 80–93% dengan…
Lihat selengkapnya
  • Perutean yang sadar-KV meningkatkan tingkat cache hit dari 3–48% menjadi 80–93% dengan melacak pengusiran yang dilaporkan oleh kontainer.
  • Overhead perutean menambahkan 14 hingga 19 milidetik CloudWatch OverheadLatency bahkan saat latensi model membaik.
  • Fitur ini memerlukan setidaknya dua instans atau salinan komponen inferensi agar memiliki efek perutean.

Pada 17 November 2026, Amazon Web Services memperkenalkan perutean yang mempertimbangkan cache KV untuk titik akhir real-time Amazon SageMaker AI, dengan menggunakan status cache yang dilaporkan kontainer untuk menentukan penempatan permintaan. AWS melaporkan bahwa dalam pengujian dengan prompt panjang saat beban tinggi, waktu median hingga token pertama dapat berkurang hingga 97% dan throughput meningkat 234% dibandingkan dengan perutean acak.

Cache KV menyimpan komputasi prompt sebelumnya di memori GPU, sehingga model dapat menggunakannya kembali alih-alih mengulangi pemrosesan awal, atau prefilling, untuk token masukan yang cocok. Karena itu, penempatan cache penting bagi asisten obrolan, generasi yang diperkuat dengan pengambilan informasi, dan agen dengan prompt sistem yang panjang: mengirim permintaan ke tempat lain dapat memaksa sebuah instance menghitung ulang konteks yang sudah tersimpan di GPU lain.

Perutean Berdasarkan Status Cache yang Dilaporkan

Strategi yang sudah ada di SageMaker AI dan mempertimbangkan prefiks memperkirakan lokasi cache berdasarkan prefiks permintaan yang tetap. Strategi ini tidak dapat mendeteksi penghapusan entri cache, dan giliran awal dalam percakapan yang terus berkembang dapat menghasilkan hash berbeda dan berakhir di instance terpisah. Sebaliknya, perutean yang mempertimbangkan KV menggunakan peristiwa dari kontainer model setiap kali entri cache disimpan atau dihapus.

Layanan ini mengelola indeks hash terpotong satu arah yang dipetakan ke instance atau salinan komponen inferensi, alih-alih menyimpan prompt, ID token, payload permintaan, atau tensor KV. Setiap prompt yang masuk diubah menjadi token, lalu dicocokkan dengan indeks tersebut. Titik akhir menimbang kecocokan cache terpanjang terhadap beban instance dan melewati kandidat yang terlalu sibuk.

Jika pencarian lambat, tidak ada kecocokan yang berguna, atau semua instance yang cocok sedang sibuk, permintaan akan dialihkan ke perutean berdasarkan jumlah permintaan yang masih tertunda paling sedikit dan tetap dilayani. Pengurangan skala menghapus entri indeks untuk instance yang dihapus, sementara instance baru atau pengganti memulai dengan cache kosong. Hal ini menimbulkan pertimbangan terkait pembangunan ulang cache sementara dan latensi saat mulai dingin.

Peningkatan dalam Tolok Ukur dan Overhead Perutean

AWS melaporkan bahwa pengujian selama 30 menit menjalankan Llama 3.1 70B Instruct pada tujuh instance ml.p5.48xlarge dengan 20 atau 100 pengguna simulasi, percakapan multi-giliran, sesi tanya jawab dokumen, serta prompt hingga sekitar 64.000 token. Tingkat cache hit meningkat dari 3–48% dengan perutean acak menjadi 80–93% dengan perutean yang mempertimbangkan KV. Hasilnya bergantung pada beban kerja, dan prompt pendek mendapat manfaat paling kecil karena komputasi prefilling yang dapat digunakan kembali lebih sedikit.

Pencarian untuk perutean menambah overhead berupa tokenisasi dan pemrosesan indeks: beberapa milidetik untuk prompt pendek dan lebih lama untuk prompt yang lebih panjang. Permintaan standar yang hanya berisi teks meneruskan token yang telah dihitung ke model, sehingga tidak perlu melakukan tokenisasi untuk kedua kalinya. Dalam perbandingan terpisah oleh AWS yang menggunakan dua instance Qwen3-4B-Instruct-2507, rata-rata CloudWatch OverheadLatency—yang mengukur waktu yang digunakan SageMaker AI di luar kontainer model—14 hingga 19 milidetik lebih tinggi dengan perutean yang mempertimbangkan KV, meskipun latensi model dan waktu hingga token pertama membaik.

Persyaratan Penerapan dan Visibilitas

Saat diluncurkan, fitur ini memerlukan AWS vLLM Deep Learning Container untuk SageMaker AI dengan vLLM 0.33.0 atau yang lebih baru, atau build Amazon Linux server-sagemaker-cuda-v2.8.0 atau versi yang lebih baru. Caching prefiks dan peristiwa cache KV harus diaktifkan. Pelanggan menetapkan SM_VLLM_KV_EVENTS_CONFIG pada model dan RoutingStrategy ke KV_AWARE pada varian produksi, tanpa mengubah pemanggilan dari klien.

Fitur ini mendukung titik akhir real-time berbasis GPU untuk model tunggal dan komponen inferensi, termasuk adaptor Low-Rank Adaptation dinamis. Perutean memerlukan setidaknya dua instance untuk titik akhir model tunggal atau dua salinan komponen inferensi; jika hanya ada satu tujuan, pengaturan ini tidak memengaruhi perutean. Permintaan harus menggunakan payload Completions atau Chat Completions yang kompatibel dengan OpenAI melalui API pemanggilan yang didukung, dan InvokeEndpointWithBidirectionalStream tidak didukung.

Saat diluncurkan, perutean yang mempertimbangkan KV tidak menyediakan metrik khusus atau log keputusan perutean untuk akun pelanggan. Mekanisme pengalihan juga tidak ditampilkan di konsol atau metrik SageMaker AI. Pelanggan dapat memeriksa usage.prompt_tokens_details.cached_tokens setelah mengaktifkan detail token prompt, serta memantau metrik kontainer seperti tingkat cache hit dan waktu hingga token pertama melalui observabilitas terperinci dan CloudWatch.

Fitur ini tersedia di semua Wilayah AWS komersial yang mendukung inferensi real-time SageMaker AI dengan kontainer yang didukung, tanpa biaya tambahan selain biaya instance titik akhir. AWS tetap menyebut perutean yang mempertimbangkan prefiks sebagai opsi yang lebih sederhana untuk prompt bersama yang stabil, konteks pendek, dan beban sedang. Perutean yang mempertimbangkan KV ditujukan untuk konteks lebih panjang yang dapat digunakan kembali, tekanan memori, dan penghapusan entri cache yang sering terjadi. Dengan demikian, setiap beban kerja memiliki kompromi infrastruktur yang jelas: komputasi prefilling GPU yang dapat dipulihkan dibandingkan dengan overhead perutean tambahan pada setiap permintaan.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.