AWS Menghadirkan Kimi K3.1 Pro Highspeed di Amazon Bedrock

Amazon Web Services menghadirkan Kimi K3.1 Pro Highspeed dari Moonshot AI di Amazon Bedrock pada 10 November 2026, dengan jendela konteks 1 juta token melalui profil inferensi global, AS, dan India. Moonshot AI melaporkan bahwa varian Highspeed menghasilkan keluaran dua hingga tiga kali lebih cepat daripada K3.1 Pro.

Model yang mendasarinya diluncurkan pada 4 November 2026, sebelum penerapan ini di Bedrock. K3.1 Pro adalah versi Kimi K3 yang telah melalui pelatihan lanjutan, dengan tetap mempertahankan arsitektur bobot terbuka kelas 3T dan jendela konteksnya, tetapi menggunakan komputasi pascapelatihan yang jauh lebih besar. Moonshot AI menyatakan bahwa pelatihan tambahan ini ditujukan untuk mendukung pekerjaan agentik berjangka panjang dan mengurangi kesalahan faktual, serta meningkatkan pemodelan keuangan, dokumen perkantoran, dan pemrograman untuk mesin gim, adegan 3D, dan skrip desain berbantuan komputer.

Dalam pemrograman agentik, satu tugas dapat memerlukan banyak pemanggilan model secara berurutan: membaca berkas, merencanakan perubahan, mengedit kode, menjalankan pengujian, dan memperbaiki kegagalan. Laju token keluaran yang lebih tinggi dapat mempersingkat waktu pembuatan keluaran pada setiap langkah. Implementasi Kimi K3 yang sudah ada di Bedrock dapat dialihkan dengan mengubah ID model, sementara model baru ini mendukung pemanggilan alat, keluaran terstruktur, penalaran yang dapat dikonfigurasi, masukan gambar, dan streaming melalui titik akhir dan API yang sama. AWS juga mendemonstrasikan OpenCode, agen pemrograman terminal sumber terbuka yang terhubung melalui Chat Completions dan kunci API Bedrock.

Akses dan Residensi Data

Pengembang dapat memanggil model melalui API Chat Completions dan Responses yang kompatibel dengan OpenAI, atau API Converse dan Invoke milik Bedrock. AWS merekomendasikan Chat Completions. Profil inferensi lintas wilayah global merutekan permintaan ke wilayah AWS komersial mana pun yang didukung, sedangkan profil AS dan India membatasi perutean ke wilayah geografis masing-masing untuk memenuhi persyaratan residensi data. Permintaan dari India dirutekan antara Mumbai dan Hyderabad.

AWS menyatakan bahwa data inferensi tetap berada dalam batas data AWS, tidak dibagikan kepada Moonshot AI, dan tidak digunakan untuk melatih model. Retensi data nol selalu diaktifkan untuk permintaan inferensi, dan operator AWS tidak dapat melihat prompt atau hasil keluaran selama inferensi.

Harga dan Pengendalian Biaya

Tarif tingkat Standard bergantung pada profil perutean. Semua harga di bawah ini berlaku per 1 juta token:

Di halaman harga Bedrock, Kimi K3 versi sebelumnya tercantum dengan harga $3.00 per juta token masukan dan $15.00 per juta token keluaran untuk inferensi Global Standard. Karena itu, tarif masukan dan keluaran model baru ini lebih tinggi, meskipun tarif pembacaan cache globalnya lebih rendah daripada tarif K3, yaitu $0.30 per juta token.

Flex menawarkan inferensi dengan tarif setengah dari Standard, dengan kemungkinan waktu respons yang lebih lama, sedangkan Priority dikenai biaya tambahan sebesar 75%. Tingkat layanan dapat dipilih untuk setiap permintaan, sehingga aplikasi dapat menggunakan Standard untuk lalu lintas biasa, Priority untuk pemanggilan yang sangat membutuhkan latensi rendah, dan Flex untuk evaluasi, peringkasan, atau pekerjaan agen latar belakang.

Penyimpanan cache prompt eksplisit menangani konteks berulang seperti instruksi sistem, definisi alat, dan konvensi repositori. Setiap titik pemisah harus berada setelah setidaknya 256 token konten stabil. Fitur ini berfungsi pada Responses, Chat Completions, dan Invoke, tetapi tidak pada Converse. Pembacaan cache mendapat potongan harga dan tidak dihitung dalam kuota token masukan per menit, sedangkan biaya penulisan cache lebih tinggi daripada biaya masukan standar.

Batasan Penalaran dan Kompatibilitas

Kartu model mendukung pengaturan penalaran none, low, medium, high, xhigh, dan max; secara bawaan, pengaturan yang digunakan adalah max. Pengaturan none menonaktifkan penalaran untuk suatu permintaan. Tingkat upaya yang lebih rendah dapat mengurangi latensi dan konsumsi token, tetapi dapat menurunkan kinerja tugas, sehingga pengaturan bawaan perlu dipertimbangkan dengan saksama untuk beban kerja yang peka terhadap biaya.

Converse memiliki batasan tambahan selain tidak mendukung penyimpanan cache eksplisit. Layanan ini dapat mengalami kesalahan server internal ketika konten penalaran dari giliran sebelumnya disertakan dalam permintaan beberapa giliran. Hal ini berdampak pada kerangka kerja seperti LangChain dan Strands Agents dalam konfigurasi bawaannya. AWS menyarankan agar blok penalaran sebelumnya dihapus untuk permintaan Converse beberapa giliran. Converse juga menolak dokumen PDF dan HTML yang dilampirkan, dan Bedrock tidak mendukung masukan video untuk model ini.

Setiap token keluaran juga menghabiskan 10 token dari kuota akun yang berlaku pada titik akhir bedrock-runtime, sebagai pertimbangan kapasitas yang terpisah dari tagihan per token.

Bagi pengguna K3 saat ini, peralihan hanya memerlukan sedikit perubahan kode, tetapi pertimbangan operasionalnya tidak terbatas pada kompatibilitas. Potensi keuntungannya adalah penyelesaian pekerjaan agen berurutan yang lebih cepat; faktor penyeimbangnya adalah harga masukan dan keluaran yang lebih tinggi, penggunaan token akibat penalaran, serta konsumsi kuota. Flex, penyimpanan cache, dan pengaturan tingkat upaya merupakan opsi yang disediakan AWS untuk menyeimbangkan kebutuhan tersebut.