Model dan platform AI
Sarvam Membuka Pabrik Token di India untuk Model dengan Bobot Terbuka

Poin utamaSarvam menyajikan model berbobot terbuka dari GPU India alih-alih meneruskan permintaan…
Lihat selengkapnya
- Sarvam menyajikan model berbobot terbuka dari GPU India alih-alih meneruskan permintaan ke API pengembang luar negeri.
- Memisahkan prefill dari decode pada kumpulan GPU yang berbeda mencegah prompt pengodean panjang menghambat sesi decoding yang aktif.
- Perbandingan DeepSeek milik Sarvam sendiri menunjukkan Together mengembalikan token pertama lebih cepat dan melakukan streaming pada 278 token keluaran per detik.
Pada 16 November 2026, Sarvam AI meluncurkan Sarvam Token Factory bagi para pengembang dan perusahaan. Layanan ini menjalankan model berbobot terbuka milik Sarvam sendiri maupun pihak ketiga dari klaster GPU di India melalui satu API yang kompatibel dengan OpenAI. Sarvam melaporkan bahwa layanan tersebut telah menangani lebih dari 450 miliar token DeepSeek V4.1 Flash per hari.
Model yang tersedia saat peluncuran mencakup Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro, dan Gemma 4 31B. Dokumentasi API-nya menyebutkan bahwa Token Factory menggunakan kunci API, SDK, dan kredit yang sama dengan API Sarvam lainnya: pengguna cukup mengubah model kolom untuk beralih model, sementara klien yang kompatibel dengan OpenAI dapat diarahkan ke https://api.sarvam.ai/v2.
Harga, Penerapan, dan Penanganan Data
Harga perkenalan Sarvam 105B adalah ₹10 per satu juta token masukan dan ₹25 per satu juta token keluaran. Endpoint Standard untuk DeepSeek V4.1 Flash 1017 masing-masing berharga ₹14 dan ₹55. Keduanya menerapkan tarif token masukan yang tersimpan dalam cache sebesar ₹0,25 per satu juta token di katalog harga. Dokumentasi API menyebutkan bahwa harga perkenalan berlaku hingga akhir 2026; semua tarif dalam rupee belum termasuk GST.
Akses yang tersedia tidak terbatas pada endpoint nirserver berbasis penggunaan. DeepSeek V4 Pro dan Kimi K3.1 Pro diaktifkan untuk setiap organisasi melalui Provisioned Throughput, sedangkan model lain yang diluncurkan tercantum sebagai layanan nirserver. Pelanggan dapat memilih kapasitas bersama atau khusus. Sarvam juga menawarkan tumpukan pengoptimalan inferensi untuk penerapan di lokasi pelanggan, dan menyatakan bahwa layanan tersebut sudah dijalankan dengan cara itu untuk lembaga-lembaga penting.
Halaman produk Sarvam menyebutkan bahwa inferensi dijalankan pada GPU yang dioperasikan Sarvam di India, alih-alih diteruskan ke API luar negeri milik pengembang model aslinya. Berdasarkan kesepakatan tanpa penyimpanan data yang telah disetujui, perintah dan respons tidak disimpan; cakupan log operasional ditetapkan secara terpisah. Data pelanggan tidak digunakan untuk melatih model bagi pelanggan lain, dan penerapan untuk perusahaan disertai perjanjian tingkat layanan kontraktual yang menjamin waktu aktif 99,95%.
Cache Bersama untuk Sesi Agen yang Panjang
Tumpukan penyajian memisahkan prefill, yang membaca seluruh perintah, dari decode, yang menghasilkan token satu per satu, lalu menjalankan kedua tahap tersebut pada kumpulan GPU yang berbeda. Pemisahan ini dirancang agar perintah pengodean panjang yang baru tidak membuat sesi decode aktif tersendat, seperti yang dapat terjadi jika kedua tahap menggunakan GPU yang sama. Bidang kendali yang mempertimbangkan cache mengarahkan setiap giliran ke konteks yang sudah ada, sementara proses penerimaan hanya menghitung token yang belum tersimpan dalam cache.
Tingkat cache kedua, penyimpanan G3 berbasis Mooncake milik Moonshot, dapat diakses oleh setiap server prefill dan menyimpan perintah selama beberapa jam atau hari, bergantung pada lalu lintas. Memori GPU saja dapat menahan perintah selama sekitar empat detik, dan turun menjadi sekitar dua detik saat beban tinggi. Perbedaan ini penting bagi agen yang kembali setelah pemanggilan alat dengan perintah yang hampir sama. Sarvam melaporkan bahwa 95,7% token perintah DeepSeek V4.1 Flash dilayani dari cache, dan G3 mengurangi kebutuhan simpul prefill puncak GLM 5.3 dari 58 menjadi 34.
Untuk Sarvam 105B, perusahaan melaporkan bahwa peralihan dari bobot BF16 ke MXFP8, format 8-bit, serta penambahan dekode spekulatif meningkatkan laju keluaran sekitar 2,2 kali lipat, sekaligus mengurangi jumlah GPU B200 untuk setiap replika dari dua menjadi satu, tanpa menurunkan akurasi. Secara terpisah, agen orkestrator menugaskan eksperimen pengoptimalan kepada subagen, tetapi seorang insinyur menyetujui setiap perubahan sebelum penerapan.
Kinerja pada Berbagai Model dan Endpoint
Sarvam melaporkan bahwa Gemma 4 31B, dalam pengujian median selama 72 jam dari klien AWS Mumbai dengan perintah 10.000 token, mengembalikan token pertamanya dalam 0,40 detik dan mengalirkan 308 token per detik. Sebagai perbandingan, satu-satunya penyedia lain yang menawarkan model tersebut mencatat 2,00 detik dan 193 token per detik. Perbandingan itu menggunakan tingkat layanan terbaik dari penyedia tersebut untuk setiap metrik. Dalam pengujian terpisah oleh Sarvam terhadap Kimi K3.1 Pro menggunakan rekam jejak agen pengodean dan 16 GPU B200, hasilnya mencapai 6.177 token per detik per GPU, dengan sekitar 70 token per detik per pengguna, dibandingkan dengan 3.213 pada kurva yang dipublikasikan InferenceX.
Perbandingan Sarvam sendiri untuk DeepSeek V4.1 Flash menunjukkan hasil yang kurang menguntungkan: dalam uji latensi dengan perintah 10.000 token, Together mengembalikan token pertama dalam 0,71 detik, dibandingkan dengan 0,90 detik untuk Sarvam Standard. Tabel terpisah dari Sarvam yang membandingkan harga dan kecepatan mencatat 278 token keluaran per detik untuk Together dan 130 untuk Sarvam Standard. Angka latensi tersebut diukur pada 3–5 November 2026, dengan satu permintaan pada satu waktu dan menggunakan tingkat layanan tercepat dari masing-masing penyedia.
Token Factory menjadikan tumpukan penyajian itu sendiri sebagai produk utama. Dasar bisnisnya memadukan pemrosesan di India dan migrasi yang kompatibel dengan OpenAI dengan penghematan GPU melalui penggunaan cache dan penyetelan per model; hasil yang dipublikasikan menunjukkan peningkatan besar pada beban kerja tertentu, tetapi juga memperlihatkan bahwa keunggulan dalam laju pemrosesan dan latensi berbeda-beda menurut model dan endpoint.












