Sarvam AI Merilis Model Pengambilan Keputusan Prism dengan Bobot Terbuka

Pada 3 November 2026, Sarvam AI meluncurkan Sarvam Prism, model berbobot terbuka untuk pengambilan keputusan perusahaan yang menggunakan Sarvam 105B sebagai basis dan memberi skor pada opsi yang telah ditentukan tanpa menghasilkan teks token demi token. Perusahaan tersebut melaporkan median waktu respons 44 milidetik pada satu GPU NVIDIA B200 serta skor rata-rata tertinggi di antara model yang menjawab dalam waktu kurang dari 100 milidetik dalam evaluasi terhadap 25 model.

Bobot model tersedia di Hugging Face dengan lisensi Apache 2.0, sementara akses terkelola tersedia melalui Sarvam API di Sarvam Indus. Penerapan model memerlukan satu GPU dengan memori minimal 120 GB, dengan Prism berjalan dalam FP8. Model ini dapat memproses hingga 131.072 token per pertanyaan, sehingga masukan panjang seperti jejak agen dapat dievaluasi dalam satu lintasan.

Model Pengambilan Keputusan Satu Lintasan

Setiap permintaan memuat suatu keadaan, pertanyaan, dan sejumlah opsi yang dapat disesuaikan dengan jendela konteks. Prism memproses masukan tersebut dalam satu lintasan maju, lalu sebuah kepala penilaian kecil memberikan probabilitas untuk setiap opsi. Sarvam membuat model ini dengan menerapkan penyempurnaan LoRA pada sistem 105B miliknya, mengadaptasinya untuk pengambilan keputusan perusahaan alih-alih pembuatan teks bebas. Penggunaan yang telah diuji mencakup perutean maksud permintaan dukungan pelanggan, perutean model, kecerdasan dokumen, dan pemeriksaan proses agen.

Dua sasaran pelatihan dengan bobot yang sama membentuk probabilitas tersebut. Salah satunya menggunakan entropi silang dengan penghalusan label sebesar 5% untuk mencegah model terlalu yakin; yang lain menggunakan Brier loss, yang mengukur kuadrat kesalahan probabilitas dan membuat kesalahan dengan tingkat keyakinan tinggi menjadi mahal. Sarvam mengaitkan kalibrasi Prism dengan kombinasi tersebut. Masker perhatian khusus juga menjaga agar setiap opsi tetap terpisah dari opsi lainnya selama penilaian. Keadaan dan pertanyaan dibaca secara dua arah, sedangkan hanya token jawaban yang melihat dan membandingkan semua opsi.

Pengukuran Akurasi dan Latensi

Skor rata-rata yang dilaporkan merupakan gabungan dari tiga indeks: Jev Decision Index, yang mencakup 37 tolok ukur publik; replika Sarvam atas Artificial Analysis Decision Index, yang mengganti tes pengetahuan privat asli dengan pertanyaan sulit pilihan kurasi dan opsi “Saya tidak tahu”; serta tolok ukur internal untuk bahasa-bahasa India. Waktu respons merupakan median dari 1.000 permintaan yang dikirim secara berurutan, dengan menggunakan kode inferensi milik masing-masing pengembang model saat Sarvam dapat menjalankan model tersebut pada perangkat keras B200 miliknya.

Dalam pengujian Sarvam, Prism meraih skor rata-rata 71,8, dengan hasil komponen 67,0 pada Jev, 65,9 pada replika Artificial Analysis, dan 82,5 untuk bahasa-bahasa India. mammoth-1 meraih skor lebih tinggi, yaitu 75,2, tetapi median waktu responsnya 284 milidetik. Dua sistem yang hanya tersedia melalui API, Jev 1.14 dan Microsoft-Decision-1, dicantumkan dalam perbandingan dengan waktu yang dilaporkan ke publik, bukan hasil pengukuran lokal yang setara. Karena itu, diagram tersebut tidak menggunakan satu metode pengukuran yang sama untuk setiap model.

Konfigurasi awal berjalan dengan median waktu 664 milidetik pada presisi 16-bit menggunakan dua GPU B200. Konversi bobot ke FP8 memungkinkan Prism dijalankan pada satu GPU. Sarvam juga mengelompokkan seluruh 128 pakar ke dalam satu kernel, merekam lintasan maju sebagai CUDA Graph, menggabungkan konversi FP8 ke dalam kernel pakar, dan melebur adaptor penyempurnaan ke dalam bobot model. Secara keseluruhan, perubahan ini menghasilkan latensi konfigurasi satu GPU yang dirilis, dan Sarvam melaporkan bahwa tidak ada penurunan akurasi.

Kalibrasi dan Evaluasi Agen

Uji kalibrasi menilai apakah suatu alur kerja dapat mengandalkan ambang keyakinan saat mengotomatiskan keputusan. Pada tingkat keyakinan minimal 90% dalam bahasa Inggris, Sarvam melaporkan bahwa Prism memperkirakan tingkat kesalahan sebesar 3,3% dan mencatat kesalahan sebesar 2,2% dari 226.088 pertanyaan yang mencakup 37 tolok ukur publik. Untuk 20.108 pertanyaan dalam 10 bahasa India dan Hinglish, model ini memperkirakan tingkat kesalahan sebesar 5,4% dan mencatat kesalahan sebesar 4,4%. Pada kedua kelompok bahasa, tingkat kesalahan aktual tetap di bawah tingkat kesalahan yang diprediksi pada setiap ambang yang diuji, dari 50% hingga 95%.

Urutan opsi menimbulkan masalah konsistensi tersendiri. Dalam pengujian Sarvam terhadap 2.000 pertanyaan, Prism mengubah 4,0% jawabannya ketika opsi diacak ke dalam empat urutan dan dinilai sesuai urutan yang diterima. Dengan menempatkan opsi dalam urutan internal tetap sebelum penilaian, lalu mengembalikan setiap probabilitas dengan label aslinya, perubahan tersebut dapat dihilangkan. Langkah ini tidak menambah komputasi dan tidak menyebabkan penurunan akurasi dalam evaluasi.

Untuk pengawasan agen, Sarvam mengevaluasi lima model menggunakan 700 proses terekam dan 1.770 pertanyaan yang sama. Akurasi keseluruhan Prism yang dilaporkan adalah 78,5%, termasuk 75,0% untuk menilai keberhasilan tugas, 86,4% untuk menentukan apakah peninjauan manusia diperlukan, dan 69,6% untuk mengidentifikasi agen yang bertanggung jawab atas kegagalan. Jawaban diperiksa berdasarkan anotasi pakar atau hasil lingkungan otomatis, bukan penilaian model AI lain. Prism membaca jejak satu kali dan menilai lima pertanyaan evaluasi sekaligus, dengan waktu sekitar setengah detik per proses pada satu GPU.

Sarvam melaporkan akurasi Prism sebesar 89,0% pada tolok ukur keamanan siber internal yang mencakup 5.517 pertanyaan dalam sembilan tugas, dan berencana memperluas serta merilis secara publik kumpulan evaluasi tersebut. Dalam hasil yang sama, Clef meraih skor 84,5%, Jev 1.14 meraih 78,6%, dan Microsoft-Decision-1 meraih 76,1%. Disusun berdasarkan kerentanan yang dipublikasikan sejak Juli 2026, tugas-tugas tersebut mencakup identifikasi kampanye phishing dan upaya jailbreak, serta klasifikasi jenis serangan dalam kerangka kerja MITRE.

Premis utama Prism adalah lapisan pengambilan keputusan yang dapat dilatih dan dijalankan perusahaan pada infrastruktur mereka sendiri, dengan estimasi tingkat keyakinan yang dirancang untuk menetapkan ambang otomatis. Bobot terbukanya memungkinkan premis tersebut diuji pada alur kerja privat. Rencana publikasi evaluasi keamanan itu juga akan membawa salah satu pengujian internal dalam pengumuman tersebut ke ranah pengawasan publik.