Sarvam AI、オープンウェイトの意思決定モデル「Prism」を公開

Sarvam AIは2026年11月3日、Sarvam Prismを公開しました。Sarvam 105Bをベースとするこのオープンウェイトモデルは、トークンを一つずつ生成することなく、あらかじめ定められた選択肢を評価して企業の意思決定を支援します。同社によると、NVIDIA B200 GPUを1基使用した場合の応答時間の中央値は44ミリ秒で、25モデルを対象とした評価では、応答時間が100ミリ秒未満のモデルのうち平均スコアが最も高かったとのことです。

重みはApache 2.0ライセンスのもとHugging Faceで公開されており、Sarvam Indus上のSarvam APIからホスト環境で利用できます。デプロイには、メモリ容量が少なくとも120 GBのGPUが1基必要で、PrismはFP8で動作します。1つの質問につき最大131,072トークンを処理できるため、エージェントの実行トレースのような長い入力も一度の処理で評価できます。

1回の処理で意思決定するモデル

各リクエストには、状態、質問、そしてコンテキストウィンドウに収まる数の選択肢が含まれます。Prismは入力を1回の順伝播で処理し、小規模なスコアリングヘッドが各選択肢に確率を割り当てます。Sarvamは、自社の105BシステムにLoRAによるファインチューニングを施してこのモデルを作成し、自由形式のテキスト生成ではなく、企業の意思決定に対応できるよう調整しました。テスト済みの用途には、カスタマーサポートの問い合わせ意図の振り分け、モデルの振り分け、文書インテリジェンス、エージェントの実行結果のチェックが含まれます。

2つの学習目的を同じ重みで適用し、確率を調整します。一方は、確信しきることを避けるため、ラベルスムージングを5%適用したクロスエントロピーを用います。もう一方はブライアスコア損失を用いて確率の二乗誤差を測定し、確信度の高い誤りに大きなペナルティを課します。Sarvamは、この組み合わせによってPrismの確率較正が実現していると説明しています。また、独自のアテンションマスクにより、スコアリング中に選択肢同士が互いに干渉しないようにしています。状態と質問は双方向に読み取られますが、回答トークンだけがすべての選択肢を参照して比較します。

精度とレイテンシの測定結果

公表された平均スコアは、3つの指標を組み合わせたものです。1つ目は、37件の公開ベンチマークを対象とするJev Decision Indexです。2つ目は、Artificial Analysis Decision IndexをSarvamが再現したもので、元の非公開の知識テストの代わりに、「分からない」という選択肢を含む、厳選された難問を用いています。3つ目は、社内のインド諸言語ベンチマークです。応答時間は、リクエスト1,000件を順次送信して測定した中央値です。SarvamがB200上でモデルを実行できた場合は、各モデルの開発元が提供する推論コードを使用しました。

Sarvamのテストでは、Prismの平均スコアは71.8で、内訳はJevで67.0、Artificial Analysisの再現テストで65.9、インド諸言語で82.5でした。これを上回るスコアを記録したmammoth-1は75.2でしたが、応答時間の中央値は284ミリ秒でした。API経由でのみ利用できる2つのシステム、Jev 1.14とMicrosoft-Decision-1については、同等のローカル測定値ではなく公表済みの応答時間を比較に使用しています。そのため、グラフではすべてのモデルに同じ測定方法を適用していません。

初期構成では、B200 GPUを2基使用し、16ビット精度で実行した場合のレイテンシ中央値は664ミリ秒でした。重みをFP8に変換することで、PrismをGPU 1基に収められるようになりました。さらにSarvamは、128個すべてのエキスパートを1つのカーネルにまとめ、順伝播をCUDA Graphとして記録し、FP8変換をエキスパートカーネルに統合したうえで、ファインチューニング用アダプターをモデルの重みに統合しました。これらの変更を組み合わせた結果、公開版ではGPU 1基で動作するレイテンシを実現し、精度の低下はなかったとSarvamは報告しています。

確率較正とエージェントの評価

確率較正テストでは、意思決定を自動化する際に、ワークフローが確信度のしきい値を信頼できるかどうかを検証しています。英語の質問で確信度が少なくとも90%の場合、37件の公開ベンチマークから得た226,088問について、Prismは誤り率を3.3%と予測し、実際の誤り率は2.2%だったとSarvamは報告しています。インドの10言語とヒングリッシュによる20,108問では、予測した誤り率は5.4%、実際の誤り率は4.4%でした。両方の言語グループで、テストした50%から95%までのすべてのしきい値において、実際の誤り率は予測された誤り率を下回りました。

選択肢の並び順も、別の一貫性の問題を引き起こします。Sarvamが2,000問を使って行ったテストでは、選択肢を4通りに並べ替えて受け取った順にスコアリングしたところ、Prismは回答の4.0%を変更しました。スコアリングの前に選択肢を固定された内部順序に並べ、元のラベルに対応する確率を返すようにしたところ、こうした変更はなくなりました。この処理による計算量の増加はなく、評価で精度が低下することもありませんでした。

エージェントの監督評価では、Sarvamは5つのモデルを、同じ700件の記録済み実行と1,770問で評価しました。Prismの総合精度は78.5%で、タスクの成功判定が75.0%、人による確認が必要かどうかの判定が86.4%、失敗の原因となったエージェントの特定が69.6%でした。回答は専門家の注釈または環境の自動判定結果と照合され、別のAIモデルによる判定は一切使われていません。Prismは実行トレースを一度読み取り、5つの評価質問をまとめてスコアリングします。GPU 1基で、1回の実行につき約0.5秒かかります。

Sarvamによると、Prismは9つのタスクにわたる5,517問を対象とした社内サイバーセキュリティベンチマークで89.0%の精度を記録しました。同社は、この評価セットを拡充し、一般公開する計画です。同じ評価では、Clefが84.5%、Jev 1.14が78.6%、Microsoft-Decision-1が76.1%でした。2026年7月以降に公表された脆弱性をもとに作成されたタスクには、フィッシングキャンペーンやジェイルブレイクの試みの特定、MITREの枠組みに基づく攻撃の種類の分類が含まれます。

Prismの中核となる提案は、企業が自社のインフラ上でトレーニングして実行できる意思決定レイヤーであり、信頼度の推定値は自動判定の閾値に活用できるよう設計されています。オープンウェイトにより、非公開のワークフローでこの提案を検証できます。また、セキュリティ評価の公開が計画されており、今回の発表に含まれる内部テストの1つが、一般の検証に向けて公開されることになります。