AIモデルとプラットフォーム

Sarvam、オープンウェイトモデル向けのインド国内ホスト型トークン基盤を提供開始

Theo Nash
Unite.AI を Google の優先ソースに追加
要点Sarvamは、リクエストを海外の開発者APIに転送するのではなく、インドのGPUからオープンウェイトモデルを提供しています。
もっと見る
  • Sarvamは、リクエストを海外の開発者APIに転送するのではなく、インドのGPUからオープンウェイトモデルを提供しています。
  • プリフィルとデコードを別々のGPUプールに分離することで、長いコーディングプロンプトがアクティブなデコードセッションを停滞させるのを防ぎます。
  • Sarvam自身のDeepSeek比較では、Togetherが最初のトークンをより速く返し、毎秒278出力トークンでストリーミングしていることが示されています。

Sarvam AIは2026年11月16日、開発者と企業向けにSarvam Token Factoryを提供開始した。インド国内のGPUクラスターから、自社およびサードパーティ製のオープンウェイトモデルを、OpenAI互換APIを通じて提供する。Sarvamによると、このサービスではすでにDeepSeek V4.1 Flashのトークンを1日あたり4,500億超処理している。

提供開始時のラインアップは、Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro、Gemma 4 31B。APIドキュメントによると、Token FactoryではSarvamの他のAPIと同じAPIキー、SDK、クレジットを使用する。モデルを切り替えるには、ユーザーは model フィールドを変更する。OpenAI互換クライアントは接続先を設定できる。 https://api.sarvam.ai/v2.

料金、導入形態、データの取り扱い

Sarvam 105Bの導入記念価格は、入力トークン100万件あたり₹10、出力トークン100万件あたり₹25。DeepSeek V4.1 Flash 1017のStandardエンドポイントは、それぞれ₹14、₹55。どちらも料金一覧に記載されたキャッシュ済み入力の料金は、トークン100万件あたり₹0.25。APIドキュメントによると、導入記念価格は2026年末まで適用される。ルピー建ての料金はいずれもGSTを含まない。

利用できるのは、従量課金制のサーバーレスエンドポイントだけではない。DeepSeek V4 ProとKimi K3.1 ProはProvisioned Throughputで組織ごとに有効化される一方、提供開始時の他のモデルはサーバーレスとして掲載されている。顧客は共有容量または専有容量を選択できる。Sarvamはオンプレミス導入向けの推論最適化スタックも提供しており、重要機関向けにはすでにこの方式で稼働しているとしている。

Sarvamの製品ページによると、推論はSarvamがインド国内で運用するGPU上で実行され、元のモデル開発者が海外で運営するAPIに転送されることはない。合意済みのゼロデータ保持契約のもとでは、プロンプトと応答は保持されず、運用ログは別途定められた範囲で扱われる。顧客データを他の顧客向けモデルの学習に使用することはなく、企業向け導入には、稼働率99.95%を保証する契約上のサービスレベル合意が付帯する。

長時間にわたるエージェントセッション向けの共有キャッシュ

サービングスタックでは、プロンプト全体を読み込むprefillと、トークンを1つずつ生成するdecodeを分離し、それぞれの処理を別々のGPUプールで実行する。この分離により、両方の処理を同じGPUで行う場合に起こり得るように、新たな長いコーディング用プロンプトが進行中のdecodeセッションを停滞させるのを防ぐ設計になっている。キャッシュを考慮する制御プレーンは、各ターンを既存のコンテキストに振り分ける一方、受付時に数えるのはキャッシュされていないトークンだけだ。

2段目のキャッシュ層である、MoonshotのMooncakeをベースにしたG3ストアには、すべてのprefillサーバーからアクセスでき、トラフィックに応じてプロンプトを数時間から数日間保持する。GPUメモリだけの場合、プロンプトの保持時間は約4秒で、負荷がかかると約2秒に短縮される。この差は、ツール呼び出し後にほぼ同じプロンプトを伴って戻るエージェントにとって重要だ。Sarvamによると、DeepSeek V4.1 Flashではプロンプトトークンの95.7%がキャッシュから提供され、G3の導入によりGLM 5.3のprefillノードのピーク必要数は58台から34台に減少した。

Sarvam 105Bでは、BF16の重みを8ビット形式のMXFP8に変更し、投機的デコードを加えた結果、精度を落とすことなく出力スループットが約2.2倍に向上し、レプリカあたりのGPU数がB200 2基から1基に減ったと同社は報告している。また、オーケストレーターエージェントが最適化実験をサブエージェントに割り当てる一方、変更はすべて、デプロイ前にエンジニアが承認する。

モデルとエンドポイント別の性能

Sarvamによると、AWSのムンバイ拠点のクライアントから1万トークンのプロンプトを送信した72時間のテストでは、Gemma 4 31Bは中央値で最初のトークンを0.40秒で返し、毎秒308トークンをストリーミングした。同モデルを提供する他のプロバイダーは1社のみで、同社の結果はそれぞれ2.00秒、毎秒193トークンだった。比較には、各指標でそのプロバイダーが提供する最上位プランを使用した。別途、Sarvamがコーディングエージェントのトレースと16基のB200 GPUを用いて実施したKimi K3.1 Proのテストでは、GPU 1基あたり毎秒6,177トークン、ユーザー1人あたり毎秒約70トークンを達成した。InferenceXが公表した曲線では、毎秒3,213トークンだった。

Sarvam自身が行ったDeepSeek V4.1 Flashの比較では、結果は芳しくない。1万トークンのプロンプトを使ったレイテンシテストで、Togetherが最初のトークンを0.71秒で返したのに対し、Sarvam Standardは0.90秒だった。Sarvamが別途公表した価格と速度の比較表では、出力速度はTogetherが毎秒278トークン、Sarvam Standardが毎秒130トークンと記載されている。レイテンシの数値は2026年11月3日から5日にかけて、各プロバイダーの最速プランを使用し、一度に1件のリクエストを処理して測定した。

Token Factoryでは、サービングスタックそのものが中核製品となっている。インド国内での処理とOpenAI互換環境への移行に、キャッシュとモデルごとのチューニングによるGPUコスト削減を組み合わせるのが、同サービスの事業上の強みだ。公表された結果は、特定のワークロードで大幅な改善が得られる一方、スループットやレイテンシの優位性はモデルやエンドポイントによって異なることも示している。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。