Modèles et plateformes d’IA
Sarvam ouvre une fabrique de jetons hébergée en Inde pour les modèles à poids ouverts

Points clésSarvam sert des modèles à poids ouverts depuis des GPU indiens plutôt que de…
Voir plus
- Sarvam sert des modèles à poids ouverts depuis des GPU indiens plutôt que de transmettre les requêtes à des API de développeurs à l'étranger.
- Séparer le prefill du decode sur des pools de GPU distincts empêche les longues invites de codage de bloquer les sessions de décodage actives.
- La propre comparaison de Sarvam avec DeepSeek montre que Together renvoie les premiers tokens plus rapidement et diffuse à 278 tokens de sortie par seconde.
Le 16 novembre 2026, Sarvam AI a lancé Sarvam Token Factory à destination des développeurs et des entreprises. Le service met à disposition ses propres modèles à poids ouverts et ceux de tiers depuis des grappes de GPU situées en Inde, au moyen d’une seule API compatible avec OpenAI. Sarvam indique que le service traite déjà plus de 450 milliards de jetons DeepSeek V4.1 Flash par jour.
La gamme lancée comprend Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro et Gemma 4 31B. Selon sa documentation de l’API, Token Factory utilise la même clé API, le même SDK et les mêmes crédits que les autres API de Sarvam : les utilisateurs modifient le model champ pour changer de modèle, tandis que les clients compatibles avec OpenAI peuvent être configurés pour pointer vers https://api.sarvam.ai/v2.
Tarification, déploiement et traitement des données
Le tarif de lancement de Sarvam 105B est de ₹10 par million de jetons d’entrée et de ₹25 par million de jetons de sortie. Le point de terminaison Standard de DeepSeek V4.1 Flash 1017 coûte respectivement ₹14 et ₹55. Les deux proposent des tarifs de ₹0.25 par million de jetons d’entrée mis en cache dans le catalogue des tarifs. La documentation de l’API indique que les tarifs de lancement sont en vigueur jusqu’à la fin de 2026 ; tous les tarifs en roupies sont hors GST.
L’accès ne se limite pas aux points de terminaison sans serveur facturés à l’usage. DeepSeek V4 Pro et Kimi K3.1 Pro sont activés pour chaque organisation dans le cadre de Provisioned Throughput, tandis que les autres modèles lancés sont proposés sans serveur. Les clients peuvent choisir une capacité partagée ou dédiée. Sarvam propose également sa pile d’optimisation de l’inférence pour un déploiement sur site et affirme qu’elle est déjà utilisée de cette manière par des institutions essentielles.
La page du produit de Sarvam indique que l’inférence s’exécute sur des GPU exploités par Sarvam en Inde, au lieu d’être acheminée vers les API étrangères des développeurs des modèles d’origine. Dans le cadre d’un accord convenu de conservation zéro des données, les requêtes et les réponses ne sont pas conservées ; les journaux opérationnels font l’objet de règles distinctes. Les données des clients ne sont pas utilisées pour entraîner des modèles destinés à d’autres clients, et les déploiements en entreprise sont assortis d’un accord contractuel de niveau de service garantissant une disponibilité de 99.95 %.
Un cache partagé pour les longues sessions d’agents
La pile de service sépare le préremplissage, qui lit l’intégralité de la requête, du décodage, qui génère les jetons un par un, et exécute ces phases sur des groupes de GPU distincts. Cette séparation vise à empêcher qu’une nouvelle longue requête de programmation ne bloque les sessions de décodage en cours, comme cela peut arriver lorsque les deux phases partagent un GPU. Un plan de contrôle tenant compte du cache dirige chaque tour vers son contexte existant, tandis que le contrôle d’admission ne comptabilise que les jetons non mis en cache.
Un deuxième niveau de cache, le magasin G3 reposant sur Mooncake de Moonshot, est accessible à chaque serveur de préremplissage et conserve les requêtes pendant des heures ou des jours, selon le trafic. La mémoire du GPU seule ne conserve une requête qu’environ quatre secondes, durée qui tombe à environ deux secondes en période de forte charge. Cette différence compte pour les agents qui reviennent après un appel d’outil avec une requête presque identique. Sarvam indique que 95.7 % des jetons de requête de DeepSeek V4.1 Flash sont servis depuis le cache et que G3 a ramené de 58 à 34 le nombre maximal de nœuds de préremplissage requis pour GLM 5.3.
Pour Sarvam 105B, l’entreprise indique que le passage de poids BF16 au format 8 bits MXFP8, associé à l’ajout du décodage spéculatif, a multiplié le débit de sortie par environ 2,2, tout en réduisant le nombre de GPU B200 par réplica de deux à un, sans perte de précision. Par ailleurs, un agent orchestrateur confie des expériences d’optimisation à des sous-agents, mais un ingénieur approuve chaque changement avant son déploiement.
Performances selon les modèles et les points de terminaison
Sarvam indique que Gemma 4 31B, lors d’un test médian de 72 heures effectué depuis un client AWS à Mumbai avec une requête de 10,000 jetons, a renvoyé son premier jeton en 0.40 seconde et a généré 308 jetons par seconde, contre 2.00 secondes et 193 jetons par seconde pour le seul autre fournisseur qui le propose. La comparaison a retenu la meilleure offre de ce fournisseur pour chaque indicateur. Lors d’un autre test mené par Sarvam sur Kimi K3.1 Pro avec des traces d’agents de programmation et 16 GPU B200, le débit a atteint 6,177 jetons par seconde et par GPU, à environ 70 jetons par seconde et par utilisateur, contre 3,213 sur la courbe publiée par InferenceX.
La comparaison réalisée par Sarvam pour son propre DeepSeek V4.1 Flash est moins favorable : lors de son test de latence avec une requête de 10,000 jetons, Together a renvoyé le premier jeton en 0.71 seconde, contre 0.90 seconde pour Sarvam Standard. Un tableau distinct de Sarvam comparant les tarifs et la vitesse indique un débit de sortie de 278 jetons par seconde pour Together et de 130 pour Sarvam Standard. Les latences ont été mesurées du 3 au 5 novembre 2026, avec une seule requête à la fois et l’offre la plus rapide de chaque fournisseur.
Token Factory place la pile de service elle-même au cœur de l’offre. Son modèle économique associe le traitement en Inde et une migration compatible avec OpenAI aux économies de GPU permises par la mise en cache et le réglage propre à chaque modèle ; les résultats publiés font état de gains importants pour certaines charges de travail, mais montrent aussi que les avantages en matière de débit et de latence varient selon le modèle et le point de terminaison.












