Modelos e plataformas de IA
Sarvam inaugura uma fábrica de tokens hospedada na Índia para modelos de pesos abertos

Pontos-chaveA Sarvam serve modelos de pesos abertos a partir de GPUs indianas, em vez de encaminhar…
Ver mais
- A Sarvam serve modelos de pesos abertos a partir de GPUs indianas, em vez de encaminhar pedidos para APIs de programadores no estrangeiro.
- Separar o prefill do decode em pools de GPU distintos evita que prompts de programação longos bloqueiem sessões de decodificação ativas.
- A própria comparação da Sarvam com a DeepSeek mostra que a Together devolve os primeiros tokens mais rapidamente e faz streaming a 278 tokens de saída por segundo.
Em 16 de novembro de 2026, a Sarvam AI lançou a Sarvam Token Factory para desenvolvedores e empresas, disponibilizando seus próprios modelos de pesos abertos e modelos de terceiros em clusters de GPUs na Índia por meio de uma única API compatível com a OpenAI. A Sarvam informa que o serviço já processa mais de 450 bilhões de tokens do DeepSeek V4.1 Flash por dia.
O conjunto de modelos lançado inclui Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro e Gemma 4 31B. A documentação da API informa que a Token Factory usa a mesma chave de API, o mesmo SDK e os mesmos créditos que as outras APIs da Sarvam: os usuários alteram o model campo para trocar de modelo, enquanto clientes compatíveis com a OpenAI podem ser direcionados para https://api.sarvam.ai/v2.
Preços, implantação e tratamento de dados
O preço promocional do Sarvam 105B é de ₹10 por milhão de tokens de entrada e ₹25 por milhão de tokens de saída. O endpoint Standard do DeepSeek V4.1 Flash 1017 custa ₹14 e ₹55, respectivamente. Ambos têm tarifas de ₹0,25 por milhão de tokens de entrada em cache no catálogo de preços. A documentação da API informa que os preços promocionais vigoram até o fim de 2026; todas as tarifas em rúpias não incluem o GST.
O acesso vai além de endpoints sem servidor com cobrança baseada no uso. O DeepSeek V4 Pro e o Kimi K3.1 Pro são habilitados por organização no Provisioned Throughput, enquanto os outros modelos lançados estão listados como sem servidor. Os clientes podem escolher capacidade compartilhada ou dedicada. A Sarvam também oferece sua pilha de otimização de inferência para implantação nas próprias instalações e afirma que ela já funciona dessa forma em instituições essenciais.
A página do produto da Sarvam informa que a inferência é executada em GPUs operadas pela própria empresa na Índia, em vez de ser encaminhada às APIs no exterior dos desenvolvedores originais dos modelos. Nos termos de um acordo de retenção zero de dados, prompts e respostas não são retidos; os registros operacionais são tratados separadamente. Os dados dos clientes não são usados para treinar modelos para outros clientes, e as implantações empresariais incluem um acordo contratual de nível de serviço que garante 99,95% de disponibilidade.
Cache compartilhado para sessões longas de agentes
A pilha de atendimento separa o pré-preenchimento, que lê o prompt completo, da decodificação, que gera tokens um de cada vez, e executa as duas fases em conjuntos diferentes de GPUs. Essa separação foi projetada para evitar que um novo prompt longo de programação interrompa sessões de decodificação em andamento, como pode ocorrer quando as duas fases compartilham uma GPU. Um plano de controle que leva o cache em conta direciona cada turno para o contexto já existente, enquanto a admissão contabiliza apenas os tokens que não estão em cache.
Uma segunda camada de cache, o armazenamento G3 da Moonshot, baseado no Mooncake, está disponível para todos os servidores de pré-preenchimento e retém prompts por horas ou dias, dependendo do tráfego. A memória da GPU, sozinha, mantém um prompt por cerca de quatro segundos, período que cai para cerca de dois segundos sob carga. Essa diferença é importante para agentes que retornam após uma chamada de ferramenta com um prompt quase idêntico. A Sarvam informa que 95,7% dos tokens de prompt do DeepSeek V4.1 Flash são atendidos pelo cache e que o G3 reduziu de 58 para 34 o número de nós de pré-preenchimento necessários no pico para o GLM 5.3.
Para o Sarvam 105B, a empresa informa que a mudança de pesos BF16 para MXFP8, um formato de 8 bits, e a adição de decodificação especulativa aumentaram a taxa de processamento de saída em cerca de 2,2 vezes, reduzindo de duas para uma as GPUs B200 por réplica, sem diminuir a precisão. Separadamente, um agente orquestrador atribui experimentos de otimização a subagentes, mas um engenheiro aprova cada alteração antes da implantação.
Desempenho entre modelos e endpoints
A Sarvam informa que, em um teste de 72 horas com resultados medianos, usando um prompt de 10.000 tokens enviado por um cliente da AWS em Mumbai, o Gemma 4 31B retornou o primeiro token em 0,40 segundo e transmitiu 308 tokens por segundo. O único outro provedor que o disponibiliza levou 2,00 segundos e transmitiu 193 tokens por segundo. A comparação usou o melhor nível daquele provedor para cada métrica. Em um teste separado da Sarvam com o Kimi K3.1 Pro, rastros de agentes de programação e 16 GPUs B200, a taxa foi de 6.177 tokens por segundo por GPU, a cerca de 70 tokens por segundo por usuário, em comparação com 3.213 na curva publicada pela InferenceX.
A comparação feita pela própria Sarvam para o DeepSeek V4.1 Flash é menos favorável: no teste de latência com um prompt de 10.000 tokens, a Together retornou o primeiro token em 0,71 segundo, contra 0,90 segundo no Standard da Sarvam. Uma tabela separada da Sarvam que compara preço e velocidade indica 278 tokens de saída por segundo para a Together e 130 para o Standard da Sarvam. Os valores de latência foram medidos de 3 a 5 de novembro de 2026, com uma solicitação por vez e usando o nível mais rápido de cada provedor.
A Token Factory coloca a própria pilha de atendimento no centro do produto. Sua proposta de negócio combina processamento na Índia e migração compatível com a OpenAI com economia de GPUs obtida por meio de cache e ajustes específicos para cada modelo; os resultados publicados mostram ganhos expressivos em determinadas cargas de trabalho, mas também indicam que as vantagens de taxa de processamento e latência variam conforme o modelo e o endpoint.












