Modelos y plataformas de IA

Sarvam inaugura una fábrica de tokens en India para modelos de pesos abiertos

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveSarvam sirve modelos de pesos abiertos desde GPUs indias en lugar de reenviar…
Ver más
  • Sarvam sirve modelos de pesos abiertos desde GPUs indias en lugar de reenviar solicitudes a APIs de desarrolladores en el extranjero.
  • Separar la prefill de la decode en distintos grupos de GPUs evita que los prompts largos de programación bloqueen las sesiones de decodificación activas.
  • La propia comparación de Sarvam con DeepSeek muestra que Together devuelve los primeros tokens más rápido y transmite a 278 tokens de salida por segundo.

El 16 de noviembre de 2026, Sarvam AI lanzó Sarvam Token Factory para desarrolladores y empresas. El servicio ofrece modelos de pesos abiertos propios y de terceros desde clústeres de GPU en India, a través de una única API compatible con OpenAI. Sarvam informa que el servicio ya procesa más de 450.000 millones de tokens diarios de DeepSeek V4.1 Flash.

La oferta inicial incluye Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro y Gemma 4 31B. La documentación de la API indica que Token Factory utiliza la misma clave de API, el mismo SDK y los mismos créditos que las demás API de Sarvam: los usuarios cambian el model campo para cambiar de modelo, mientras que los clientes compatibles con OpenAI pueden configurarse para apuntar a https://api.sarvam.ai/v2.

Precios, implementación y gestión de datos

El precio introductorio de Sarvam 105B es de ₹10 por millón de tokens de entrada y ₹25 por millón de tokens de salida. El punto de acceso estándar de DeepSeek V4.1 Flash 1017 cuesta ₹14 y ₹55, respectivamente. Ambos tienen una tarifa de ₹0,25 por millón de tokens de entrada en caché, según el catálogo de precios. La documentación de la API indica que los precios introductorios estarán vigentes hasta finales de 2026; todas las tarifas en rupias excluyen el GST.

El acceso no se limita a puntos de acceso sin servidor con precios basados en el uso. DeepSeek V4 Pro y Kimi K3.1 Pro están habilitados por organización mediante Rendimiento aprovisionado, mientras que los demás modelos de lanzamiento figuran como opciones sin servidor. Los clientes pueden elegir capacidad compartida o dedicada. Sarvam también ofrece su conjunto de optimización de inferencia para implementaciones locales y afirma que ya lo utiliza de esa manera en instituciones críticas.

La página del producto de Sarvam indica que la inferencia se ejecuta en GPU operadas por Sarvam en India, en lugar de reenviarse a las API en el extranjero de los desarrolladores originales de los modelos. Si se acuerda una política de retención cero de datos, no se conservan las instrucciones ni las respuestas; los registros operativos se rigen por condiciones aparte. Los datos de los clientes no se utilizan para entrenar modelos destinados a otros clientes, y las implementaciones empresariales incluyen un acuerdo contractual de nivel de servicio que garantiza un tiempo de actividad del 99,95 %.

Caché compartida para sesiones prolongadas de agentes

La infraestructura de servicio separa el prellenado, que lee la instrucción completa, de la decodificación, que genera tokens de uno en uno, y ejecuta ambas fases en grupos de GPU distintos. Esta separación busca evitar que una nueva instrucción larga de programación interrumpa las sesiones de decodificación activas, como puede ocurrir cuando ambas fases comparten una GPU. Un plano de control que tiene en cuenta la caché dirige cada turno al contexto existente, mientras que el control de admisión cuenta solo los tokens que no están en caché.

Un segundo nivel de caché, el almacén G3 basado en Mooncake de Moonshot, está disponible para todos los servidores de prellenado y conserva las instrucciones durante horas o días, según el tráfico. La memoria de la GPU por sí sola mantiene una instrucción durante unos cuatro segundos, y ese tiempo baja a unos dos segundos bajo carga. Esta diferencia es importante para los agentes que regresan después de una llamada a una herramienta con una instrucción casi idéntica. Sarvam informa que el 95,7 % de los tokens de las instrucciones de DeepSeek V4.1 Flash se sirven desde la caché y que G3 redujo de 58 a 34 la cantidad máxima de nodos de prellenado necesarios para GLM 5.3.

Para Sarvam 105B, la empresa informa que pasar de pesos BF16 a MXFP8, un formato de 8 bits, y añadir decodificación especulativa aumentó el rendimiento de salida unas 2,2 veces y redujo de dos a una las GPU B200 necesarias por réplica, sin disminuir la precisión. Por separado, un agente orquestador asigna experimentos de optimización a subagentes, pero un ingeniero aprueba cada cambio antes de su implementación.

Rendimiento en distintos modelos y puntos de acceso

Sarvam informa que Gemma 4 31B, en una prueba de 72 horas con medición de la mediana, realizada desde un cliente de AWS en Bombay y con una instrucción de 10.000 tokens, devolvió el primer token en 0,40 segundos y generó 308 tokens por segundo. El único otro proveedor que ofrecía ese modelo registró 2,00 segundos y 193 tokens por segundo. La comparación utilizó el mejor nivel de ese proveedor para cada métrica. En una prueba aparte de Sarvam con Kimi K3.1 Pro, trazas de agentes de programación y 16 GPU B200, se obtuvieron 6.177 tokens por segundo por GPU, con unos 70 tokens por segundo por usuario, frente a los 3.213 de la curva publicada por InferenceX.

La comparación de Sarvam con su propio DeepSeek V4.1 Flash arroja resultados menos favorables: en su prueba de latencia con una instrucción de 10.000 tokens, Together devolvió el primer token en 0,71 segundos, frente a los 0,90 segundos de Sarvam Standard. Una tabla aparte de Sarvam sobre precio y velocidad indica que Together alcanza 278 tokens de salida por segundo y Sarvam Standard, 130. Las cifras de latencia se midieron del 3 al 5 de noviembre de 2026, con una solicitud a la vez y el nivel más rápido de cada proveedor.

Token Factory convierte la propia infraestructura de servicio en el producto central. Su propuesta de negocio combina el procesamiento en India y la migración compatible con OpenAI con el ahorro de GPU que aportan el uso de la caché y el ajuste por modelo; los resultados publicados muestran mejoras sustanciales en determinadas cargas de trabajo, pero también que las ventajas de rendimiento y latencia varían según el modelo y el punto de acceso.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.