Modelli e piattaforme di IA
Sarvam apre una piattaforma di generazione di token in India per modelli open-weight

Punti chiaveSarvam serve modelli open-weight da GPU indiane invece di inoltrare le richieste alle…
Vedi di più
- Sarvam serve modelli open-weight da GPU indiane invece di inoltrare le richieste alle API di sviluppatori esteri.
- Separare la prefill dalla decode su pool di GPU distinti impedisce che i lunghi prompt di programmazione blocchino le sessioni di decoding attive.
- Il confronto di Sarvam con DeepSeek mostra che Together restituisce i primi token più rapidamente e trasmette a 278 token di output al secondo.
Il 16 novembre 2026, Sarvam AI ha lanciato Sarvam Token Factory per sviluppatori e aziende, offrendo i propri modelli open-weight e quelli di terze parti da cluster di GPU in India tramite un’unica API compatibile con OpenAI. Sarvam riferisce che il servizio gestisce già oltre 450 miliardi di token al giorno di DeepSeek V4.1 Flash.
La gamma di lancio comprende Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro e Gemma 4 31B. La documentazione dell’API spiega che Token Factory usa la stessa chiave API, lo stesso SDK e gli stessi crediti delle altre API di Sarvam: gli utenti modificano il model campo per passare da un modello all’altro, mentre i client compatibili con OpenAI possono essere configurati per usare https://api.sarvam.ai/v2.
Prezzi, modalità di distribuzione e gestione dei dati
Il prezzo di lancio di Sarvam 105B è di ₹10 per milione di token di input e ₹25 per milione di token di output. L’endpoint Standard di DeepSeek V4.1 Flash 1017 costa rispettivamente ₹14 e ₹55. Entrambi applicano una tariffa di ₹0,25 per milione di token di input memorizzati nella cache, secondo il listino prezzi. La documentazione dell’API specifica che i prezzi di lancio resteranno in vigore fino alla fine del 2026; tutte le tariffe in rupie sono al netto della GST.
L’accesso non si limita agli endpoint serverless a consumo. DeepSeek V4 Pro e Kimi K3.1 Pro sono abilitati per ciascuna organizzazione nell’ambito del throughput provisionato, mentre gli altri modelli di lancio sono indicati come serverless. I clienti possono scegliere una capacità condivisa o dedicata. Sarvam offre inoltre il proprio stack di ottimizzazione dell’inferenza per l’installazione on-premise e afferma che è già operativo in questa modalità presso istituzioni critiche.
La pagina del prodotto di Sarvam spiega che l’inferenza viene eseguita su GPU gestite da Sarvam in India, anziché essere inoltrata alle API estere degli sviluppatori originali dei modelli. In base a un accordo concordato di conservazione zero dei dati, prompt e risposte non vengono conservati; i log operativi sono soggetti a regole distinte. I dati dei clienti non vengono usati per addestrare modelli destinati ad altri clienti e le implementazioni aziendali includono un accordo contrattuale sul livello di servizio che garantisce un tempo di attività del 99,95%.
Una cache condivisa per sessioni prolungate degli agenti
Lo stack di serving separa il prefill, che legge l’intero prompt, dal decode, che genera i token uno alla volta, ed esegue le due fasi su pool di GPU distinti. Questa separazione è pensata per evitare che un nuovo prompt di programmazione lungo blocchi le sessioni di decodifica in corso, come può accadere quando entrambe le fasi condividono una GPU. Un piano di controllo consapevole della cache indirizza ogni turno al contesto già esistente, mentre il conteggio in fase di ammissione considera soltanto i token non presenti nella cache.
Un secondo livello di cache, l’archivio G3 basato su Mooncake di Moonshot, è accessibile a ogni server di prefill e conserva i prompt per ore o giorni, a seconda del traffico. La sola memoria della GPU conserva un prompt per circa quattro secondi, che diventano circa due sotto carico. Questa differenza è importante per gli agenti che, dopo una chiamata a uno strumento, riprendono con un prompt pressoché identico. Sarvam riferisce che il 95,7% dei token dei prompt di DeepSeek V4.1 Flash viene servito dalla cache e che G3 ha ridotto da 58 a 34 il numero massimo di nodi di prefill necessari per GLM 5.3.
Per Sarvam 105B, l’azienda riferisce che il passaggio dai pesi BF16 a MXFP8, un formato a 8 bit, e l’aggiunta della decodifica speculativa hanno aumentato il throughput di output di circa 2,2 volte e ridotto il numero di GPU B200 per replica da due a una, senza diminuire la precisione. Separatamente, un agente orchestratore assegna gli esperimenti di ottimizzazione ad agenti secondari, ma un ingegnere approva ogni modifica prima della distribuzione.
Prestazioni con diversi modelli ed endpoint
Sarvam riferisce che Gemma 4 31B, in un test mediano della durata di 72 ore condotto da un client AWS di Mumbai con un prompt di 10.000 token, ha restituito il primo token in 0,40 secondi e ha generato 308 token al secondo. L’unico altro provider che lo offriva ha impiegato 2,00 secondi e raggiunto 193 token al secondo. Per ciascuna metrica, il confronto ha usato il livello migliore di quel provider. In un test distinto di Sarvam su Kimi K3.1 Pro, con tracce di agenti di programmazione e 16 GPU B200, sono stati generati 6.177 token al secondo per GPU, a circa 70 token al secondo per utente, contro i 3.213 indicati nella curva pubblicata da InferenceX.
Il confronto condotto da Sarvam stessa su DeepSeek V4.1 Flash è meno favorevole: nel test di latenza con un prompt di 10.000 token, Together ha restituito il primo token in 0,71 secondi, contro gli 0,90 secondi di Sarvam Standard. Una tabella distinta di Sarvam che confronta prezzo e velocità indica 278 token di output al secondo per Together e 130 per Sarvam Standard. I valori di latenza sono stati misurati dal 3 al 5 novembre 2026, con una richiesta per volta e usando il livello più veloce di ciascun provider.
Con Token Factory, il prodotto centrale diventa lo stack di serving stesso. La proposta commerciale combina l’elaborazione in India e la migrazione compatibile con OpenAI con il risparmio sulle GPU ottenuto grazie alla cache e all’ottimizzazione per ciascun modello; i risultati pubblicati mostrano miglioramenti sostanziali in alcuni carichi di lavoro, ma anche che i vantaggi in termini di throughput e latenza variano a seconda del modello e dell’endpoint.












