Modele și platforme AI
Sarvam deschide o fabrică de tokenuri găzduită în India pentru modele cu ponderi deschise

Puncte cheieSarvam servește modele cu ponderi deschise de pe GPU-uri indiene, în loc să…
Vezi mai mult
- Sarvam servește modele cu ponderi deschise de pe GPU-uri indiene, în loc să redirecționeze cererile către API-uri ale dezvoltatorilor din străinătate.
- Separarea prefill de decode pe pool-uri distincte de GPU împiedică prompturile lungi de codare să blocheze sesiunile active de decodare.
- Comparația propriu-zisă a Sarvam cu DeepSeek arată că Together returnează primii tokeni mai rapid și transmite în flux la 278 de tokeni de ieșire pe secundă.
Pe 16 noiembrie 2026, Sarvam AI a lansat Sarvam Token Factory pentru dezvoltatori și companii, oferind acces la propriile modele cu ponderi deschise și la modele similare ale unor terți, găzduite în clustere GPU din India și accesibile printr-un singur API compatibil cu OpenAI. Sarvam afirmă că serviciul procesează deja peste 450 de miliarde de tokenuri DeepSeek V4.1 Flash pe zi.
La lansare sunt disponibile Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro și Gemma 4 31B. Documentația API precizează că Token Factory folosește aceeași cheie API, același SDK și aceleași credite ca celelalte API-uri Sarvam: utilizatorii schimbă model câmpul pentru a schimba modelul, iar clienții compatibili cu OpenAI pot fi direcționați către https://api.sarvam.ai/v2.
Prețuri, implementare și gestionarea datelor
Prețul introductiv pentru Sarvam 105B este de ₹10 pentru fiecare milion de tokenuri de intrare și de ₹25 pentru fiecare milion de tokenuri de ieșire. Punctul terminal Standard pentru DeepSeek V4.1 Flash 1017 costă, respectiv, ₹14 și ₹55. Pentru ambele, tariful tokenurilor de intrare stocate în cache este de ₹0,25 pentru fiecare milion de tokenuri, conform catalogului de prețuri. Documentația API precizează că prețurile introductive sunt valabile până la sfârșitul anului 2026; toate tarifele în rupii sunt fără GST.
Accesul nu se limitează la punctele terminale serverless, tarifate în funcție de utilizare. DeepSeek V4 Pro și Kimi K3.1 Pro sunt activate pentru fiecare organizație prin opțiunea Debit provisionat, în timp ce celelalte modele lansate sunt listate ca serverless. Clienții pot alege capacitate partajată sau dedicată. Sarvam oferă și stiva de optimizare a inferenței pentru implementare locală și afirmă că o folosește deja în acest mod pentru instituții cu cerințe critice.
Pagina produsului Sarvam precizează că inferența rulează pe GPU-uri operate de Sarvam în India, în loc ca solicitările să fie redirecționate către API-urile din străinătate ale dezvoltatorilor modelelor originale. În baza unui acord convenit de neconservare a datelor, solicitările și răspunsurile nu sunt păstrate; jurnalele operaționale sunt gestionate separat. Datele clienților nu sunt folosite pentru antrenarea modelelor destinate altor clienți, iar implementările pentru companii includ un acord contractual privind nivelul serviciilor, care garantează o disponibilitate de 99,95%.
Cache partajat pentru sesiuni lungi ale agenților
Stiva de servire separă etapa de preumplere, care citește întregul prompt, de etapa de decodare, care generează tokenuri unul câte unul, și execută cele două faze pe grupuri diferite de GPU-uri. Separarea este concepută astfel încât un nou prompt lung pentru codare să nu blocheze sesiunile de decodare active, lucru care se poate întâmpla când ambele faze folosesc același GPU. Un plan de control care ține cont de cache direcționează fiecare tură către contextul deja existent, iar la admiterea cererilor se numără doar tokenurile care nu sunt stocate în cache.
Un al doilea nivel de cache, stocarea G3 bazată pe Mooncake de la Moonshot, este accesibilă fiecărui server de preumplere și păstrează prompturile timp de ore sau zile, în funcție de trafic. Memoria GPU, singură, păstrează un prompt aproximativ patru secunde, perioadă care scade la aproximativ două secunde în condiții de încărcare. Diferența contează pentru agenții care revin după un apel de instrument cu un prompt aproape identic. Sarvam afirmă că 95,7% dintre tokenurile din prompturile DeepSeek V4.1 Flash sunt servite din cache și că G3 a redus de la 58 la 34 numărul maxim de noduri de preumplere necesare pentru GLM 5.3.
Pentru Sarvam 105B, compania afirmă că trecerea de la ponderi BF16 la MXFP8, un format pe 8 biți, împreună cu adăugarea decodării speculative, a mărit debitul de ieșire de aproximativ 2,2 ori și a redus numărul de GPU-uri B200 necesare pentru fiecare replică de la două la unul, fără a diminua precizia. Separat, un agent orchestrator atribuie experimentele de optimizare unor subagenți, însă un inginer aprobă fiecare modificare înainte de implementare.
Performanța pe modele și puncte terminale
Sarvam afirmă că Gemma 4 31B, într-un test median desfășurat timp de 72 de ore de la un client AWS din Mumbai, cu un prompt de 10.000 de tokenuri, a returnat primul token în 0,40 secunde și a generat în flux 308 tokenuri pe secundă. Singurul alt furnizor care oferea acces la model a înregistrat 2,00 secunde și 193 de tokenuri pe secundă. Comparația a folosit cel mai performant nivel al acelui furnizor pentru fiecare indicator. Într-un test separat realizat de Sarvam cu Kimi K3.1 Pro, pe trasee de agenți de codare și folosind 16 GPU-uri B200, s-au obținut 6.177 de tokenuri pe secundă per GPU, la aproximativ 70 de tokenuri pe secundă per utilizator, față de 3.213 pe curba de performanță publicată de InferenceX.
Comparația realizată de Sarvam pentru propriul serviciu DeepSeek V4.1 Flash este mai puțin favorabilă: în testul de latență cu un prompt de 10.000 de tokenuri, Together a returnat primul token în 0,71 secunde, față de 0,90 secunde pentru Sarvam Standard. Un tabel separat Sarvam privind prețul în raport cu viteza indică 278 de tokenuri de ieșire pe secundă pentru Together și 130 pentru Sarvam Standard. Valorile latenței au fost măsurate în perioada 3–5 noiembrie 2026, cu o singură solicitare procesată la un moment dat și folosind cel mai rapid nivel al fiecărui furnizor.
Token Factory pune în centrul ofertei chiar stiva de servire. Argumentul comercial reunește procesarea în India și migrarea către o soluție compatibilă cu OpenAI cu economiile de GPU obținute prin stocarea în cache și ajustarea fiecărui model; rezultatele publicate indică îmbunătățiri importante pentru anumite sarcini de lucru, dar arată și că avantajele de debit și latență variază în funcție de model și de punctul terminal.












