Modely a platformy AI
Sarvam otevírá v Indii hostovanou továrnu na tokeny pro modely s otevřenými vahami

Klíčové bodySarvam poskytuje open-weight modely z indických GPU namísto předávání požadavků do…
Zobrazit více
- Sarvam poskytuje open-weight modely z indických GPU namísto předávání požadavků do zámořských vývojářských API.
- Oddělení prefill od decode na samostatných GPU poolech zabraňuje tomu, aby dlouhé programovací prompty blokovaly aktivní dekódovací relace.
- Sarvamovo vlastní srovnání s DeepSeek ukazuje, že Together vrací první tokeny rychleji a streamuje rychlostí 278 výstupních tokenů za sekundu.
Společnost Sarvam AI spustila Sarvam Token Factory 16. listopadu 2026 pro vývojáře a podniky. Služba prostřednictvím jediného rozhraní API kompatibilního s OpenAI zpracovává vlastní i cizí modely s otevřenými vahami na GPU clusterech v Indii. Sarvam uvádí, že služba již denně zpracovává více než 450 miliard tokenů DeepSeek V4.1 Flash.
Modely dostupné při spuštění zahrnují Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro a Gemma 4 31B. V dokumentaci k API se uvádí, že Token Factory používá stejný klíč API, SDK a kredity jako ostatní rozhraní API společnosti Sarvam: uživatelé změní model pole, aby přepnuli model, zatímco klienty kompatibilní s OpenAI lze nasměrovat na https://api.sarvam.ai/v2.
Ceny, nasazení a nakládání s daty
Úvodní cena modelu Sarvam 105B činí ₹10 za milion vstupních tokenů a ₹25 za milion výstupních tokenů. Standardní koncový bod pro DeepSeek V4.1 Flash 1017 stojí 14 ₹ za vstupní a 55 ₹ za výstupní tokeny. U obou modelů činí sazba za vstupní tokeny z mezipaměti 0,25 ₹ za milion tokenů podle ceníku. Dokumentace k API uvádí, že úvodní ceny platí do konce roku 2026; všechny ceny v rupiích jsou uvedeny bez GST.
Přístup se neomezuje jen na bezserverové koncové body účtované podle využití. Modely DeepSeek V4 Pro a Kimi K3.1 Pro jsou pro každou organizaci dostupné v rámci Provisioned Throughput, zatímco ostatní modely uvedené při spuštění jsou vedeny jako bezserverové. Zákazníci si mohou zvolit sdílenou nebo vyhrazenou kapacitu. Sarvam nabízí také sadu nástrojů pro optimalizaci inference určenou k nasazení v místním prostředí a uvádí, že ji tímto způsobem již provozuje pro kriticky důležité instituce.
Na stránce produktu Sarvam uvádí, že inference probíhá na GPU provozovaných společností Sarvam v Indii a požadavky se nepřeposílají na zahraniční API původních vývojářů modelů. Při sjednaném režimu nulového uchovávání dat se vstupní prompty ani odpovědi neukládají; rozsah provozních protokolů je vymezen samostatně. Údaje zákazníků se nepoužívají k trénování modelů pro jiné zákazníky a na podniková nasazení se vztahuje smluvní dohoda o úrovni služeb, která zaručuje dostupnost 99,95 %.
Sdílená mezipaměť pro dlouhé relace agentů
Obslužná infrastruktura odděluje fázi předzpracování promptu (prefill), která načte celý prompt, od fáze dekódování (decode), která generuje tokeny postupně, jeden po druhém, a obě fáze provozuje na různých skupinách GPU. Toto oddělení má zabránit tomu, aby nový dlouhý prompt pro programování zablokoval právě probíhající dekódování, k čemuž může dojít, když obě fáze sdílejí jednu GPU. Řídicí rovina zohledňující mezipaměť směruje každý požadavek k již uloženému kontextu, přičemž při přijímání požadavků započítává pouze tokeny, které v mezipaměti nejsou.
Druhá vrstva mezipaměti, úložiště G3 založené na Mooncake od Moonshotu, je dostupná každému serveru pro předzpracování promptů a uchovává prompty po dobu několika hodin nebo dní podle provozu. Samotná paměť GPU uchová prompt přibližně čtyři sekundy, při zátěži se tato doba zkracuje zhruba na dvě sekundy. Tento rozdíl je důležitý pro agenty, kteří se po volání nástroje vracejí s téměř totožným promptem. Sarvam uvádí, že 95,7 % promptových tokenů modelu DeepSeek V4.1 Flash se obslouží z mezipaměti a že úložiště G3 snížilo požadavky na počet předzpracovatelských uzlů GLM 5.3 ve špičce z 58 na 34.
Společnost uvádí, že u modelu Sarvam 105B zvýšil přechod od vah BF16 k 8bitovému formátu MXFP8 spolu s přidáním spekulativního dekódování propustnost výstupu přibližně 2,2krát a zároveň snížil počet GPU B200 potřebných pro každou repliku ze dvou na jednu, aniž by se snížila přesnost. Samostatně agent koordinující optimalizaci zadává experimenty podřízeným agentům, ale každou změnu před nasazením schvaluje inženýr.
Výkon napříč modely a koncovými body
Sarvam uvádí, že model Gemma 4 31B v testu trvajícím 72 hodin dosáhl při použití klienta AWS Mumbai a promptu o délce 10 000 tokenů mediánu 0,40 sekundy do vygenerování prvního tokenu a rychlosti streamování 308 tokenů za sekundu. Jediný další poskytovatel, který tento model nabízel, dosáhl 2,00 sekundy a 193 tokenů za sekundu. Srovnání použilo nejlepší úroveň služby tohoto poskytovatele pro každou metriku. V samostatném testu společnosti Sarvam s modelem Kimi K3.1 Pro, trasami úloh programovacích agentů a 16 GPU B200 činila propustnost 6 177 tokenů za sekundu na GPU, tedy přibližně 70 tokenů za sekundu na uživatele; publikovaná křivka InferenceX uvádí 3 213.
Srovnání modelu DeepSeek V4.1 Flash, které zveřejnila sama společnost Sarvam, vychází méně příznivě: v testu latence s promptem o délce 10 000 tokenů vygenerovala služba Together první token za 0,71 sekundy, zatímco Sarvam Standard za 0,90 sekundy. V samostatné tabulce Sarvam porovnávající cenu a rychlost je u služby Together uvedeno 278 výstupních tokenů za sekundu a u Sarvam Standard 130. Latence se měřila od 3. do 5. listopadu 2026, vždy při jednom požadavku a s použitím nejrychlejší úrovně služby každého poskytovatele.
Token Factory staví samotnou obslužnou infrastrukturu do role hlavního produktu. Její obchodní přínos spojuje zpracování dat v Indii a možnost přechodu bez úprav na rozhraní kompatibilní s OpenAI s úsporami GPU díky ukládání do mezipaměti a ladění jednotlivých modelů. Zveřejněné výsledky ukazují výrazné zlepšení u vybraných úloh, ale také to, že výhody v propustnosti a latenci se liší podle modelu a koncového bodu.












