AI-modeller og platforme
Sarvam åbner tokenfabrik i Indien til modeller med åbne vægte

NøglepunkterSarvam leverer åbne vægtmodeller fra indiske GPU'er i stedet for at videresende…
Vis mere
- Sarvam leverer åbne vægtmodeller fra indiske GPU'er i stedet for at videresende anmodninger til udenlandske udvikler-API'er.
- At adskille prefill fra decode på separate GPU-puljer forhindrer lange kodningsprompter i at blokere aktive dekodningssessioner.
- Sarvams egen DeepSeek-sammenligning viser, at Together returnerer de første tokens hurtigere og streamer med 278 output-tokens per sekund.
Sarvam AI lancerede den 16. november 2026 Sarvam Token Factory til udviklere og virksomheder. Tjenesten leverer virksomhedens egne modeller og tredjepartsmodeller med åbne vægte fra GPU-klynger i Indien via én OpenAI-kompatibel API. Sarvam oplyser, at tjenesten allerede håndterer mere end 450 milliarder DeepSeek V4.1 Flash-tokens om dagen.
Lanceringen omfatter Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro og Gemma 4 31B. Ifølge API-dokumentationen bruger Token Factory samme API-nøgle, SDK og kreditter som Sarvams øvrige API’er: Brugerne ændrer model feltet for at skifte model, mens OpenAI-kompatible klienter kan konfigureres til at bruge https://api.sarvam.ai/v2.
Priser, implementering og datahåndtering
Introduktionsprisen for Sarvam 105B er ₹10 pr. million inputtokens og ₹25 pr. million outputtokens. Standard-endpointet for DeepSeek V4.1 Flash 1017 koster henholdsvis ₹14 og ₹55. Begge har en pris på ₹0,25 pr. million tokens for cachelagrede inputtokens i priskataloget. API-dokumentationen oplyser, at introduktionspriserne gælder frem til udgangen af 2026; alle priser i rupier er eksklusive GST.
Adgangen omfatter mere end serverløse endpoints med betaling efter forbrug. DeepSeek V4 Pro og Kimi K3.1 Pro aktiveres for hver organisation under Provisioned Throughput, mens de øvrige modeller fra lanceringen er angivet som serverløse. Kunderne kan vælge delt eller dedikeret kapacitet. Sarvam tilbyder også sin stak til optimering af inferens til lokal implementering og oplyser, at den allerede drives på denne måde for kritiske institutioner.
Ifølge Sarvams produktside udføres inferens på GPU’er, som Sarvam driver i Indien, i stedet for at blive videresendt til de oprindelige modeludvikleres API’er i udlandet. Når der er indgået en aftale om nul dataopbevaring, gemmes prompter og svar ikke; driftslogfiler håndteres særskilt. Kundedata bruges ikke til at træne modeller for andre kunder, og virksomhedsimplementeringer er omfattet af en kontraktlig serviceniveauaftale, der garanterer 99,95 % oppetid.
Delt cache til lange agentsessioner
Serveringsstakken adskiller prefill, som læser hele prompten, fra decode, som genererer tokens ét ad gangen, og kører de to faser på forskellige GPU-puljer. Adskillelsen skal forhindre, at en ny, lang kodeprompt forsinker aktive decodesessioner, hvilket kan ske, når begge faser deler en GPU. Et cachebevidst kontrolplan dirigerer hver tur til dens eksisterende kontekst, mens det ved optagelse kun medregner tokens, der ikke er cachelagret.
Et andet cachelag, Moonshots G3-lager baseret på Mooncake, er tilgængeligt for alle prefill-servere og gemmer prompter i timer eller dage, afhængigt af trafikken. GPU-hukommelsen alene gemmer en prompt i omkring fire sekunder, og under belastning falder tiden til omkring to sekunder. Forskellen er vigtig for agenter, der vender tilbage efter et værktøjskald med en næsten identisk prompt. Sarvam oplyser, at 95,7 % af prompttokens for DeepSeek V4.1 Flash leveres fra cachen, og at G3 reducerede det maksimale behov for prefill-noder til GLM 5.3 fra 58 til 34.
For Sarvam 105B oplyser virksomheden, at overgangen fra BF16-vægte til MXFP8, et 8-bit-format, sammen med tilføjelsen af spekulativ afkodning øgede outputgennemløbet omkring 2,2 gange, samtidig med at antallet af GPU’er pr. replika blev reduceret fra to B200-GPU’er til én, uden at nøjagtigheden faldt. Separat tildeler en orkestratoragent optimeringseksperimenter til underagenter, men en ingeniør skal godkende hver ændring før implementering.
Ydeevne på tværs af modeller og endpoints
Sarvam oplyser, at Gemma 4 31B i en 72-timers medianmåling fra en AWS-klient i Mumbai med en prompt på 10.000 tokens leverede det første token på 0,40 sekunder og streamede med 308 tokens i sekundet. Den eneste anden udbyder, der leverede modellen, brugte henholdsvis 2,00 sekunder og 193 tokens i sekundet. Sammenligningen brugte den pågældende udbyders bedste niveau for hvert mål. En separat Sarvam-test af Kimi K3.1 Pro med spor fra kodeagenter og 16 B200-GPU’er opnåede 6.177 tokens i sekundet pr. GPU ved cirka 70 tokens i sekundet pr. bruger, sammenlignet med 3.213 på InferenceX’ offentliggjorte kurve.
Sarvams egen sammenligning af DeepSeek V4.1 Flash er mindre fordelagtig: I deres latenstest med en prompt på 10.000 tokens leverede Together det første token på 0,71 sekunder mod 0,90 sekunder for Sarvam Standard. En separat tabel fra Sarvam over pris i forhold til hastighed angiver 278 outputtokens i sekundet for Together og 130 for Sarvam Standard. Latenstallene blev målt fra den 3. til den 5. november 2026 med én anmodning ad gangen og hver udbyders hurtigste niveau.
Token Factory gør selve serveringsstakken til hovedproduktet. Forretningsgrundlaget kombinerer databehandling i Indien og mulighed for migrering med OpenAI-kompatibilitet med GPU-besparelser fra caching og finjustering for hver model. De offentliggjorte resultater viser betydelige gevinster i udvalgte arbejdsbelastninger, men også, at fordele i gennemløb og latenstid varierer mellem modeller og endpoints.












