AI-modeller og plattformer

Sarvam åpner en tokenfabrikk i India for modeller med åpne vekter

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterSarvam tilbyr åpne vektmodeller fra indiske GPU-er i stedet for å videresende…
Vis mer
  • Sarvam tilbyr åpne vektmodeller fra indiske GPU-er i stedet for å videresende forespørsler til utenlandske utvikler-API-er.
  • Å skille prefill fra decode på separate GPU-pooler hindrer lange kodeprompter i å blokkere aktive dekodingsøkter.
  • Sarvams egen DeepSeek-sammenligning viser at Together returnerer første tokens raskere og strømmer med 278 output-tokens per sekund.

Sarvam AI lanserte Sarvam Token Factory 16. november 2026 for utviklere og bedrifter. Tjenesten leverer selskapets egne modeller og tredjepartsmodeller med åpne vekter fra GPU-klynger i India via ett OpenAI-kompatibelt API. Sarvam opplyser at tjenesten allerede håndterer mer enn 450 milliarder DeepSeek V4.1 Flash-tokener om dagen.

Lanseringen omfatter Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro og Gemma 4 31B. I API-dokumentasjonen står det at Token Factory bruker samme API-nøkkel, SDK og kreditter som Sarvams øvrige API-er: Brukerne endrer model feltet for å bytte modell, mens OpenAI-kompatible klienter kan konfigureres til å bruke https://api.sarvam.ai/v2.

Priser, utrulling og datahåndtering

Introduksjonsprisen for Sarvam 105B er ₹10 per million inndatatokener og ₹25 per million utdatatokener. Standard-endepunktet for DeepSeek V4.1 Flash 1017 koster henholdsvis ₹14 og ₹55. Begge har en pris på ₹0,25 per million bufrede inndatatokener i priskatalogen. I API-dokumentasjonen står det at introduksjonsprisene gjelder ut 2026; alle priser i rupier er eksklusive GST.

Tilgangen omfatter mer enn serverløse endepunkter med forbruksbasert betaling. DeepSeek V4 Pro og Kimi K3.1 Pro aktiveres for hver enkelt organisasjon gjennom Provisioned Throughput, mens de øvrige modellene fra lanseringen er oppført som serverløse. Kundene kan velge mellom delt og dedikert kapasitet. Sarvam tilbyr også optimaliseringsstakken for inferens til lokal utrulling og sier at den allerede brukes på denne måten av kritiske institusjoner.

På Sarvams produktside står det at inferensen kjøres på GPU-er som Sarvam drifter i India, i stedet for å videresendes til de opprinnelige modellutviklernes API-er i utlandet. Når det er avtalt at data ikke skal lagres, beholdes ikke forespørsler og svar; driftslogger er underlagt egne rammer. Kundedata brukes ikke til å trene modeller for andre kunder, og bedriftsutrullinger omfattes av en kontraktsfestet tjenestenivåavtale som garanterer 99,95 % oppetid.

Delt hurtigbuffer for lange agentsesjoner

Betjeningsstakken skiller mellom prefill, som leser hele ledeteksten, og dekoding, som genererer tokener ett om gangen, og kjører de to fasene på separate GPU-pooler. Dette skillet skal hindre at en ny, lang kodeforespørsel forsinker aktive dekodingsøkter, slik det kan skje når begge fasene deler en GPU. Et hurtigbufferbevisst kontrollplan ruter hver tur mot konteksten som allerede er lagret, mens bare tokener som ikke er bufret, telles med ved innlasting.

Et andre hurtigbufferlag, Moonshots G3-lager basert på Mooncake, er tilgjengelig for alle prefill-servere og beholder ledetekster i timer eller dager, avhengig av trafikken. GPU-minnet alene holder på en ledetekst i rundt fire sekunder, og under belastning faller tiden til rundt to sekunder. Denne forskjellen er viktig for agenter som kommer tilbake etter et verktøykall med nesten samme ledetekst. Sarvam opplyser at 95,7 % av ledeteksttokenene for DeepSeek V4.1 Flash leveres fra hurtigbufferen, og at G3 reduserte behovet for prefill-noder for GLM 5.3 ved toppbelastning fra 58 til 34.

For Sarvam 105B opplyser selskapet at overgangen fra BF16-vekter til MXFP8, et 8-bitsformat, kombinert med spekulativ dekoding økte utdatagjennomstrømningen med omtrent 2,2 ganger og reduserte antallet GPU-er per replika fra to B200-GPU-er til én, uten at nøyaktigheten gikk ned. En orkestratoragent tildeler optimaliseringseksperimenter til underagenter, men en ingeniør godkjenner hver endring før utrulling.

Ytelse på tvers av modeller og endepunkter

Sarvam opplyser at Gemma 4 31B, i en test med medianmålinger over 72 timer fra en AWS-klient i Mumbai og en ledetekst på 10 000 tokener, leverte det første tokenet på 0,40 sekunder og strømmet med 308 tokener per sekund. Den eneste andre leverandøren som tilbyr modellen, brukte henholdsvis 2,00 sekunder og 193 tokener per sekund. Sammenligningen brukte leverandørens beste nivå for hvert måltall. I en separat test av Kimi K3.1 Pro med kodingsagentspor og 16 B200-GPU-er målte Sarvam 6 177 tokener per sekund per GPU, ved omtrent 70 tokener per sekund per bruker. InferenceX’ publiserte kurve viste 3 213.

Sarvams egen sammenligning av DeepSeek V4.1 Flash viser et mindre gunstig resultat: I en test av latenstid med en ledetekst på 10 000 tokener leverte Together det første tokenet på 0,71 sekunder, mot 0,90 sekunder for Sarvam Standard. En separat tabell fra Sarvam over pris målt mot hastighet oppgir 278 utdatatokener per sekund for Together og 130 for Sarvam Standard. Latenstallene ble målt 3.–5. november 2026 med én forespørsel om gangen og den raskeste tjenestenivåklassen hos hver leverandør.

Token Factory gjør selve betjeningsstakken til hovedproduktet. Forretningsgrunnlaget kombinerer prosessering i India og overgang til OpenAI-kompatible løsninger med GPU-besparelser fra hurtigbufring og modellspesifikk finjustering. De publiserte resultatene viser betydelige forbedringer i utvalgte arbeidsbelastninger, men også at fordelene når det gjelder gjennomstrømning og latenstid varierer mellom modeller og endepunkter.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.