AI-modellen en platforms
Sarvam opent vanuit India een tokenfabriek voor modellen met open gewichten

Belangrijkste puntenSarvam levert open-weight-modellen vanaf Indiase GPU's in plaats van verzoeken door te…
Meer weergeven
- Sarvam levert open-weight-modellen vanaf Indiase GPU's in plaats van verzoeken door te sturen naar overzeese ontwikkelaars-API's.
- Het scheiden van prefill van decode op afzonderlijke GPU-pools voorkomt dat lange codeerprompts actieve decodesessies blokkeren.
- Sarvam's eigen DeepSeek-vergelijking toont dat Together eerste tokens sneller retourneert en streamt met 278 output-tokens per seconde.
Sarvam AI lanceerde Sarvam Token Factory op 16 november 2026 voor ontwikkelaars en bedrijven. De dienst biedt eigen modellen en modellen met open gewichten van derden aan vanuit GPU-clusters in India, via één API die compatibel is met OpenAI. Volgens Sarvam verwerkt de dienst nu al dagelijks meer dan 450 miljard tokens van DeepSeek V4.1 Flash.
Het aanbod bij de lancering omvat Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro en Gemma 4 31B. In de API-documentatie staat dat Token Factory dezelfde API-sleutel, SDK en credits gebruikt als de andere API’s van Sarvam: gebruikers wijzigen het model veld om van model te wisselen, terwijl clients die compatibel zijn met OpenAI kunnen worden ingesteld op https://api.sarvam.ai/v2.
Prijzen, implementatie en gegevensverwerking
De introductieprijs voor Sarvam 105B bedraagt ₹10 per miljoen invoertokens en ₹25 per miljoen uitvoertokens. Het Standard-eindpunt voor DeepSeek V4.1 Flash 1017 kost respectievelijk ₹14 en ₹55. Voor beide geldt een tarief van ₹0,25 per miljoen tokens voor invoer uit de cache, volgens de prijscatalogus. In de API-documentatie staat dat de introductieprijzen gelden tot en met eind 2026; alle tarieven in roepies zijn exclusief GST.
Toegang is niet beperkt tot serverloze eindpunten waarvoor per gebruik wordt betaald. DeepSeek V4 Pro en Kimi K3.1 Pro zijn per organisatie beschikbaar via Provisioned Throughput, terwijl de overige modellen bij de lancering als serverloos staan vermeld. Klanten kunnen kiezen voor gedeelde of exclusieve capaciteit. Sarvam biedt ook de optimalisatiestack voor inferentie aan voor implementatie op locatie en zegt dat deze al op die manier wordt ingezet bij kritieke instellingen.
Volgens de productpagina van Sarvam vindt inferentie plaats op GPU’s in India die door Sarvam worden beheerd, in plaats van dat verzoeken worden doorgestuurd naar de buitenlandse API’s van de oorspronkelijke modelontwikkelaars. Bij een overeengekomen regeling waarbij gegevens niet worden bewaard, worden prompts en antwoorden niet opgeslagen; operationele logbestanden vallen onder afzonderlijke afspraken. Klantgegevens worden niet gebruikt om modellen voor andere klanten te trainen. Voor bedrijfsimplementaties geldt een contractuele serviceovereenkomst die een uptime van 99,95% garandeert.
Gedeelde cache voor lange agentsessies
De serveerstack scheidt prefill, waarbij de volledige prompt wordt gelezen, van decode, waarbij tokens één voor één worden gegenereerd, en voert deze fasen uit op verschillende GPU-pools. Deze scheiding moet voorkomen dat een nieuwe, lange programmeerprompt actieve decodering sessies ophoudt, zoals kan gebeuren wanneer beide fasen dezelfde GPU delen. Een cachebewust besturingsvlak routeert elke beurt naar de bestaande context, terwijl bij de toelating alleen tokens worden meegeteld die niet in de cache staan.
Een tweede cachelaag, de op Mooncake gebaseerde G3-opslag van Moonshot, is toegankelijk voor elke prefill-server en bewaart prompts, afhankelijk van het verkeer, uren of dagen. In GPU-geheugen alleen blijft een prompt ongeveer vier seconden bewaard, of ongeveer twee seconden bij hoge belasting. Dat verschil is van belang voor agents die na een toolaanroep terugkomen met vrijwel dezelfde prompt. Volgens Sarvam wordt 95,7% van de prompttokens van DeepSeek V4.1 Flash uit de cache geleverd. Ook bracht G3 het aantal prefill-nodes dat GLM 5.3 op piekmomenten nodig heeft terug van 58 naar 34.
Voor Sarvam 105B meldt het bedrijf dat de overstap van BF16-gewichten naar MXFP8, een 8-bits formaat, in combinatie met speculative decoding de uitvoerdoorvoer ongeveer 2,2 keer zo hoog maakte. Tegelijkertijd daalde het aantal B200-GPU’s per replica van twee naar één, zonder dat de nauwkeurigheid afnam. Daarnaast wijst een orkestratoragent optimalisatie-experimenten toe aan subagents, maar moet een engineer elke wijziging goedkeuren voordat deze wordt geïmplementeerd.
Prestaties van modellen en eindpunten
Sarvam meldt dat Gemma 4 31B in een test van 72 uur, gemeten naar de mediaan, vanaf een AWS-client in Mumbai met een prompt van 10.000 tokens het eerste token in 0,40 seconden teruggaf en een uitvoersnelheid van 308 tokens per seconde haalde. De enige andere aanbieder die het model leverde, kwam uit op respectievelijk 2,00 seconden en 193 tokens per seconde. Voor elke meetwaarde werd de beste abonnementsvorm van die aanbieder gebruikt. In een afzonderlijke test van Sarvam met Kimi K3.1 Pro, op basis van traces van codeeragents en 16 B200-GPU’s, bedroeg de doorvoer 6.177 tokens per seconde per GPU, bij ongeveer 70 tokens per seconde per gebruiker. De gepubliceerde curve van InferenceX vermeldt 3.213 tokens per seconde.
De eigen vergelijking van Sarvam voor DeepSeek V4.1 Flash valt minder gunstig uit: in de latentietest met een prompt van 10.000 tokens leverde Together het eerste token in 0,71 seconden, tegenover 0,90 seconden voor Sarvam Standard. In een afzonderlijke tabel van Sarvam over prijs en snelheid staat een uitvoersnelheid van 278 tokens per seconde voor Together en 130 voor Sarvam Standard. De latentiecijfers zijn gemeten van 3 tot en met 5 november 2026, met telkens één verzoek tegelijk en het snelste abonnement van elke aanbieder.
Token Factory stelt de serveerstack zelf centraal als product. De zakelijke propositie combineert verwerking in India en migratie naar een API die compatibel is met OpenAI met GPU-besparingen dankzij caching en afstemming per model. De gepubliceerde resultaten laten aanzienlijke verbeteringen zien voor bepaalde workloads, maar ook dat de voordelen op het gebied van doorvoer en latentie verschillen per model en eindpunt.












