AI-modeller och plattformar

Sarvam öppnar en Indienbaserad tokenfabrik för modeller med öppna vikter

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterSarvam tillhandahåller öppna viktmodeller från indiska GPU:er i stället för att…
Visa mer
  • Sarvam tillhandahåller öppna viktmodeller från indiska GPU:er i stället för att vidarebefordra förfrågningar till utländska utvecklar-API:er.
  • Att separera prefill från decode på separata GPU-pooler hindrar långa kodningsprompter från att blockera aktiva avkodningssessioner.
  • Sarvams egen DeepSeek-jämförelse visar att Together returnerar första tokens snabbare och strömmar med 278 utdata-tokens per sekund.

Sarvam AI lanserade Sarvam Token Factory den 16 november 2026 för utvecklare och företag. Tjänsten tillhandahåller företagets egna modeller och modeller med öppna vikter från tredje part via GPU-kluster i Indien genom ett enda OpenAI-kompatibelt API. Sarvam uppger att tjänsten redan hanterar mer än 450 miljarder DeepSeek V4.1 Flash-token per dag.

I lanseringen ingår Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro och Gemma 4 31B. I API-dokumentationen står det att Token Factory använder samma API-nyckel, SDK och krediter som Sarvams övriga API:er: användarna ändrar model fältet för att byta modell, medan OpenAI-kompatibla klienter kan konfigureras att använda https://api.sarvam.ai/v2.

Priser, driftsättning och datahantering

Introduktionspriset för Sarvam 105B är ₹10 per miljon indatatoken och ₹25 per miljon utdatatoken. Standard-slutpunkten för DeepSeek V4.1 Flash 1017 kostar ₹14 respektive ₹55. För båda gäller ett pris på ₹0.25 per miljon token för cachad indata i prislistan. I API-dokumentationen anges att introduktionspriserna gäller till och med slutet av 2026; alla priser i rupier är exklusive GST.

Tillgången omfattar mer än serverlösa slutpunkter med användningsbaserad prissättning. DeepSeek V4 Pro och Kimi K3.1 Pro aktiveras per organisation genom Provisioned Throughput, medan de övriga modellerna i lanseringen anges som serverlösa. Kunderna kan välja mellan delad och dedikerad kapacitet. Sarvam erbjuder också sin stack för inferensoptimering för lokal driftsättning och uppger att den redan används på det sättet av kritiska institutioner.

På Sarvams produktsida står det att inferensen körs på GPU:er som Sarvam driver i Indien, i stället för att skickas vidare till de ursprungliga modellutvecklarnas API:er utomlands. Enligt en överenskommen lösning med noll datalagring sparas inte prompter och svar; operativa loggar hanteras separat. Kunddata används inte för att träna modeller åt andra kunder, och företagsdriftsättningar omfattas av ett avtalsenligt servicenivåavtal som garanterar 99,95 % drifttid.

Delad cache för långa agentsessioner

Serveringsstacken skiljer mellan prefill, som läser hela prompten, och avkodning, som genererar token en i taget, och kör faserna på olika GPU-pooler. Syftet med uppdelningen är att förhindra att en ny, lång kodningsprompt får pågående avkodningssessioner att stanna upp, vilket kan hända när båda faserna delar på en GPU. Ett cachemedvetet kontrollplan dirigerar varje tur till dess befintliga kontext, medan intagskontrollen bara räknar token som inte finns i cachen.

Ett andra cachelager, G3-lagret baserat på Moonshots Mooncake, är tillgängligt för alla prefill-servrar och behåller prompter i timmar eller dagar, beroende på trafikmängden. GPU-minnet ensamt behåller en prompt i omkring fyra sekunder, vilket sjunker till omkring två sekunder vid belastning. Skillnaden spelar roll för agenter som återkommer efter ett verktygsanrop med en nästan identisk prompt. Sarvam uppger att 95,7 % av prompttokenen för DeepSeek V4.1 Flash hämtas från cachen och att G3 minskade det högsta antalet nödvändiga GLM 5.3-prefillnoder från 58 till 34.

För Sarvam 105B uppger företaget att övergången från BF16-vikter till MXFP8, ett 8-bitarsformat, tillsammans med spekulativ avkodning ökade utdatakapaciteten omkring 2,2 gånger och samtidigt minskade antalet GPU:er per replik från två B200-GPU:er till en, utan att precisionen försämrades. Separat tilldelar en orkestreringsagent optimeringsexperiment till underagenter, men en ingenjör godkänner varje ändring före driftsättning.

Prestanda för olika modeller och slutpunkter

Sarvam uppger att Gemma 4 31B i ett 72-timmarstest med medianvärden, utfört från en AWS-klient i Mumbai med en prompt på 10 000 token, levererade den första tokenen på 0,40 sekunder och strömmade med 308 token per sekund. Den enda andra leverantören som tillhandahöll modellen uppmätte 2,00 sekunder respektive 193 token per sekund. I jämförelsen användes den leverantörens bästa nivå för varje mätvärde. I ett separat Sarvam-test av Kimi K3.1 Pro med spår från kodningsagenter och 16 B200-GPU:er uppmättes 6 177 token per sekund per GPU, vid omkring 70 token per sekund och användare, jämfört med 3 213 enligt InferenceX publicerade kurva.

Sarvams egen jämförelse av DeepSeek V4.1 Flash är mindre fördelaktig: i ett latenstest med en prompt på 10 000 token levererade Together den första tokenen på 0,71 sekunder, jämfört med 0,90 sekunder för Sarvam Standard. I en separat tabell från Sarvam över pris i förhållande till hastighet anges 278 utdata-token per sekund för Together och 130 för Sarvam Standard. Latensvärdena mättes den 3–5 november 2026, med en begäran åt gången och den snabbaste nivån hos respektive leverantör.

Med Token Factory blir själva serveringsstacken kärnprodukten. Affärsmodellen kombinerar databehandling i Indien och smidig övergång med OpenAI-kompatibilitet med GPU-besparingar genom cachning och modellanpassad optimering. De publicerade resultaten visar betydande förbättringar för utvalda arbetsbelastningar, men också att fördelarna i fråga om genomströmning och latens varierar mellan modeller och slutpunkter.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.