KI-Modelle und Plattformen

Sarvam eröffnet Token-Fabrik in Indien für Open-Weight-Modelle

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteSarvam betreibt offene Gewichtsmodelle auf indischen GPUs, anstatt Anfragen an…
Mehr anzeigen
  • Sarvam betreibt offene Gewichtsmodelle auf indischen GPUs, anstatt Anfragen an ausländische Entwickler-APIs weiterzuleiten.
  • Die Trennung von Prefill und Decode auf verschiedenen GPU-Pools verhindert, dass lange Coding-Prompts aktive Decoding-Sitzungen blockieren.
  • Sarvams eigener DeepSeek-Vergleich zeigt, dass Together erste Token schneller zurückgibt und mit 278 Ausgabe-Token pro Sekunde streamt.

Sarvam AI startete am 16. November 2026 die Sarvam Token Factory für Entwickler und Unternehmen. Über eine einzige OpenAI-kompatible API stellt der Dienst eigene und Open-Weight-Modelle anderer Anbieter aus GPU-Clustern in Indien bereit. Sarvam zufolge verarbeitet der Dienst bereits täglich mehr als 450 Milliarden DeepSeek V4.1 Flash-Token.

Zum Start umfasst das Modellangebot Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro und Gemma 4 31B. Laut der API-Dokumentation verwendet die Token Factory denselben API-Schlüssel, dasselbe SDK und dieselben Credits wie die anderen APIs von Sarvam: Nutzer ändern das model Feld, um das Modell zu wechseln. OpenAI-kompatible Clients können auf https://api.sarvam.ai/v2.

Preise, Bereitstellung und Datenverarbeitung

Der Einführungspreis für Sarvam 105B beträgt ₹10 je Million Eingabe-Token und ₹25 je Million Ausgabe-Token. Der Standard-Endpunkt für DeepSeek V4.1 Flash 1017 kostet ₹14 beziehungsweise ₹55. Für beide beträgt der Preis für zwischengespeicherte Eingabe-Token ₹0,25 je Million Token, wie aus dem Preisverzeichnis hervorgeht. Laut API-Dokumentation gelten die Einführungspreise bis Ende 2026; alle Rupienpreise verstehen sich ohne GST.

Der Zugang beschränkt sich nicht auf serverlose Endpunkte mit nutzungsabhängiger Abrechnung. DeepSeek V4 Pro und Kimi K3.1 Pro werden für jede Organisation im Rahmen von Provisioned Throughput freigeschaltet, während die übrigen zum Start verfügbaren Modelle als serverlos aufgeführt sind. Kunden können zwischen gemeinsam genutzter und dedizierter Kapazität wählen. Sarvam bietet außerdem seinen Inferenz-Optimierungsstack zur lokalen Bereitstellung an und gibt an, ihn bereits auf diese Weise für kritische Einrichtungen zu betreiben.

Laut Sarvams Produktseite läuft die Inferenz auf von Sarvam betriebenen GPUs in Indien, statt an die ausländischen APIs der ursprünglichen Modellentwickler weitergeleitet zu werden. Bei einer vereinbarten Regelung zur vollständigen Datenaufbewahrungsvermeidung werden Eingaben und Antworten nicht gespeichert; für Betriebsprotokolle gelten separate Vorgaben. Kundendaten werden nicht zum Trainieren von Modellen für andere Kunden verwendet. Für Unternehmensbereitstellungen gilt zudem eine vertragliche Service-Level-Vereinbarung, die eine Verfügbarkeit von 99,95 % garantiert.

Gemeinsam genutzter Cache für lange Agentensitzungen

Der Bereitstellungsstack trennt das Prefill, bei dem die gesamte Eingabe gelesen wird, vom Decode, bei dem Token einzeln generiert werden, und führt die beiden Phasen auf unterschiedlichen GPU-Pools aus. Diese Trennung soll verhindern, dass eine neue, lange Coding-Eingabe aktive Decode-Sitzungen ausbremst, wie es passieren kann, wenn beide Phasen dieselbe GPU nutzen. Eine cachebewusste Steuerungsebene leitet jeden Gesprächsschritt an den bereits vorhandenen Kontext weiter, während bei der Zulassung nur nicht zwischengespeicherte Token gezählt werden.

Eine zweite Cache-Ebene, der auf Mooncake von Moonshot basierende G3-Speicher, steht jedem Prefill-Server zur Verfügung und hält Eingaben je nach Datenverkehr stunden- oder tagelang vor. Im GPU-Speicher allein bleibt eine Eingabe etwa vier Sekunden lang verfügbar, bei hoher Auslastung sinkt dieser Zeitraum auf etwa zwei Sekunden. Das ist für Agenten wichtig, die nach einem Tool-Aufruf mit nahezu derselben Eingabe zurückkehren. Sarvam zufolge werden 95,7 % der Prompt-Token von DeepSeek V4.1 Flash aus dem Cache bereitgestellt; außerdem verringerte G3 den Bedarf an GLM 5.3-Prefill-Knoten in Spitzenzeiten von 58 auf 34.

Für Sarvam 105B berichtet das Unternehmen, dass der Wechsel von BF16-Gewichten zu MXFP8, einem 8-Bit-Format, zusammen mit spekulativem Decoding den Ausgabedurchsatz um etwa das 2,2-Fache erhöhte und zugleich die Zahl der GPUs je Replikat von zwei B200 auf eine senkte, ohne die Genauigkeit zu verringern. Separat weist ein Orchestrierungsagent Optimierungsexperimente Unteragenten zu; vor jeder Bereitstellung muss jedoch ein Ingenieur die Änderungen genehmigen.

Leistung bei verschiedenen Modellen und Endpunkten

Sarvam zufolge lieferte Gemma 4 31B in einem 72-stündigen Median-Test von einem AWS-Mumbai-Client mit einer Eingabe von 10.000 Token das erste Token nach 0,40 Sekunden und erreichte einen Durchsatz von 308 Token pro Sekunde. Beim einzigen anderen Anbieter, der das Modell bereitstellt, waren es 2,00 Sekunden und 193 Token pro Sekunde. Für jeden Messwert wurde dabei die jeweils höchste Tarifstufe dieses Anbieters herangezogen. In einem separaten Sarvam-Test mit Coding-Agent-Traces und 16 B200-GPUs erreichte Kimi K3.1 Pro 6.177 Token pro Sekunde je GPU bei ungefähr 70 Token pro Sekunde je Nutzer. Zum Vergleich: Die veröffentlichte Leistungskurve von InferenceX weist 3.213 aus.

Der eigene Vergleich von Sarvam für DeepSeek V4.1 Flash fällt weniger günstig aus: Bei einem Latenztest mit einer Eingabe von 10.000 Token lieferte Together das erste Token nach 0,71 Sekunden, Sarvam Standard dagegen nach 0,90 Sekunden. Eine separate Tabelle von Sarvam zu Preis und Geschwindigkeit weist für Together 278 Ausgabe-Token pro Sekunde und für Sarvam Standard 130 aus. Die Latenzwerte wurden vom 3. bis 5. November 2026 gemessen, jeweils mit einer Anfrage gleichzeitig und der schnellsten Tarifstufe jedes Anbieters.

Bei der Token Factory steht der Bereitstellungsstack selbst im Mittelpunkt des Produkts. Das Geschäftsmodell verbindet die Datenverarbeitung in Indien und den Wechsel zu einer OpenAI-kompatiblen Schnittstelle mit GPU-Einsparungen durch Caching und modellspezifische Optimierung. Die veröffentlichten Ergebnisse zeigen erhebliche Verbesserungen bei ausgewählten Arbeitslasten, zugleich aber auch, dass die Vorteile bei Durchsatz und Latenz je nach Modell und Endpunkt unterschiedlich ausfallen.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.