Modele i platformy AI

Sarvam uruchamia hostowaną w Indiach platformę do obsługi modeli z otwartymi wagami

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktySarvam udostępnia modele o otwartych wagach z indyjskich GPU, zamiast przekazywać…
Zobacz więcej
  • Sarvam udostępnia modele o otwartych wagach z indyjskich GPU, zamiast przekazywać żądania do zagranicznych interfejsów API deweloperów.
  • Oddzielenie prefill od decode na odrębnych pulach GPU zapobiega blokowaniu aktywnych sesji dekodowania przez długie prompty kodowania.
  • Własne porównanie Sarvam z DeepSeek pokazuje, że Together zwraca pierwsze tokeny szybciej i strumieniuje z szybkością 278 tokenów wyjściowych na sekundę.

16 listopada 2026 r. Sarvam AI uruchomiło Sarvam Token Factory dla programistów i przedsiębiorstw. Platforma udostępnia własne modele z otwartymi wagami oraz modele innych dostawców, korzystając z klastrów GPU w Indiach i jednego interfejsu API zgodnego z OpenAI. Sarvam informuje, że usługa obsługuje już ponad 450 miliardów tokenów DeepSeek V4.1 Flash dziennie.

Wśród modeli dostępnych w chwili uruchomienia są Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro i Gemma 4 31B. Zgodnie z dokumentacją API Token Factory korzysta z tego samego klucza API, zestawu SDK i puli środków co pozostałe interfejsy API Sarvam: aby zmienić model, użytkownicy zmieniają model pole, a klientów zgodnych z OpenAI można skonfigurować tak, by kierowały żądania do https://api.sarvam.ai/v2.

Ceny, wdrażanie i obsługa danych

Cena promocyjna Sarvam 105B wynosi ₹10 za milion tokenów wejściowych i ₹25 za milion tokenów wyjściowych. Korzystanie ze standardowego punktu końcowego DeepSeek V4.1 Flash 1017 kosztuje odpowiednio ₹14 i ₹55. W obu przypadkach stawka za milion tokenów wejściowych z pamięci podręcznej wynosi ₹0,25; podano ją w katalogu cenowym. Dokumentacja API informuje, że ceny promocyjne obowiązują do końca 2026 r.; wszystkie stawki w rupiach nie obejmują podatku GST.

Dostęp nie ogranicza się do bezserwerowych punktów końcowych rozliczanych według zużycia. DeepSeek V4 Pro i Kimi K3.1 Pro są udostępniane poszczególnym organizacjom w ramach Provisioned Throughput, a pozostałe modele z oferty startowej są wymienione jako bezserwerowe. Klienci mogą wybrać współdzieloną lub dedykowaną moc obliczeniową. Sarvam oferuje również stos optymalizacji wnioskowania do wdrożeń lokalnych i informuje, że już korzystają z niego w ten sposób instytucje o kluczowym znaczeniu.

Strona produktu Sarvam informuje, że wnioskowanie odbywa się na kartach GPU obsługiwanych przez Sarvam w Indiach, a nie za pośrednictwem zagranicznych interfejsów API twórców pierwotnych modeli. Zgodnie z uzgodnioną zasadą zerowego przechowywania danych prompty i odpowiedzi nie są zachowywane; logi operacyjne podlegają odrębnym zasadom. Dane klientów nie są wykorzystywane do trenowania modeli dla innych klientów, a wdrożenia dla przedsiębiorstw obejmuje umowa gwarantująca dostępność usługi na poziomie 99,95%.

Współdzielona pamięć podręczna na potrzeby długich sesji agentów

Stos obsługujący modele rozdziela etap wstępnego przetwarzania (prefill), który odczytuje cały prompt, od etapu dekodowania, podczas którego tokeny są generowane pojedynczo. Oba etapy działają na oddzielnych pulach GPU. Takie rozdzielenie ma zapobiegać spowalnianiu aktywnych sesji dekodowania przez nowy, długi prompt do zadania programistycznego — do czego może dochodzić, gdy oba etapy korzystają z tego samego GPU. Płaszczyzna sterowania uwzględniająca pamięć podręczną kieruje każdą turę do istniejącego kontekstu, a przy przyjmowaniu żądań zlicza się tylko tokeny, których nie ma w pamięci podręcznej.

Drugi poziom pamięci podręcznej, magazyn G3 oparty na Mooncake firmy Moonshot, jest dostępny dla każdego serwera obsługującego etap prefill i przechowuje prompty przez kilka godzin lub dni, zależnie od ruchu. Sama pamięć GPU przechowuje prompt przez około cztery sekundy, a przy dużym obciążeniu — około dwóch. Ta różnica ma znaczenie w przypadku agentów, które wracają po wywołaniu narzędzia z niemal identycznym promptem. Sarvam informuje, że 95,7% tokenów promptów DeepSeek V4.1 Flash jest obsługiwanych z pamięci podręcznej, a G3 zmniejszył szczytowe zapotrzebowanie na węzły prefill dla GLM 5.3 z 58 do 34.

W przypadku Sarvam 105B firma informuje, że przejście z wag BF16 na 8-bitowy format MXFP8 oraz dodanie dekodowania spekulatywnego zwiększyło przepustowość generowania tokenów około 2,2-krotnie, a jednocześnie pozwoliło ograniczyć liczbę kart GPU B200 w każdej replice z dwóch do jednej bez obniżenia dokładności. Osobno agent orkiestrujący przydziela agentom podrzędnym eksperymenty optymalizacyjne, ale przed wdrożeniem każdą zmianę zatwierdza inżynier.

Wydajność w różnych modelach i punktach końcowych

Sarvam informuje, że Gemma 4 31B w 72-godzinnym teście medianowym, przeprowadzonym z klienta AWS w Mumbaju przy użyciu promptu o długości 10 000 tokenów, zwrócił pierwszy token w 0,40 sekundy i generował 308 tokenów na sekundę. Jedyny inny dostawca oferujący ten model osiągnął odpowiednio 2,00 sekundy i 193 tokeny na sekundę. W porównaniu dla każdej miary wykorzystano najlepszy poziom usług tego dostawcy. W osobnym teście Sarvam model Kimi K3.1 Pro, uruchomiony na śladach działania agentów programistycznych i 16 kartach GPU B200, osiągnął 6177 tokenów na sekundę na GPU, przy około 70 tokenach na sekundę na użytkownika. Dla porównania opublikowana krzywa InferenceX wskazuje 3213 tokenów na sekundę.

Porównanie DeepSeek V4.1 Flash przeprowadzone przez Sarvam wypada mniej korzystnie dla tej firmy: w teście opóźnienia z promptem o długości 10 000 tokenów Together zwrócił pierwszy token w 0,71 sekundy, a Sarvam Standard — w 0,90 sekundy. W osobnej tabeli Sarvam zestawiającej cenę z szybkością Together osiąga 278 tokenów wyjściowych na sekundę, a Sarvam Standard — 130. Opóźnienia zmierzono w dniach 3–5 listopada 2026 r., wysyłając po jednym żądaniu naraz i korzystając z najszybszego poziomu usług każdego dostawcy.

W Token Factory głównym produktem jest sam stos obsługujący modele. Uzasadnienie biznesowe łączy przetwarzanie danych w Indiach i możliwość migracji do rozwiązania zgodnego z OpenAI z oszczędnościami na GPU dzięki pamięci podręcznej i dostrajaniu poszczególnych modeli. Opublikowane wyniki pokazują znaczne wzrosty wydajności w wybranych zastosowaniach, ale wskazują też, że przewaga pod względem przepustowości i opóźnień zależy od modelu i punktu końcowego.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.