Моделі та платформи ШІ

Sarvam запускає розміщену в Індії фабрику токенів для моделей із відкритими вагами

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиSarvam обслуговує моделі з відкритими вагами на індійських графічних процесорах, а не…
Показати більше
  • Sarvam обслуговує моделі з відкритими вагами на індійських графічних процесорах, а не пересилає запити до закордонних API розробників.
  • Розділення попереднього заповнення та декодування на окремих пулах графічних процесорів не дає довгим запитам для програмування блокувати активні сесії декодування.
  • Власне порівняння Sarvam із DeepSeek показує, що Together повертає перші токени швидше та здійснює потокову передачу зі швидкістю 278 вихідних токенів за секунду.

16 листопада 2026 року Sarvam AI запустила Sarvam Token Factory для розробників і підприємств. Сервіс надає доступ до власних моделей Sarvam і моделей сторонніх розробників із відкритими вагами через кластери GPU в Індії за допомогою одного API, сумісного з OpenAI. За даними Sarvam, сервіс уже обробляє понад 450 мільярдів токенів DeepSeek V4.1 Flash на день.

На момент запуску були доступні Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro та Gemma 4 31B. У документації API зазначено, що Token Factory використовує той самий ключ API, SDK і кредити, що й інші API Sarvam: користувачам достатньо змінити model поле, щоб перемкнути модель, а клієнти, сумісні з OpenAI, можна налаштувати на адресу https://api.sarvam.ai/v2.

Ціни, розгортання та обробка даних

На початковому етапі використання Sarvam 105B коштує ₹10 за мільйон вхідних токенів і ₹25 за мільйон вихідних. Стандартна кінцева точка DeepSeek V4.1 Flash 1017 коштує відповідно ₹14 і ₹55. Для обох моделей кешовані вхідні токени коштують ₹0,25 за мільйон — згідно з переліком цін. У документації API зазначено, що початкові ціни діятимуть до кінця 2026 року; усі ціни в рупіях наведено без урахування GST.

Доступ не обмежується безсерверними кінцевими точками з оплатою за використання. DeepSeek V4 Pro і Kimi K3.1 Pro доступні для кожної організації в межах Provisioned Throughput, тоді як інші моделі, представлені на момент запуску, зазначені як безсерверні. Клієнти можуть обирати спільні або виділені обчислювальні потужності. Sarvam також пропонує стек оптимізації інференсу для локального розгортання й повідомляє, що він уже працює таким чином для критично важливих установ.

На сторінці продукту Sarvam зазначено, що інференс виконується на GPU, якими керує Sarvam в Індії, а не через переадресацію запитів до закордонних API розробників оригінальних моделей. За погодженими умовами нульового зберігання даних запити й відповіді не зберігаються; операційні журнали регулюються окремо. Дані клієнтів не використовуються для навчання моделей для інших клієнтів, а корпоративні розгортання передбачають договірну угоду про рівень обслуговування, яка гарантує безперервну роботу протягом 99,95% часу.

Спільний кеш для тривалих сеансів агентів

У стеку обслуговування запитів префіл, який зчитує весь запит, відокремлено від декодування, під час якого токени генеруються один за одним; ці етапи виконуються на різних пулах GPU. Таке розділення має не допустити, щоб новий довгий запит на генерацію коду зупинив активні сеанси декодування, як це може статися, коли обидва етапи використовують один GPU. Площина керування з урахуванням кешу спрямовує кожен наступний запит до вже наявного контексту, а під час допуску враховуються лише токени, яких немає в кеші.

Другий рівень кешу — сховище G3 на основі Mooncake від Moonshot — доступний кожному серверу префілу й зберігає запити протягом кількох годин або днів, залежно від навантаження. Пам’ять GPU сама по собі утримує запит близько чотирьох секунд, а під навантаженням — близько двох. Це важливо для агентів, які повертаються після виклику інструмента майже з тим самим запитом. За даними Sarvam, 95,7% токенів запитів DeepSeek V4.1 Flash обслуговуються з кешу, а G3 скоротив пікову потребу в вузлах префілу для GLM 5.3 з 58 до 34.

Для Sarvam 105B компанія повідомляє, що перехід від ваг BF16 до MXFP8, 8-бітного формату, та додавання спекулятивного декодування збільшили пропускну здатність генерування вихідних даних приблизно у 2,2 раза, водночас зменшивши кількість GPU B200 для кожної репліки з двох до одного без втрати точності. Окремо зазначається, що агент-оркестратор доручає субагентам проводити експерименти з оптимізації, але кожну зміну перед розгортанням затверджує інженер.

Продуктивність різних моделей і кінцевих точок

За даними Sarvam, у тесті тривалістю 72 години за медіанним показником Gemma 4 31B отримала перший токен за 0,40 секунди й генерувала 308 токенів за секунду. Тест проводили з клієнта AWS у Мумбаї із запитом на 10 000 токенів. Єдиний інший провайдер, який обслуговував цю модель, показав відповідно 2,00 секунди й 193 токени за секунду. Для кожного показника в порівнянні використовувався найкращий тарифний план цього провайдера. В окремому тесті Sarvam на трасах роботи агентів для програмування з Kimi K3.1 Pro та 16 GPU B200 було отримано 6 177 токенів за секунду на GPU, або приблизно 70 токенів за секунду на користувача, порівняно з показником 3 213 на опублікованій кривій InferenceX.

Результати власного порівняння Sarvam для DeepSeek V4.1 Flash менш сприятливі: у тесті затримки із запитом на 10 000 токенів Together повернув перший токен за 0,71 секунди, тоді як показник Sarvam Standard становив 0,90 секунди. В окремій таблиці Sarvam, що зіставляє ціну та швидкість, для Together зазначено 278 вихідних токенів за секунду, а для Sarvam Standard — 130. Показники затримки вимірювали з 3 до 5 листопада 2026 року, надсилаючи по одному запиту за раз і використовуючи найшвидший тарифний план кожного провайдера.

У Token Factory центральним продуктом є сам стек обслуговування запитів. Бізнес-обґрунтування поєднує обробку даних в Індії та перехід на API, сумісний з OpenAI, з економією на GPU завдяки кешуванню й налаштуванню кожної моделі; опубліковані результати свідчать про значне зростання продуктивності в окремих сценаріях, але також показують, що переваги щодо пропускної здатності й затримки залежать від моделі та кінцевої точки.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.