Модели и платформы ИИ

Sarvam открывает размещённую в Индии токеновую фабрику для моделей с открытыми весами

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыSarvam обслуживает открытые модели с индийских графических процессоров, а не…
Показать больше
  • Sarvam обслуживает открытые модели с индийских графических процессоров, а не перенаправляет запросы к зарубежным API разработчиков.
  • Разделение предварительного заполнения и декодирования на разных пулах графических процессоров не позволяет длинным запросам кода блокировать активные сеансы декодирования.
  • Собственное сравнение Sarvam с DeepSeek показывает, что Together возвращает первые токены быстрее и передаёт поток со скоростью 278 выходных токенов в секунду.

16 ноября 2026 года Sarvam AI запустила Sarvam Token Factory для разработчиков и компаний. Сервис предоставляет доступ к собственным моделям компании и моделям сторонних разработчиков с открытыми весами через единый API, совместимый с OpenAI, используя кластеры GPU в Индии. По данным Sarvam, сервис уже обрабатывает более 450 миллиардов токенов DeepSeek V4.1 Flash в день.

В линейку на момент запуска входят Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro и Gemma 4 31B. В документации API сказано, что Token Factory использует тот же ключ API, SDK и кредиты, что и другие API Sarvam: чтобы переключить модель, пользователям нужно изменить model поле, а клиенты, совместимые с OpenAI, можно перенаправить на https://api.sarvam.ai/v2.

Цены, варианты развёртывания и обработка данных

На начальном этапе цена Sarvam 105B составляет ₹10 за миллион входных токенов и ₹25 за миллион выходных. Стандартная конечная точка для DeepSeek V4.1 Flash 1017 стоит соответственно ₹14 и ₹55. Для обеих моделей стоимость входных токенов, извлечённых из кэша, составляет ₹0,25 за миллион токенов, согласно каталогу цен. В документации API указано, что начальные цены будут действовать до конца 2026 года; все цены в рупиях указаны без GST.

Доступ не ограничивается бессерверными конечными точками с оплатой по мере использования. DeepSeek V4 Pro и Kimi K3.1 Pro доступны для каждой организации в рамках Provisioned Throughput, тогда как остальные модели, представленные при запуске, указаны как бессерверные. Клиенты могут выбрать общую или выделенную вычислительную мощность. Sarvam также предлагает стек оптимизации инференса для локального развёртывания и сообщает, что уже использует его таким образом для критически важных учреждений.

На странице продукта Sarvam указано, что инференс выполняется на GPU, которыми управляет Sarvam в Индии, а не через зарубежные API первоначальных разработчиков моделей. При согласованном режиме нулевого хранения данных запросы и ответы не сохраняются; правила хранения операционных журналов определяются отдельно. Данные клиентов не используются для обучения моделей для других клиентов, а корпоративные развёртывания предусматривают договорное соглашение об уровне обслуживания, гарантирующее доступность 99,95% времени.

Общий кэш для продолжительных сессий агентов

Стек обслуживания запросов разделяет предварительную обработку, которая считывает весь запрос, и декодирование, которое генерирует токены по одному, выполняя эти этапы на разных пулах GPU. Такое разделение призвано не допустить, чтобы новый длинный запрос на генерацию кода приостанавливал активные сеансы декодирования, как это может происходить, когда оба этапа выполняются на одном GPU. Плоскость управления с учётом кэша направляет каждый ход диалога к уже сохранённому контексту, а при допуске к обработке учитываются только токены, отсутствующие в кэше.

Второй уровень кэширования — хранилище G3 на базе Mooncake от Moonshot — доступен каждому серверу предварительной обработки и сохраняет запросы на несколько часов или дней в зависимости от трафика. Одной лишь памяти GPU хватает примерно на четыре секунды хранения запроса, а при нагрузке этот срок сокращается примерно до двух секунд. Это важно для агентов, которые возвращаются после вызова инструмента с почти тем же запросом. По данным Sarvam, 95,7% токенов запросов DeepSeek V4.1 Flash обрабатываются из кэша, а G3 позволила сократить пиковую потребность в узлах предварительной обработки GLM 5.3 с 58 до 34.

По данным компании, для Sarvam 105B переход с весов BF16 на MXFP8 — 8-битный формат — и добавление спекулятивного декодирования увеличили пропускную способность генерации примерно в 2,2 раза, а потребность каждой реплики сократили с двух GPU B200 до одного без снижения точности. Кроме того, агент-оркестратор поручает субагентам эксперименты по оптимизации, однако перед развёртыванием каждое изменение утверждает инженер.

Производительность моделей и конечных точек

По данным Sarvam, в 72-часовом тесте с расчётом медианных показателей Gemma 4 31B, проверенной с клиента AWS в Мумбаи на запросе из 10 000 токенов, выдала первый токен за 0,40 секунды и генерировала 308 токенов в секунду. У единственного другого провайдера, который предлагал эту модель, показатели составили 2,00 секунды и 193 токена в секунду. Для сравнения по каждому показателю использовался лучший тарифный план этого провайдера. В отдельном тесте Sarvam модели Kimi K3.1 Pro на трассировках работы агентов для генерации кода с использованием 16 GPU B200 достигла пропускной способности 6 177 токенов в секунду на GPU при скорости около 70 токенов в секунду на пользователя; опубликованный график InferenceX показывает 3 213 токенов в секунду на GPU.

Собственное сравнение Sarvam для DeepSeek V4.1 Flash выглядит менее убедительно: в тесте задержки с запросом из 10 000 токенов Together выдал первый токен за 0,71 секунды, тогда как у Sarvam Standard результат составил 0,90 секунды. В отдельной таблице Sarvam, сопоставляющей цену и скорость, указана скорость генерации 278 выходных токенов в секунду для Together и 130 для Sarvam Standard. Задержки измеряли с 3 по 5 ноября 2026 года, отправляя по одному запросу за раз и используя самый быстрый тарифный план каждого провайдера.

В Token Factory главным продуктом становится сам стек обслуживания запросов. Бизнес-модель объединяет обработку данных в Индии и переход на API, совместимый с OpenAI, с экономией на GPU за счёт кэширования и настройки под каждую модель. Опубликованные результаты демонстрируют значительный прирост в отдельных сценариях, но также показывают, что преимущества по пропускной способности и задержке различаются в зависимости от модели и конечной точки.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.