AI 모델 및 플랫폼
Sarvam, 오픈 웨이트 모델을 위한 인도 내 호스팅 토큰 팩토리 공개

핵심 포인트Sarvam은 해외 개발자 API로 요청을 전달하는 대신 인도 GPU에서 오픈 웨이트 모델을 제공합니다.
더 보기
- Sarvam은 해외 개발자 API로 요청을 전달하는 대신 인도 GPU에서 오픈 웨이트 모델을 제공합니다.
- 서로 다른 GPU 풀에서 프리필과 디코드를 분리하면 긴 코딩 프롬프트가 활성 디코딩 세션을 지연시키는 것을 방지합니다.
- Sarvam 자체의 DeepSeek 비교에 따르면 Together는 첫 토큰을 더 빠르게 반환하고 초당 278개의 출력 토큰으로 스트리밍합니다.
Sarvam AI는 2026년 11월 16일 개발자와 기업을 대상으로 Sarvam Token Factory를 출시했다. 이 서비스는 인도 내 GPU 클러스터에서 자사 및 타사 오픈 웨이트 모델을 제공하며, OpenAI 호환 API 하나로 이용할 수 있다. Sarvam에 따르면 이 서비스는 이미 하루 4,500억 개가 넘는 DeepSeek V4.1 Flash 토큰을 처리하고 있다.
출시 모델에는 Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro, Gemma 4 31B가 포함된다. API 문서에 따르면 Token Factory는 Sarvam의 다른 API와 동일한 API 키, SDK, 크레딧을 사용한다. 사용자는 해당 model 필드를 변경해 모델을 전환할 수 있으며, OpenAI 호환 클라이언트는 해당 API를 가리키도록 설정할 수 있다. https://api.sarvam.ai/v2.
요금, 배포 및 데이터 처리
Sarvam 105B의 출시 기념 요금은 입력 토큰 100만 개당 ₹10, 출력 토큰 100만 개당 ₹25다. DeepSeek V4.1 Flash 1017의 Standard 엔드포인트는 각각 ₹14와 ₹55다. 요금표에 따르면 두 모델 모두 캐시된 입력 토큰 요금은 100만 개당 ₹0.25다. API 문서에는 출시 기념 요금이 2026년 말까지 적용된다고 나와 있으며, 모든 루피 요금에는 GST가 포함되지 않는다.
이용 방식은 사용량 기반 서버리스 엔드포인트에만 국한되지 않는다. DeepSeek V4 Pro와 Kimi K3.1 Pro는 Provisioned Throughput 방식으로 조직별 이용이 가능하며, 그 밖의 출시 모델은 서버리스 방식으로 등록되어 있다. 고객은 공유 용량과 전용 용량 중에서 선택할 수 있다. Sarvam은 온프레미스 배포용 추론 최적화 스택도 제공하며, 주요 기관을 대상으로 이미 이 방식을 운영하고 있다고 밝혔다.
Sarvam의 제품 페이지에 따르면 추론은 인도에서 Sarvam이 운영하는 GPU에서 실행되며, 원 모델 개발사의 해외 API로 요청을 전달하지 않는다. 합의된 데이터 미보존 조건에 따라 프롬프트와 응답은 보관하지 않으며, 운영 로그에는 별도의 범위가 적용된다. 고객 데이터는 다른 고객을 위한 모델 학습에 사용되지 않는다. 또한 기업용 배포에는 가동률 99.95%를 보장하는 계약상 서비스 수준 협약이 포함된다.
장시간 에이전트 세션을 위한 공유 캐시
서빙 스택은 전체 프롬프트를 읽는 프리필 단계와 토큰을 하나씩 생성하는 디코드 단계를 분리하고, 두 단계를 서로 다른 GPU 풀에서 실행한다. 두 단계가 같은 GPU를 공유할 때 발생할 수 있는 것처럼 새로 들어온 긴 코딩 프롬프트가 진행 중인 디코딩 세션을 지연시키지 않도록 설계한 구조다. 캐시 인식 제어 플레인은 각 요청을 기존 컨텍스트에 연결하고, 요청 수용량은 캐시되지 않은 토큰만을 기준으로 계산한다.
두 번째 캐시 계층인 Moonshot의 Mooncake 기반 G3 저장소는 모든 프리필 서버에서 이용할 수 있으며, 트래픽에 따라 프롬프트를 몇 시간 또는 며칠 동안 보관한다. GPU 메모리에만 저장하면 프롬프트는 약 4초 동안 유지되며, 부하가 걸리면 약 2초로 줄어든다. 도구 호출 후 거의 같은 프롬프트로 돌아오는 에이전트에서는 이 차이가 중요하다. Sarvam에 따르면 DeepSeek V4.1 Flash 프롬프트 토큰의 95.7%가 캐시에서 제공되며, G3 도입으로 GLM 5.3의 프리필 노드 최대 요구량이 58대에서 34대로 줄었다.
Sarvam은 Sarvam 105B의 경우 BF16 가중치를 8비트 형식인 MXFP8로 전환하고 추측 디코딩을 추가해 정확도를 낮추지 않으면서 출력 처리량을 약 2.2배 높였고, 각 복제본에 필요한 GPU를 B200 2대에서 1대로 줄였다고 밝혔다. 이와 별도로 오케스트레이터 에이전트가 최적화 실험을 하위 에이전트에 배정하지만, 배포 전 모든 변경 사항은 엔지니어의 승인을 받아야 한다.
모델 및 엔드포인트별 성능
Sarvam에 따르면 AWS 뭄바이 클라이언트에서 10,000토큰 프롬프트를 사용해 72시간 동안 측정한 중앙값 테스트에서 Gemma 4 31B는 첫 토큰을 0.40초 만에 반환했고 초당 308토큰을 생성했다. 해당 모델을 제공하는 유일한 다른 업체의 기록은 각각 2.00초와 초당 193토큰이었다. 비교에는 각 지표에서 해당 업체가 제공하는 가장 높은 등급의 요금제가 사용됐다. Sarvam이 코딩 에이전트 추적 데이터와 B200 GPU 16대를 사용해 별도로 실시한 Kimi K3.1 Pro 테스트에서는 GPU당 초당 6,177토큰, 사용자당 초당 약 70토큰을 기록했다. InferenceX가 공개한 성능 곡선의 초당 3,213토큰과 비교되는 수치다.
Sarvam이 자체적으로 비교한 DeepSeek V4.1 Flash의 결과는 그보다 불리하다. 10,000토큰 프롬프트 지연 시간 테스트에서 Together는 0.71초 만에 첫 토큰을 반환한 반면 Sarvam Standard는 0.90초가 걸렸다. Sarvam의 별도 가격 대비 속도 표에는 Together의 출력 속도가 초당 278토큰, Sarvam Standard는 초당 130토큰으로 기재되어 있다. 지연 시간은 2026년 11월 3~5일에 각 제공업체의 가장 빠른 등급을 사용해 한 번에 요청 하나씩 측정했다.
Token Factory는 서빙 스택 자체를 핵심 제품으로 내세운다. 사업 모델은 인도 내 처리와 OpenAI 호환 마이그레이션을 캐싱 및 모델별 튜닝으로 얻는 GPU 비용 절감과 결합한다. 공개된 결과는 일부 워크로드에서 상당한 성능 향상을 보여주지만, 처리량과 지연 시간의 이점은 모델과 엔드포인트에 따라 달라진다는 점도 보여준다.












