AI 모델 및 플랫폼
Sarvam AI, 엔터프라이즈 에이전트용 오픈 웨이트 105B 체크포인트 출시

핵심 포인트Sarvam의 업데이트는 새로운 기반 모델을 도입하기보다는 엔터프라이즈 에이전트를 위한 사후 훈련에서의 이점에 집중합니다.
더 보기
- Sarvam의 업데이트는 새로운 기반 모델을 도입하기보다는 엔터프라이즈 에이전트를 위한 사후 훈련에서의 이점에 집중합니다.
- 65GB NVFP4 체크포인트는 워크스테이션 GPU 하나에 맞으며 타사 API 없이 온프레미스 에이전트 배포를 가능하게 합니다.
- Sarvam의 혼합 가격 $0.15는 경쟁사를 밑돌지만 모든 벤치마크 점수는 자체 실행에서 나온 것입니다.
Sarvam AI는 2026년 11월 22일 고객 지원, 음성 에이전트 및 기타 대량 처리량이 많은 엔터프라이즈 업무를 겨냥한 새 오픈 웨이트 체크포인트 Sarvam-105B-1711을 출시했다. 이번 출시에는 추가 학습에 사용할 수 있는 BF16 가중치와 워크스테이션 GPU 한 대에서 실행하도록 설계된 소형 4비트 NVFP4 버전이 포함된다.
모델 카드에 따르면 이 모델은 Sarvam-105B와 동일한 1,050억 개 매개변수의 전문가 혼합 기반 모델을 사용하며, 활성 매개변수는 103억 개다. 새 체크포인트에는 도구 호출, 지시 따르기, 에이전트 작업 및 인도 언어를 위한 사후 학습이 추가됐다. 따라서 이는 새로 선보인 기반 모델이 아니라 기존 모델을 업데이트한 것으로, 변경 사항은 기반 모델이 엔터프라이즈 업무를 처리하는 방식에 집중돼 있다.
사후 학습 성능 향상 및 공급업체 벤치마크
Sarvam에 따르면 지시 따르기 성능은 IFBench에서 2월 체크포인트의 32.5점에서 82.5점으로, 고객 서비스 도구 사용 성능은 Tau2에서 46.2점에서 85.5점으로, 인도 언어 성능은 자체 Indic 평가 세트에서 30.1점에서 79.1점으로 올랐다. 네 차례의 독립적인 시도에서 모두 과제를 올바르게 완료한 경우를 집계하는 Tau2의 pass^4 지표에서 새 모델은 69.5%를 기록했다. Gemini 3.5 Flash-Lite는 63.9%, Gemma 4 31B는 62.1%였다.
Sarvam은 NVFP4 버전이 8개 대화형 에이전트 벤치마크에서 평균 73.9점을 기록했다고 밝혔다. 이는 2월의 42.6점보다 높은 수치다. Gemini 3.5 Flash-Lite는 토큰 100만 개당 혼합 단가 0.85달러로 74.0점을 기록했고, Gemma 4 31B는 0.54달러로 73.0점을 기록했다. Sarvam-105B-1711의 혼합 단가는 0.15달러로, 이전 버전의 0.44달러보다 낮다.
모든 점수는 Sarvam이 자체적으로 실행한 결과다. 오픈 웨이트 모델은 vLLM을 통해 제공했고, API 모델은 OpenRouter를 통해 이용했다. 평가 기본 설정은 추론 모드에서 온도 1.0, 최대 출력 토큰 65,536개, 샘플 4개의 평균값을 사용한다. 예산 초과, 컨텍스트 초과 및 형식이 잘못된 응답에는 0점을 부여한다. Indic 평가 세트는 Sarvam의 내부 인도 언어 벤치마크로, 채점 기준을 적용하는 평가자로 Gemini 3.1 Pro를 사용한다. 이는 보고된 언어 성능 향상을 해석할 때 고려해야 할 중요한 조건이다.
Blackwell에서의 학습 및 추론 서비스 제공
Sarvam에 따르면 8비트 MXFP8 학습 레시피를 적용해 컨텍스트 길이 8K에서 NVIDIA B200 GPU 64개를 사용할 때 GPU당 사전 학습 처리량이 초당 5,500토큰에서 10,900토큰으로 늘었다. 강화 학습에서는 초안 모델이 검증할 토큰을 제안하는 DSpark 추측 디코딩과 8비트 정밀도를 적용해 한 단계의 처리 시간을 758초에서 약 420~440초로 줄였다. 회사의 테스트에서 평균 보상은 사실상 변하지 않았다.
B200 GPU 512개를 사용해 7일을 조금 넘는 기간 동안 3,300억 토큰으로 연속 사전 학습을 진행해 모델의 컨텍스트 길이를 16만 토큰으로 확장했다. 이 학습은 사후 학습으로 성능이 향상된 것과는 다른 제약을 해결한다. 즉, 에이전트가 긴 문서나 장시간 이어지는 작업을 처리하는 동안 얼마나 많은 내용을 유지할 수 있는지에 관한 문제다.
동시 요청 64건을 처리할 때 Sarvam은 DSpark를 적용한 NVFP4 체크포인트의 디코딩 처리량을 B200 GPU당 초당 6,067토큰으로 측정했다. 이는 BF16 구성보다 약 2.1배 높은 수치다. 이처럼 추론 서비스 효율이 높아진 덕분에 토큰 혼합 단가를 낮출 수 있으며, 인프라 개선은 대량 처리량이 많은 엔터프라이즈 업무에 적합하다는 모델의 주장을 뒷받침한다.
오픈 웨이트로 프라이빗 배포 지원
Sarvam에 따르면 65GB NVFP4 체크포인트는 96GB NVIDIA RTX PRO 6000 Blackwell GPU 한 대에 탑재할 수 있으며, 토큰 1만 개 프롬프트를 사용하는 단일 요청에서 사용자당 초당 99토큰의 디코딩 속도를 제공한다. 이 정도의 하드웨어 규모라면 문서를 타사 API로 전송하지 않고도 Indus Cowork 에이전트를 온프레미스에서 실행할 수 있다.
NVFP4 체크포인트는 Sarvam Token Factory를 통해 제공되는 것과 동일한 모델이며, BF16 버전은 미세 조정과 추가 사후 학습을 위한 것이다. 저장소에는 Apache-2.0 라이선스 태그가 붙어 있고, 모델 카드에는 vLLM 0.33.0을 사용한 호스팅 방법, 선택 사항인 DSpark 지원, 기본 활성화된 추론 모드, 그리고 추론 모드 사용 시 1.0, 미사용 시 0.6으로 권장되는 온도가 안내돼 있다.
엔터프라이즈 고객은 이번 출시를 통해 API를 이용하는 동시에 민감한 문서 작업을 자체 네트워크 안에서 처리할 수 있는 프라이빗 배포 방식도 활용할 수 있다. 다만 공급업체가 보고한 에이전트 성능 향상이 실제 운영 워크플로에서도 재현될지는 아직 확인이 필요하다. 단일 GPU에서 실행할 수 있는 점과 낮은 토큰 단가는 도입을 검토할 때 특히 큰 장점이 될 수 있다.












