Sarvam AI, 오픈 웨이트 의사결정 모델 Prism 출시

Sarvam AI는 2026년 11월 3일 Sarvam Prism을 출시했다. Sarvam 105B를 기반으로 한 이 오픈 웨이트 모델은 토큰을 하나씩 생성하지 않고 미리 정해진 선택지에 점수를 매겨 기업의 의사결정을 지원한다. 회사에 따르면 NVIDIA B200 GPU 한 대에서 중앙값 응답 시간은 44밀리초였으며, 25개 모델을 평가한 결과 100밀리초 이내에 응답한 모델 가운데 평균 점수가 가장 높았다.

가중치는 Apache 2.0 라이선스로 Hugging Face에서 제공되며, Sarvam Indus에서 Sarvam API를 통해 호스팅 방식으로 이용할 수도 있다. 배포하려면 메모리가 최소 120GB인 GPU 한 대가 필요하며, Prism은 FP8로 실행된다. 질문 하나당 최대 131,072개 토큰을 처리할 수 있어 에이전트 실행 기록처럼 긴 입력도 한 번에 평가할 수 있다.

단일 패스로 작동하는 의사결정 모델

각 요청에는 상태, 질문, 그리고 컨텍스트 창 안에 들어가는 수만큼의 선택지가 포함된다. Prism은 입력을 한 번의 순전파로 처리하고, 작은 점수 산출 헤드가 각 선택지에 확률을 부여한다. Sarvam은 자사의 105B 시스템에 LoRA 미세 조정을 적용해 모델을 만들었으며, 자유 형식 텍스트 생성이 아니라 기업의 의사결정에 맞게 조정했다. 테스트한 용도에는 고객 지원 문의의 의도별 분류, 모델 라우팅, 문서 인텔리전스, 에이전트 실행 결과 점검이 포함된다.

서로 동일한 가중치를 갖는 두 가지 학습 목표가 이러한 확률을 결정한다. 하나는 완전한 확신을 억제하기 위해 레이블 스무딩을 5% 적용한 교차 엔트로피를 사용한다. 다른 하나는 확률 오차의 제곱을 측정하고 확신에 찬 오답에 큰 비용을 부과하는 브라이어 손실을 사용한다. Sarvam은 이 조합 덕분에 Prism의 확률 보정이 이뤄진다고 설명한다. 또한 맞춤형 어텐션 마스크를 적용해 점수를 매기는 동안 각 선택지가 서로 영향을 주지 않도록 분리한다. 상태와 질문은 양방향으로 읽지만, 답변 토큰만 모든 선택지를 확인하고 비교한다.

정확도 및 지연 시간 측정

보고된 평균 점수는 세 가지 지표를 종합한 것이다. 37개의 공개 벤치마크를 다루는 Jev Decision Index, 원래의 비공개 지식 테스트 대신 엄선된 고난도 질문과 “모르겠습니다” 선택지를 사용하는 Sarvam의 Artificial Analysis Decision Index 재현 평가, 그리고 인도 언어를 대상으로 한 내부 벤치마크다. 응답 시간은 요청 1,000건을 순차적으로 보낸 뒤 측정한 중앙값이다. Sarvam이 B200 하드웨어에서 모델을 실행할 수 있었던 경우에는 각 모델 개발사의 자체 추론 코드를 사용했다.

Sarvam의 평가에서 Prism은 평균 71.8점을 기록했으며, 세부 점수는 Jev에서 67.0점, Artificial Analysis 재현 평가에서 65.9점, 인도 언어 평가에서 82.5점이었다. 더 높은 점수를 받은 mammoth-1은 75.2점을 기록했지만 중앙값 응답 시간은 284밀리초였다. API로만 제공되는 Jev 1.14와 Microsoft-Decision-1도 비교에 포함됐지만, 이들 모델의 시간은 동등한 조건에서 로컬로 측정한 값이 아니라 공개된 수치다. 따라서 차트에 제시된 모델별 측정 방식은 모두 동일하지 않다.

초기 구성은 B200 GPU 두 대에서 16비트 정밀도로 실행했을 때 중앙값 지연 시간이 664밀리초였다. 가중치를 FP8로 변환해 Prism을 GPU 한 대에 올릴 수 있었다. Sarvam은 또한 128개 전문가를 모두 하나의 커널로 묶고, 순전파를 CUDA Graph로 캡처했으며, 전문가 커널에 FP8 변환을 통합하고 미세 조정 어댑터를 모델 가중치에 병합했다. 이러한 변경을 종합해 출시 버전의 단일 GPU 지연 시간을 구현했으며, Sarvam은 정확도 손실이 없었다고 보고했다.

확률 보정 및 에이전트 평가

확률 보정 테스트는 의사결정을 자동화할 때 워크플로가 신뢰도 임계값에 의존해도 되는지를 살펴본다. Sarvam에 따르면 영어 질문에서 신뢰도가 90% 이상인 경우 Prism은 오답률을 3.3%로 예상했고 실제 오답률은 2.2%였다. 이 결과는 37개 공개 벤치마크의 질문 226,088개를 대상으로 했다. 인도 언어 10개와 힌글리시로 된 질문 20,108개에서는 오답률을 5.4%로 예상하고 실제로는 4.4%의 오답률을 기록했다. 두 언어 집단 모두 테스트한 모든 임계값인 50%부터 95%까지에서 실제 오답률이 예상 오답률보다 낮았다.

선택지의 순서도 별도의 일관성 문제를 일으킨다. Sarvam이 질문 2,000개로 진행한 테스트에서 Prism은 선택지를 네 가지 순서로 섞어 입력된 그대로 점수를 매겼을 때 답변의 4.0%를 바꿨다. 점수를 매기기 전에 선택지를 내부적으로 고정된 순서에 배치하고 각 확률을 원래 레이블에 맞춰 반환하자 답변이 바뀌는 문제가 사라졌다. 이 단계는 연산을 추가하지 않았으며 평가에서 정확도 손실도 발생하지 않았다.

에이전트 감독을 위해 Sarvam은 동일한 기록 실행 사례 700건과 질문 1,770개를 사용해 모델 다섯 개를 평가했다. Prism의 보고된 전체 정확도는 78.5%였으며, 세부적으로는 작업 성공 여부 판단이 75.0%, 사람의 검토가 필요한지 판단이 86.4%, 실패를 일으킨 에이전트 식별이 69.6%였다. 답변은 전문가 주석 또는 자동화된 환경의 결과와 대조해 확인했으며, 다른 AI 모델의 판단과 비교하지 않았다. Prism은 실행 기록을 한 번 읽고 평가 질문 다섯 개에 함께 점수를 매기며, GPU 한 대에서 실행 사례당 약 0.5초가 걸린다.

Sarvam은 9개 작업에 걸친 질문 5,517개로 구성된 내부 사이버 보안 벤치마크에서 Prism이 89.0%의 정확도를 기록했다고 보고했으며, 평가 세트를 확대해 공개할 계획이다. 같은 평가에서 Clef는 84.5%, Jev 1.14는 78.6%, Microsoft-Decision-1은 76.1%를 기록했다. 2026년 7월 이후 공개된 취약점을 바탕으로 만든 이 작업에는 피싱 캠페인과 탈옥 시도를 식별하고 MITRE 프레임워크에 따라 공격 유형을 분류하는 내용이 포함된다.

Prism의 핵심 제안은 기업이 자체 인프라에서 학습하고 실행할 수 있는 의사결정 계층으로, 자동화된 임계값 설정에 활용하도록 설계된 신뢰도 추정치를 제공한다는 것이다. 공개 가중치를 통해 이러한 제안을 비공개 워크플로에서 시험해 볼 수 있다. 보안 평가 결과를 공개할 계획은 발표 내용에 포함된 내부 테스트 중 하나를 외부의 검증 대상으로 삼는 계기가 될 것이다.