Sarvam AI lanserer beslutningsmodell med åpne vekter: Prism

Sarvam AI lanserte Sarvam Prism 3. november 2026, en modell med åpne vekter for beslutninger i virksomheter. Modellen bygger på Sarvam 105B og skårer forhåndsdefinerte alternativer uten å generere tekst token for token. Selskapet rapporterer en median responstid på 44 millisekunder på én NVIDIA B200-GPU og den høyeste gjennomsnittsskåren blant modellene som svarer på under 100 millisekunder, i en evaluering av 25 modeller.

Vektene er tilgjengelige på Hugging Face under Apache 2.0-lisensen, og modellen kan brukes via Sarvam API på Sarvam Indus. En utrulling krever én GPU med minst 120 GB minne, og Prism må kjøre i FP8. Modellen kan behandle opptil 131 072 tokens per spørsmål, slik at lange inndata, for eksempel agentlogger, kan evalueres i én omgang.

En beslutningsmodell som behandler inndata i én omgang

Hver forespørsel inneholder en tilstand, et spørsmål og et valgfritt antall alternativer som får plass i kontekstvinduet. Prism behandler inndataene i én fremoverpassering, og et lite skåringshode tilordner hvert alternativ en sannsynlighet. Sarvam utviklet modellen ved å finjustere sitt 105B-system med LoRA, slik at det ble tilpasset beslutninger i virksomheter i stedet for fri tekstgenerering. Modellen er testet for blant annet ruting av henvendelser til kundestøtte etter hensikt, modellruting, dokumentforståelse og kontroll av agentkjøringer.

To treningsmål med lik vekting former sannsynlighetene. Det ene bruker kryssentropi med 5 % utjevning av etiketter for å motvirke fullstendig sikkerhet. Det andre bruker Brier-tap, som måler kvadrert sannsynlighetsfeil og gjør det kostbart å ta feil med stor sikkerhet. Sarvam tilskriver Prism-modellens kalibrering denne kombinasjonen. En tilpasset oppmerksomhetsmaske sørger også for at alternativene holdes atskilt fra hverandre under skåringen. Tilstanden og spørsmålet leses i begge retninger, mens bare svaretokenet ser alle alternativene og sammenligner dem.

Målinger av nøyaktighet og responstid

Den rapporterte gjennomsnittsskåren kombinerer tre indekser: Jev Decision Index, som dekker 37 offentlige referansetester; Sarvams gjenskaping av Artificial Analysis Decision Index, der kuraterte vanskelige spørsmål med et «Jeg vet ikke»-alternativ erstatter den opprinnelige private kunnskapstesten; og en intern referansetest for indiske språk. Responstidene er medianer basert på 1 000 forespørsler sendt sekvensielt. Der Sarvam kunne kjøre modellen på sitt B200-utstyr, brukte selskapet inferenskoden fra den enkelte modellutvikleren.

Prism oppnådde en gjennomsnittsskår på 71,8 i Sarvams testing, med delresultater på 67,0 for Jev, 65,9 for gjenskapingen av Artificial Analysis og 82,5 for indiske språk. Mammoth-1 oppnådde en høyere skår på 75,2, men hadde en median responstid på 284 millisekunder. To systemer som bare er tilgjengelige via API, Jev 1.14 og Microsoft-Decision-1, er tatt med i sammenligningen med offentlig rapporterte responstider i stedet for tilsvarende lokale målinger. Diagrammet bruker derfor ikke samme målemetode for alle modellene.

Den opprinnelige konfigurasjonen hadde en median responstid på 664 millisekunder med 16-bits presisjon på to B200-GPU-er. Ved å konvertere vektene til FP8 kunne Prism kjøre på én GPU. Sarvam samlet også alle de 128 ekspertene i én kjerne, registrerte fremoverpasseringen som en CUDA Graph, slo sammen FP8-konverteringen med ekspertkjernene og flettet finjusteringsadapteren inn i modellvektene. Til sammen ga disse endringene responstiden for den lanserte én-GPU-konfigurasjonen, og Sarvam rapporterer at nøyaktigheten ikke ble redusert.

Kalibrering og evaluering av agenter

Kalibreringstestene undersøker om en arbeidsflyt kan basere automatiserte beslutninger på konfidensgrenser. For engelsk rapporterer Sarvam at Prism ved en konfidens på minst 90 % forventet 3,3 % feil, men hadde 2,2 % feil, basert på 226 088 spørsmål fra 37 offentlige referansetester. For 20 108 spørsmål på 10 indiske språk og hinglish forventet modellen 5,4 % feil og hadde 4,4 %. I begge språkgruppene var den faktiske feilraten lavere enn den forventede ved alle testede grenser fra 50 % til 95 %.

Rekkefølgen på alternativene gir en egen utfordring for konsistensen. I Sarvams test med 2 000 spørsmål endret Prism 4,0 % av svarene da alternativene ble stokket om i fire ulike rekkefølger og skåret slik de ble presentert. Når alternativene først ble satt i en fast intern rekkefølge før skåringen, og sannsynlighetene deretter ble knyttet til de opprinnelige etikettene, forsvant disse endringene. Dette trinnet krevde ingen ekstra beregninger og reduserte ikke nøyaktigheten i evalueringen.

For tilsyn med agenter evaluerte Sarvam fem modeller på de samme 700 registrerte kjøringene og 1 770 spørsmålene. Prism hadde en rapportert samlet nøyaktighet på 78,5 %, inkludert 75,0 % for vurdering av om oppgaven var fullført, 86,4 % for avgjørelse av om menneskelig gjennomgang var nødvendig, og 69,6 % for identifisering av agenten som var ansvarlig for en feil. Svarene ble kontrollert mot ekspertannoteringer eller automatiske resultater fra miljøet, aldri mot vurderingen til en annen KI-modell. Prism leser en sporingslogg én gang og skårer fem evalueringsspørsmål samtidig. Det tar omtrent et halvt sekund per kjøring på én GPU.

Sarvam rapporterer 89,0 % nøyaktighet for Prism på en intern referansetest innen cybersikkerhet, med 5 517 spørsmål fordelt på ni oppgaver, og planlegger å utvide og offentliggjøre dette evalueringssettet. I de samme resultatene oppnådde Clef 84,5 %, Jev 1.14 78,6 % og Microsoft-Decision-1 76,1 %. Oppgavene bygger på sårbarheter som er publisert siden juli 2026, og omfatter identifisering av phishingkampanjer og jailbreak-forsøk samt klassifisering av angrepstyper innenfor MITRE-rammeverk.

Prisms sentrale idé er et beslutningslag som virksomheter kan trene og kjøre på sin egen infrastruktur, med konfidensanslag beregnet på automatiserte terskelverdier. De åpne vektene gjør det mulig å teste denne ideen i private arbeidsflyter. Den planlagte offentliggjøringen av sikkerhetsevalueringen ville også gjøre en av kunngjøringens interne tester gjenstand for offentlig granskning.