Sarvam AI brengt beslismodel Prism met open gewichten uit

Sarvam AI bracht Sarvam Prism uit op 3 november 2026: een model met open gewichten voor zakelijke besluitvorming, gebaseerd op Sarvam 105B en bedoeld om vooraf bepaalde opties te beoordelen zonder token voor token tekst te genereren. Het bedrijf rapporteert een mediane responstijd van 44 milliseconden op één NVIDIA B200-GPU en de hoogste gemiddelde score van de modellen die binnen 100 milliseconden antwoordden in de evaluatie van 25 modellen.

De gewichten zijn beschikbaar op Hugging Face onder de Apache 2.0-licentie; gehoste toegang is mogelijk via de Sarvam API op Sarvam Indus. Voor een implementatie is één GPU nodig met ten minste 120 GB geheugen, waarop Prism in FP8 draait. Per vraag kan het model maximaal 131.072 tokens verwerken, zodat lange invoer, zoals agenttraces, in één keer kan worden geëvalueerd.

Een beslismodel dat alles in één keer verwerkt

Elk verzoek bevat een status, een vraag en een willekeurig aantal opties dat binnen het contextvenster past. Prism verwerkt die invoer in één voorwaartse doorgang, waarna een kleine scoringslaag aan elke optie een waarschijnlijkheid toekent. Sarvam ontwikkelde het model door zijn 105B-systeem met LoRA verder te trainen, zodat het geschikt werd voor zakelijke besluitvorming in plaats van het genereren van vrije tekst. De geteste toepassingen omvatten het routeren van klantvragen op basis van intentie, het routeren van modellen, documentintelligentie en het controleren van agentuitvoeringen.

Twee even zwaar meewegende trainingsdoelen bepalen deze waarschijnlijkheden. Het ene gebruikt cross-entropie met 5% labelverzachting om absolute zekerheid te ontmoedigen; het andere gebruikt Brier-verlies, dat de gekwadrateerde fout in de waarschijnlijkheid meet en overmoedige fouten kostbaar maakt. Sarvam schrijft de kalibratie van Prism toe aan deze combinatie. Een aangepast aandachtsmasker zorgt er bovendien voor dat opties tijdens het scoren van elkaar gescheiden blijven. De status en de vraag worden bidirectioneel gelezen, terwijl alleen het antwoordtoken alle opties ziet en met elkaar vergelijkt.

Metingen van nauwkeurigheid en vertraging

Het gerapporteerde gemiddelde combineert drie indexen: de Jev Decision Index, met 37 openbare benchmarks; Sarvams reconstructie van de Artificial Analysis Decision Index, waarin zorgvuldig geselecteerde moeilijke vragen en de optie ‘Ik weet het niet’ de oorspronkelijke private kennistest vervangen; en een interne benchmark voor Indiase talen. De responstijden waren medianen van 1.000 opeenvolgend verzonden verzoeken. Daarbij werd de eigen inferentiecode van elke modelontwikkelaar gebruikt wanneer Sarvam het model op zijn B200-hardware kon uitvoeren.

Prism behaalde in Sarvams tests een gemiddelde score van 71,8, met deelscores van 67,0 voor Jev, 65,9 voor de reconstructie van Artificial Analysis en 82,5 voor Indiase talen. De hoger scorende mammoth-1 behaalde 75,2, maar had een mediane responstijd van 284 milliseconden. Twee systemen die alleen via API beschikbaar zijn, Jev 1.14 en Microsoft-Decision-1, zijn in de vergelijking opgenomen met openbaar gerapporteerde responstijden in plaats van vergelijkbare lokale metingen. De grafiek gebruikt dus niet voor elk model dezelfde meetmethode.

De oorspronkelijke configuratie had een mediane responstijd van 664 milliseconden bij een precisie van 16 bits en draaide op twee B200-GPU’s. Door de gewichten naar FP8 om te zetten, kon Prism op één GPU draaien. Sarvam bracht ook alle 128 experts onder in één kernel, legde de voorwaartse doorgang vast als een CUDA Graph, voegde de FP8-conversie samen met de expertkernels en integreerde de fine-tuningadapter in de modelgewichten. Samen zorgden deze wijzigingen voor de uitgebrachte latentie op één GPU; volgens Sarvam ging dit niet ten koste van de nauwkeurigheid.

Kalibratie en evaluatie van agents

De kalibratietests onderzoeken of een workflow bij het automatiseren van beslissingen op betrouwbaarheidsdrempels kan vertrouwen. Bij een betrouwbaarheidsniveau van ten minste 90% in het Engels verwachtte Prism volgens Sarvam 3,3% fouten en maakte het 2,2% fouten, op basis van 226.088 vragen uit 37 openbare benchmarks. Bij 20.108 vragen in 10 Indiase talen en Hinglish verwachtte het 5,4% fouten en maakte het 4,4% fouten. In beide taalgroepen bleef het werkelijke foutenpercentage bij elke geteste drempel tussen 50% en 95% onder het voorspelde percentage.

De volgorde van opties brengt een afzonderlijk consistentieprobleem met zich mee. In Sarvams test met 2.000 vragen veranderde Prism 4,0% van de antwoorden wanneer de opties in vier verschillende volgordes werden gehusseld en in die volgorde werden gescoord. Door de opties vóór het scoren in een vaste interne volgorde te zetten en vervolgens elke waarschijnlijkheid aan het oorspronkelijke label te koppelen, werden die veranderingen voorkomen. Deze stap vergde geen extra berekeningen en leidde in de evaluatie niet tot nauwkeurigheidsverlies.

Voor het toezicht op agents evalueerde Sarvam vijf modellen aan de hand van dezelfde 700 opgenomen uitvoeringen en 1.770 vragen. De gerapporteerde algehele nauwkeurigheid van Prism was 78,5%: 75,0% voor het beoordelen van taaksucces, 86,4% voor het bepalen of menselijke controle nodig was en 69,6% voor het identificeren van de agent die verantwoordelijk was voor een fout. De antwoorden werden gecontroleerd aan de hand van annotaties van experts of automatische uitkomsten uit de omgeving, nooit aan de hand van het oordeel van een ander AI-model. Prism leest een trace één keer en scoort tegelijk vijf evaluatievragen; dat duurt op één GPU ongeveer een halve seconde per uitvoering.

Sarvam rapporteert voor Prism een nauwkeurigheid van 89,0% op een interne benchmark voor cyberbeveiliging met 5.517 vragen over negen taken, en is van plan die evaluatieset uit te breiden en openbaar te maken. In dezelfde resultaten behaalde Clef 84,5%, Jev 1.14 78,6% en Microsoft-Decision-1 76,1%. De taken zijn gebaseerd op kwetsbaarheden die sinds juli 2026 zijn gepubliceerd en omvatten het identificeren van phishingcampagnes en jailbreakpogingen, en het classificeren van aanvalstypen binnen MITRE-frameworks.

De centrale belofte van Prism is een beslislaag die bedrijven op hun eigen infrastructuur kunnen trainen en gebruiken, met betrouwbaarheidsinschattingen die bedoeld zijn voor geautomatiseerde drempelwaarden. Dankzij de open gewichten kan die belofte worden getest in private workflows. De geplande publicatie van de beveiligingsevaluatie zou ook een van de interne tests uit de aankondiging aan publieke toetsing onderwerpen.