Sarvam AI lancia Prism, un modello decisionale a pesi aperti

Il 3 novembre 2026, Sarvam AI ha lanciato Sarvam Prism, un modello a pesi aperti per le decisioni aziendali, basato su Sarvam 105B e progettato per assegnare punteggi a opzioni predefinite senza generare testo token per token. L’azienda dichiara un tempo di risposta mediano di 44 millisecondi con una sola GPU NVIDIA B200 e il punteggio medio più alto tra i modelli che rispondono in meno di 100 millisecondi nella sua valutazione di 25 modelli.

I pesi sono disponibili su Hugging Face con licenza Apache 2.0; è inoltre possibile accedere al modello ospitato tramite l’API Sarvam su Sarvam Indus. Per la distribuzione è necessaria una GPU con almeno 120 GB di memoria; Prism deve essere eseguito in FP8. Può elaborare fino a 131.072 token per domanda, consentendo di valutare in un unico passaggio input lunghi, come le tracce degli agenti.

Un modello decisionale a passaggio singolo

Ogni richiesta contiene uno stato, una domanda e un numero qualsiasi di opzioni, purché rientrino nella finestra di contesto. Prism elabora l’input con un unico passaggio in avanti e una piccola rete di scoring assegna una probabilità a ogni opzione. Sarvam ha creato il modello applicando un fine-tuning LoRA al proprio sistema 105B, adattandolo alle decisioni aziendali anziché alla generazione di testo libero. Gli usi testati includono l’instradamento delle richieste di assistenza clienti in base all’intento, l’instradamento dei modelli, l’intelligenza documentale e i controlli sulle esecuzioni degli agenti.

Due obiettivi di addestramento, ponderati in egual misura, determinano queste probabilità. Il primo usa l’entropia incrociata con uno smussamento delle etichette del 5% per scoraggiare la certezza assoluta; il secondo usa la perdita di Brier, che misura l’errore quadratico delle probabilità e rende costosi gli errori commessi con elevata sicurezza. Sarvam attribuisce a questa combinazione la calibrazione di Prism. Inoltre, una maschera di attenzione personalizzata mantiene separate le opzioni durante l’assegnazione dei punteggi. Lo stato e la domanda vengono letti in modo bidirezionale, mentre solo il token della risposta vede e confronta tutte le opzioni.

Misurazioni di accuratezza e latenza

La media riportata combina tre indici: il Jev Decision Index, che comprende 37 benchmark pubblici; la ricostruzione, realizzata da Sarvam, dell’Artificial Analysis Decision Index, che sostituisce il test originale di conoscenza privata con domande difficili selezionate e un’opzione «Non lo so»; e un benchmark interno in lingue indiane. I tempi di risposta sono mediane calcolate su 1.000 richieste inviate in sequenza, usando il codice di inferenza fornito dagli sviluppatori di ciascun modello nei casi in cui Sarvam ha potuto eseguirlo sul proprio hardware B200.

Nei test di Sarvam, Prism ha ottenuto un punteggio medio di 71,8, con risultati parziali di 67,0 su Jev, 65,9 sulla ricostruzione di Artificial Analysis e 82,5 sulle lingue indiane. Il modello mammoth-1, che ha ottenuto un punteggio più alto, ha raggiunto 75,2, ma il suo tempo di risposta mediano era di 284 millisecondi. Nel confronto compaiono anche due sistemi accessibili solo tramite API, Jev 1.14 e Microsoft-Decision-1, per i quali sono indicati i tempi pubblicati, anziché misurazioni locali equivalenti; pertanto, il grafico non utilizza un unico metodo di misurazione per tutti i modelli.

La configurazione iniziale aveva una latenza mediana di 664 millisecondi con precisione a 16 bit, usando due GPU B200. La conversione dei pesi in FP8 ha permesso di eseguire Prism su una sola GPU. Sarvam ha inoltre raggruppato tutti i 128 esperti in un unico kernel, acquisito il passaggio in avanti come CUDA Graph, integrato la conversione FP8 nei kernel degli esperti e incorporato l’adattatore di fine-tuning nei pesi del modello. Nel complesso, queste modifiche hanno prodotto la latenza della versione rilasciata, eseguibile su una sola GPU; Sarvam dichiara che non si è verificata alcuna perdita di accuratezza.

Calibrazione e valutazione degli agenti

I test di calibrazione verificano se un flusso di lavoro può affidarsi a soglie di confidenza per automatizzare le decisioni. Con un livello di confidenza pari ad almeno il 90% in inglese, Sarvam riferisce che Prism prevedeva un tasso di errore del 3,3% e ha commesso errori nel 2,2% dei casi, su 226.088 domande provenienti da 37 benchmark pubblici. Per 20.108 domande in 10 lingue indiane e in hinglish, prevedeva un tasso di errore del 5,4% e ha commesso errori nel 4,4% dei casi. In entrambi i gruppi linguistici, a tutte le soglie testate dal 50% al 95%, gli errori effettivi sono rimasti al di sotto di quelli previsti.

L’ordine delle opzioni pone un problema distinto di coerenza. Nel test di Sarvam su 2.000 domande, Prism ha modificato il 4,0% delle risposte quando le opzioni venivano mescolate in quattro ordini e valutate così come presentate. Disporre le opzioni in un ordine interno fisso prima di assegnare i punteggi, restituendo poi ogni probabilità sotto la sua etichetta originale, ha eliminato queste variazioni. Questo passaggio non ha richiesto calcoli aggiuntivi né ha comportato perdite di accuratezza nella valutazione.

Per la supervisione degli agenti, Sarvam ha valutato cinque modelli sugli stessi 700 run registrati e sulle stesse 1.770 domande. L’accuratezza complessiva dichiarata per Prism è stata del 78,5%, di cui il 75,0% nel valutare il successo delle attività, l’86,4% nel decidere se fosse necessario un controllo umano e il 69,6% nell’identificare l’agente responsabile di un errore. Le risposte sono state verificate rispetto ad annotazioni di esperti o agli esiti automatici dell’ambiente, mai in base al giudizio di un altro modello di IA. Prism legge una traccia una sola volta e assegna contemporaneamente i punteggi a cinque domande di valutazione, impiegando circa mezzo secondo per run su una GPU.

Sarvam dichiara un’accuratezza dell’89,0% per Prism in un benchmark interno di cybersicurezza composto da 5.517 domande su nove attività e prevede di ampliare e rendere pubblicamente disponibile il set di valutazione. Nello stesso test, Clef ha ottenuto l’84,5%, Jev 1.14 il 78,6% e Microsoft-Decision-1 il 76,1%. Basate su vulnerabilità pubblicate a partire da luglio 2026, le attività comprendono l’identificazione di campagne di phishing e tentativi di jailbreak, nonché la classificazione dei tipi di attacco nei framework MITRE.

La proposta centrale di Prism è un livello decisionale che le aziende possono addestrare ed eseguire sulla propria infrastruttura, con stime di affidabilità pensate per soglie automatizzate. I pesi aperti consentono di verificare questa proposta su flussi di lavoro privati. La pubblicazione prevista della valutazione di sicurezza porterebbe inoltre uno dei test interni dell’annuncio sotto l’esame del pubblico.