Cohere lancia la beta pubblica del calcolo confidenziale su Model Vault

Il 22 ottobre 2026 Cohere ha annunciato la beta pubblica del calcolo confidenziale su Cohere Model Vault, la sua piattaforma dedicata e completamente gestita per l’inferenza dei modelli, basata su GPU NVIDIA H100 su Microsoft Azure e rivolta alle aziende che elaborano dati sensibili.

Il lancio estende Model Vault ai carichi di lavoro che coinvolgono cartelle cliniche, informazioni finanziarie, documenti riservati, proprietà intellettuale e codice sorgente proprietario. Cohere ha dichiarato che l’obiettivo è consentire alle aziende di usufruire delle funzionalità e della semplicità operativa dell’IA gestita, mantenendo al contempo i dati sensibili in chiaro al riparo dall’infrastruttura che eroga il servizio. Tra i possibili carichi di lavoro, l’azienda cita le indagini sulle frodi nei servizi finanziari, la ricerca di documenti riservati e la due diligence per gli studi legali, le informazioni sensibili del settore pubblico, i brevetti e il materiale di ricerca, i documenti proprietari di ingegneria e progettazione delle interfacce, nonché la ricerca e l’analisi del codice sorgente proprietario.

Nella ripartizione dei ruoli prevista dalla beta, Microsoft Azure fornisce l’infrastruttura di base per il calcolo confidenziale, NVIDIA Confidential Computing estende questa protezione alle GPU H100 e Cohere offre l’erogazione gestita dei modelli, un percorso di richiesta crittografato, l’attestazione remota e la verifica lato cliente tramite Model Vault. Secondo l’azienda, i clienti possono configurare e gestire vault crittografati tramite Model Vault, collegarli attraverso le stesse API di Cohere e iniziare da vault.cohere.com.

Esecuzione confidenziale e percorso di richiesta crittografato

Il calcolo confidenziale protegge i dati in uso, ovvero le informazioni mentre un modello le sta elaborando: un terzo stato, oltre ai dati archiviati e a quelli in transito, tradizionalmente coperti dalla crittografia. In Model Vault, lo stack di erogazione dei modelli, che comprende il sistema operativo, i driver e il server di inferenza, viene eseguito all’interno di una macchina virtuale confidenziale. Qui, l’isolamento basato sull’hardware protegge la memoria dall’ambiente host e le policy limitano l’ambiente al software approvato, senza offrire agli operatori alcun accesso interattivo al carico di lavoro in esecuzione, secondo un approfondimento tecnico pubblicato da Cohere insieme al lancio. NVIDIA Confidential Computing protegge la memoria della GPU e crittografa il traffico tra CPU e GPU, estendendo così il perimetro confidenziale all’acceleratore che esegue l’inferenza, anziché fermarlo alla CPU che la coordina.

Anche la richiesta è protetta separatamente. Model Vault usa Oblivious HTTP, o OHTTP, per crittografare i contenuti sensibili di una richiesta con una chiave pubblica associata all’ambiente confidenziale attestato. Il messaggio crittografato attraversa le infrastrutture intermediarie sotto forma di testo cifrato; solo il gateway OHTTP all’interno dell’ambiente dispone della corrispondente chiave privata, e anche le risposte sono protette allo stesso modo durante il percorso di ritorno. Cohere afferma che questa soluzione separa la gestione della piattaforma dalla possibilità di leggere ciò che i clienti vi inviano: gli intermediari possono comunque instradare il traffico senza vedere i payload in chiaro. Le applicazioni continuano a usare l’API di Model Vault e i consueti formati delle richieste; la protezione è implementata nei livelli del client e dell’infrastruttura, senza richiedere una riprogettazione dei payload.

L’attestazione remota come controllo attivo

Prima dell’invio di una richiesta protetta, l’ambiente confidenziale genera prove firmate crittograficamente che riportano misurazioni e proprietà rilevanti per la sicurezza dell’hardware, del firmware, dell’ambiente operativo e del software applicativo; il software lato cliente verifica poi tali prove rispetto a una policy approvata. Le prove documentano quale ambiente è effettivamente in esecuzione; la policy stabilisce se quell’ambiente debba essere considerato affidabile per l’elaborazione dei dati. Se una proprietà richiesta non corrisponde ai requisiti — per esempio, se è cambiata una misurazione del software o se una GPU non si trova nella modalità confidenziale prevista — il client non supera la verifica, rifiuta di trasmettere il payload e la richiesta rimane nell’ambiente del cliente. Le prove vengono aggiornate frequentemente e, prima di proseguire con l’invio di richieste protette, il client verifica ogni volta le nuove misurazioni e lo stato di sicurezza rispetto alla policy approvata. Cohere descrive questo meccanismo come una trasformazione dell’attestazione: da registrazione conservata a fini di audit a controllo che decide attivamente se rilasciare i dati protetti.

Nell’annuncio del lancio di Cohere, il CTO Phil Blunsom ha dichiarato: «Grazie all’attestazione hardware, i clienti non solo dispongono di prove crittografiche che i carichi di lavoro sono eseguiti in un ambiente sicuro di calcolo confidenziale, ma possono anche verificare che i loro dati siano protetti da accessi non autorizzati, persino da parte di Cohere». Vikas Bhatia, responsabile del prodotto per Azure Confidential Computing presso Microsoft, ha affermato che il lavoro con Cohere dimostra come il calcolo confidenziale possa combinare la semplicità dell’IA gestita con controlli tecnici verificabili in modo indipendente. John Fanelli, vicepresidente del software aziendale presso NVIDIA, ha dichiarato che NVIDIA Confidential Computing sulle sue GPU offre protezioni basate sull’hardware che aiutano piattaforme come Model Vault a portare l’inferenza IA confidenziale nei carichi di lavoro aziendali.

Modello delle minacce, limiti dichiarati e piani per l’open source

Nel modello di minaccia dichiarato, durante l’elaborazione il sistema protegge prompt, documenti, risposte e l’esecuzione del modello, impedendo al provider cloud, al sistema operativo host, all’hypervisor, agli amministratori dell’infrastruttura e agli stessi operatori di Cohere di leggere la memoria protetta dei carichi di lavoro. La base di calcolo fidata comprende comunque l’hardware e il firmware che forniscono le fondamenta del confidential computing, il software sottoposto a misurazione in esecuzione nell’ambiente, le misurazioni di riferimento che definiscono una configurazione approvata e l’infrastruttura di attestazione che valuta e firma le prove. Cohere afferma che la progettazione riduce ciò di cui ci si deve fidare a un insieme esplicito di componenti che producono prove misurabili e verificabili.

Cohere chiarisce anche cosa resta escluso da questo perimetro. Gli attacchi fisici e quelli basati sui canali laterali, come la deduzione di informazioni dai tempi di esecuzione o da altri comportamenti dell’hardware condiviso, ne restano al di fuori; inoltre, un operatore che non può leggere un carico di lavoro può comunque interromperlo, ritardarlo o impedirne l’esecuzione. La progettazione, quindi, non offre di per sé alcuna garanzia di disponibilità. I rischi a livello applicativo, come la prompt injection, l’uso non sicuro degli strumenti, gli errori di autorizzazione e altre vulnerabilità software, non vengono risolti eseguendo il software su hardware per il confidential computing.

Un’altra esclusione riguarda i metadati osservabili: sebbene il contenuto dei payload sia cifrato, restano visibili le dimensioni dei messaggi, i tempi delle richieste, il volume del traffico e i dettagli di instradamento; inoltre, nell’architettura attuale, anche le credenziali API e l’identificativo del modello si trovano al di fuori del payload protetto da OHTTP. L’azienda afferma che il confidential computing non sostituisce la sicurezza delle applicazioni, non è un meccanismo di residenza dei dati, non sostituisce i controlli di conformità o contrattuali e non è una forma di cifratura omomorfica, poiché il modello continua a operare su testo in chiaro all’interno dell’ambiente protetto.

L’implementazione si basa sui progetti open source Kata Containers e Confidential Containers. Cohere ha dichiarato di voler rilasciare con licenza open source lo stack di inferenza confidenziale, consentendo a clienti e ricercatori di sicurezza di esaminare il codice, verificare quali criteri vengono applicati e riprodurre in modo indipendente le misurazioni di verifica. Attualmente la beta è disponibile su GPU NVIDIA H100 in Microsoft Azure e Cohere ha dichiarato che è in corso l’aggiunta del supporto per l’infrastruttura NVIDIA Blackwell, comprese le GPU B200, in vista della disponibilità generale.