Cohere introduceert vertrouwelijk rekenen op Model Vault in openbare bèta

Op 22 oktober 2026 maakte Cohere de openbare bèta bekend van vertrouwelijk rekenen op Cohere Model Vault, zijn speciaal daarvoor ontwikkelde, volledig beheerde platform voor modelinferentie. Het platform draait op NVIDIA H100-GPU’s op Microsoft Azure en is bedoeld voor bedrijven die gevoelige gegevens verwerken.

Met deze lancering breidt Cohere Model Vault uit naar workloads met medische dossiers, financiële informatie, documenten die onder het verschoningsrecht vallen, intellectueel eigendom en propriëtaire broncode. Cohere zegt dat het doel is bedrijven gebruik te laten maken van de mogelijkheden en het gebruiksgemak van beheerde AI, terwijl hun gevoelige gegevens in platte tekst buiten het bereik blijven van de infrastructuur waarop de dienst draait. Het bedrijf noemt als mogelijke workloads onder meer fraudeonderzoek bij financiële instellingen, het zoeken in bevoorrechte documenten en due diligence voor juridische teams, gevoelige informatie van de publieke sector, octrooien en onderzoeksmateriaal, propriëtaire technische documentatie en interfaceontwerpen, en het doorzoeken en analyseren van propriëtaire broncode.

In de taakverdeling tijdens de bèta levert Microsoft Azure de onderliggende infrastructuur voor vertrouwelijk rekenen, breidt NVIDIA Confidential Computing die bescherming uit naar de H100-GPU’s en verzorgt Cohere het beheerde aanbieden van modellen, een versleutelde route voor aanvragen, externe attestatie en verificatie aan de klantzijde via Model Vault. Klanten kunnen via Model Vault versleutelde kluizen instellen en beheren, deze via dezelfde Cohere API’s koppelen en aan de slag gaan op vault.cohere.com, aldus het bedrijf.

Vertrouwelijke uitvoering en de versleutelde route voor aanvragen

Vertrouwelijk rekenen beschermt gegevens tijdens het gebruik: informatie terwijl een model die actief verwerkt. Dit is een derde toestand, naast gegevens in opslag en onderweg, die traditioneel door versleuteling worden beschermd. In Model Vault draait de volledige stack voor het aanbieden van modellen, met inbegrip van het besturingssysteem, de stuurprogramma’s en de inferentieserver, in een vertrouwelijke virtuele machine. Hardwarematige isolatie beschermt daar het geheugen tegen de hostomgeving, terwijl beleid het gebruik van de omgeving beperkt tot goedgekeurde software en operators geen interactieve toegang geeft tot de workload die wordt uitgevoerd, aldus een begeleidende technische diepgaande analyse die Cohere bij de lancering publiceerde. NVIDIA Confidential Computing beschermt het GPU-geheugen en versleutelt het verkeer tussen de CPU en de GPU. Daardoor omvat de vertrouwelijke grens ook de accelerator die de inferentie uitvoert, in plaats van te eindigen bij de CPU die deze aanstuurt.

Ook de aanvraag zelf wordt afzonderlijk beschermd. Model Vault gebruikt Oblivious HTTP, of OHTTP, om de gevoelige inhoud van een aanvraag te versleutelen met een openbare sleutel die is gekoppeld aan de geattesteerde vertrouwelijke omgeving. Het versleutelde bericht gaat als ciphertext door tussenliggende infrastructuur; alleen de OHTTP-gateway binnen de omgeving beschikt over de bijbehorende privésleutel. Ook antwoorden worden op de terugweg op dezelfde manier beschermd. Volgens Cohere scheidt dit het beheer van het platform van de mogelijkheid om te lezen wat klanten erdoorheen sturen, omdat tussenliggende systemen het verkeer nog steeds kunnen routeren zonder de gegevens in platte tekst te zien. Applicaties blijven de Model Vault API en de vertrouwde aanvraagformaten gebruiken. De bescherming wordt in de client- en infrastructuurlagen geïmplementeerd, zodat de inhoud van aanvragen niet opnieuw hoeft te worden ontworpen.

Externe attestatie als actieve beveiligingsmaatregel

Voordat een beschermde aanvraag wordt verzonden, genereert de vertrouwelijke omgeving cryptografisch ondertekend bewijs met metingen en beveiligingsrelevante eigenschappen van de hardware, firmware, uitvoeringsomgeving en applicatiesoftware. Software aan de klantzijde controleert dat bewijs aan de hand van een goedgekeurd beleid. Het bewijs legt vast welke omgeving daadwerkelijk actief is; het beleid bepaalt of die omgeving met de gegevens mag worden vertrouwd. Komt een vereiste eigenschap niet overeen, bijvoorbeeld doordat een softwaremeting is gewijzigd of een GPU niet in de verwachte vertrouwelijke modus staat, dan mislukt de verificatie door de client. Die weigert vervolgens de gegevens te verzenden en de aanvraag blijft binnen de eigen omgeving van de klant. Het bewijs wordt regelmatig vernieuwd en de client controleert vóór elke volgende verzending van beschermde aanvragen opnieuw de nieuwe metingen en de beveiligingsstatus aan de hand van het goedgekeurde beleid. Volgens Cohere verandert attestatie daarmee van een registratie voor audits in een controle die actief bepaalt of beschermde gegevens worden vrijgegeven.

In de aankondiging van Cohere over de lancering zei CTO Phil Blunsom: “Met hardware-attestatie krijgen klanten niet alleen cryptografisch bewijs dat workloads in een veilige, vertrouwelijke rekenomgeving draaien; ze kunnen ook controleren of hun gegevens beschermd zijn tegen ongeoorloofde toegang, zelfs door Cohere.” Vikas Bhatia, hoofd product voor Azure Confidential Computing bij Microsoft, zei dat de samenwerking met Cohere laat zien hoe vertrouwelijk rekenen het gebruiksgemak van beheerde AI kan combineren met technisch verifieerbare controles die onafhankelijk kunnen worden gecontroleerd. John Fanelli, vicepresident bedrijfssoftware bij NVIDIA, zei dat NVIDIA Confidential Computing op de GPU’s van het bedrijf hardwarematige bescherming biedt, waardoor platforms zoals Model Vault vertrouwelijke AI-inferentie kunnen inzetten voor workloads van bedrijven.

Dreigingsmodel, genoemde beperkingen en plannen voor opensource

Binnen het vastgelegde dreigingsmodel beschermt het systeem prompts, documenten, antwoorden en de uitvoering van het model tijdens de verwerking. De cloudprovider, het hostbesturingssysteem, de hypervisor, infrastructuurbeheerders en Cohere’s eigen operators kunnen het beschermde geheugen van de workload niet uitlezen. Tot de vertrouwde basis behoren nog altijd de hardware en firmware die de basis vormen voor confidential computing, de gemeten software die binnen de omgeving draait, de referentiemetingen die een goedgekeurde configuratie definiëren en de attestatie-infrastructuur die het bewijsmateriaal beoordeelt en ondertekent. Volgens Cohere brengt het ontwerp terug tot een expliciete reeks componenten die meetbaar en controleerbaar bewijs leveren wat vertrouwd moet worden.

Cohere maakt ook duidelijk wat buiten deze beveiligingsgrens valt. Fysieke aanvallen en zijkanaalaanvallen, zoals het afleiden van informatie uit timing of ander gedeeld hardwaregedrag, vallen er niet onder. Bovendien kan een operator die een workload niet kan uitlezen deze nog steeds stopzetten, vertragen of verhinderen. Het ontwerp biedt daarom op zichzelf geen beschikbaarheidsgarantie. Risico’s op applicatieniveau, zoals promptinjectie, onveilig gebruik van tools, autorisatiefouten en andere softwarekwetsbaarheden, worden niet opgelost door de software op hardware voor confidential computing te plaatsen.

Ook waarneembare metadata vallen buiten de bescherming: hoewel de inhoud van de payloads versleuteld is, blijven de berichtgrootte, het tijdstip van verzoeken, het verkeersvolume en routeringsgegevens zichtbaar. In de huidige architectuur vallen ook de API-inloggegevens en de modelidentificatie buiten de door OHTTP beschermde payload. Het bedrijf benadrukt dat confidential computing geen vervanging is voor applicatiebeveiliging, geen mechanisme voor dataresidentie, geen alternatief voor nalevings- of contractuele maatregelen en geen homomorfe versleuteling is, omdat het model binnen de beschermde omgeving nog steeds met platte tekst werkt.

De implementatie bouwt voort op de opensourceprojecten Kata Containers en Confidential Containers. Cohere zei dat het van plan is de stack voor vertrouwelijke inferentie als open source uit te brengen, zodat klanten en beveiligingsonderzoekers de code kunnen bekijken, kunnen zien welk beleid wordt afgedwongen en de verificatiemetingen zelfstandig kunnen reproduceren. De bèta draait momenteel op NVIDIA H100-GPU’s in Microsoft Azure. Cohere zei dat ondersteuning voor de infrastructuur van NVIDIA Blackwell, waaronder B200-GPU’s, in ontwikkeling is op weg naar algemene beschikbaarheid.