Cohere lancerer fortrolig databehandling i offentlig betaversion på Model Vault

Cohere annoncerede den 22. oktober 2026 den offentlige betaversion af fortrolig databehandling på Cohere Model Vault, virksomhedens dedikerede, fuldt administrerede platform til modelinferens, der kører på NVIDIA H100-GPU’er på Microsoft Azure for virksomheder, som behandler følsomme data.

Lanceringen udvider Model Vault til arbejdsopgaver, der involverer kliniske journaler, økonomiske oplysninger, privilegerede dokumenter, intellektuel ejendom og proprietær kildekode. Cohere sagde, at målet er at give virksomheder mulighed for at bruge de funktioner og den operationelle enkelhed, som administreret AI tilbyder, samtidig med at deres følsomme data i klartekst holdes utilgængelige for den infrastruktur, der driver tjenesten. Virksomheden nævner blandt de mulige arbejdsopgaver efterforskning af svindel i finanssektoren, søgning i privilegerede dokumenter og due diligence for juridiske teams, følsomme oplysninger fra den offentlige sektor, patenter og forskningsmateriale, proprietære dokumenter om ingeniørarbejde og grænsefladedesign samt søgning og analyse af proprietær kildekode.

I betaversionens rollefordeling leverer Microsoft Azure den underliggende infrastruktur til fortrolig databehandling, NVIDIA Confidential Computing viderefører denne beskyttelse til H100-GPU’erne, og Cohere leverer administreret modelbetjening, en krypteret anmodningsvej, fjernattestering og kundesideverifikation via Model Vault. Kunder kan ifølge virksomheden oprette og administrere krypterede bokse via Model Vault, forbinde dem gennem de samme Cohere-API’er og komme i gang på vault.cohere.com.

Fortrolig udførelse og den krypterede anmodningsvej

Fortrolig databehandling beskytter data i brug, det vil sige oplysninger, mens en model aktivt behandler dem – en tredje tilstand ud over data i hvile og data under overførsel, som kryptering traditionelt dækker. I Model Vault kører stakken til modelbetjening, herunder operativsystemet, driverne og inferensserveren, i en fortrolig virtuel maskine, hvor hardwarebaseret isolation beskytter dens hukommelse mod værtsmiljøet, og politikken begrænser miljøet til godkendt software, samtidig med at operatørerne ikke har nogen interaktiv adgang til den kørende arbejdsopgave, ifølge en ledsagende teknisk dybdegående gennemgang, som Cohere offentliggjorde i forbindelse med lanceringen. NVIDIA Confidential Computing beskytter GPU-hukommelsen og krypterer trafikken mellem CPU’en og GPU’en, så den fortrolige grænse omfatter den accelerator, der udfører inferensen, i stedet for at slutte ved den CPU, der koordinerer den.

Selve anmodningen får særskilt beskyttelse. Model Vault bruger Oblivious HTTP, eller OHTTP, til at kryptere det følsomme indhold i en anmodning med en offentlig nøgle, der er knyttet til det attesterede fortrolige miljø. Den krypterede meddelelse passerer gennem mellemliggende infrastruktur som chiffertekst; kun OHTTP-gatewayen i miljøet har den tilhørende private nøgle, og svar får samme beskyttelse på vejen tilbage. Cohere siger, at dette adskiller driften af platformen fra muligheden for at læse det, kunderne sender gennem den, fordi mellemliggende systemer stadig kan dirigere trafikken uden at se nyttelasten i klartekst. Applikationerne beholder Model Vault-API’et og de velkendte anmodningsformater, mens beskyttelsen implementeres i klient- og infrastrukturlagene, så det ikke er nødvendigt at redesigne nyttelasterne.

Fjernattestering som aktiv kontrol

Før en beskyttet anmodning sendes, genererer det fortrolige miljø kryptografisk underskrevet dokumentation, der registrerer målinger og sikkerhedsrelevante egenskaber ved dets hardware, firmware, driftsmiljø og applikationssoftware, og software på kundesiden kontrollerer dokumentationen i forhold til en godkendt politik. Dokumentationen registrerer, hvilket miljø der rent faktisk kører; politikken angiver, om miljøet bør betros dataene. Hvis en påkrævet egenskab ikke stemmer overens – for eksempel hvis en softwaremåling er ændret, eller en GPU ikke er i den forventede fortrolige tilstand – mislykkes klientens verifikation, klienten nægter at sende nyttelasten, og anmodningen forbliver i kundens eget miljø. Dokumentationen fornyes hyppigt, og klienten kontrollerer hver gang de nye målinger og sikkerhedstilstanden i forhold til den godkendte politik, før den fortsætter med at sende beskyttede anmodninger. Cohere beskriver dette som en ændring af attestering fra dokumentation, der opbevares til revision, til en kontrol, der aktivt afgør, om beskyttede data frigives.

I Cohere’s lanceringsmeddelelse sagde teknologidirektør Phil Blunsom: »Med hardwareattestering får kunderne ikke blot kryptografisk bevis på, at arbejdsopgaver kører i et sikkert miljø med fortrolig databehandling; de kan også verificere, at deres data er beskyttet mod uautoriseret adgang, selv fra Cohere.« Vikas Bhatia, produktchef for Azure Confidential Computing hos Microsoft, sagde, at arbejdet med Cohere viser, hvordan fortrolig databehandling kan forene enkelheden ved administreret AI med tekniske kontroller, der kan verificeres uafhængigt. John Fanelli, vicepræsident for virksomhedssoftware hos NVIDIA, sagde, at NVIDIA Confidential Computing på virksomhedens GPU’er leverer hardwarebaseret beskyttelse, der hjælper platforme som Model Vault med at bringe fortrolig AI-inferens ud til virksomheders arbejdsopgaver.

Trusselsmodel, angivne begrænsninger og planer for open source

Inden for den angivne trusselsmodel beskytter systemet prompts, dokumenter, svar og modelafvikling under behandlingen, og cloududbyderen, værtsoperativsystemet, hypervisoren, infrastrukturadministratorer og Cohere’s egne operatører forhindres i at læse den beskyttede hukommelse, der bruges af arbejdsbelastningen. Det betroede beregningsgrundlag omfatter stadig den hardware og firmware, der danner grundlag for fortrolig databehandling, den målte software, der kører i miljøet, referencemålingerne, der definerer en godkendt konfiguration, samt attesteringsinfrastrukturen, der evaluerer og underskriver dokumentation. Cohere siger, at designet indsnævrer, hvad man skal have tillid til, til et eksplicit sæt komponenter, der producerer målbar og kontrollerbar dokumentation.

Cohere gør også rede for, hvad afgrænsningen ikke omfatter. Fysiske angreb og sidekanalangreb, såsom at udlede oplysninger fra tidsforbrug eller anden delt hardwareadfærd, ligger fortsat uden for afgrænsningen, og en operatør, der ikke kan læse en arbejdsbelastning, kan stadig stoppe, forsinke eller forhindre den i at køre, så designet giver ikke i sig selv nogen garanti for tilgængelighed. Risici på applikationsniveau, såsom promptinjektion, usikker brug af værktøjer, autorisationsfejl og andre softwaresårbarheder, løses ikke ved at placere softwaren i hardware til fortrolig databehandling.

Observerbare metadata er en anden undtagelse: Selvom nyttelastens indhold er krypteret, er meddelelsesstørrelse, tidspunkt for forespørgsler, trafikmængde og routingoplysninger stadig synlige, og i den nuværende arkitektur ligger API-legitimationsoplysningerne og modelidentifikatoren også uden for den OHTTP-beskyttede nyttelast. Virksomheden oplyser, at fortrolig databehandling ikke erstatter applikationssikkerhed, ikke er en mekanisme til datalokalitet, ikke er en erstatning for krav til overholdelse eller kontraktlige kontrolforanstaltninger og ikke er homomorf kryptering, fordi modellen stadig arbejder med klartekst i det beskyttede miljø.

Implementeringen bygger på open source-projekterne Kata Containers og Confidential Containers, og Cohere har sagt, at virksomheden planlægger at frigive stakken til fortrolig inferens som open source, så kunder og sikkerhedsforskere kan undersøge koden, se, hvilke politikker der håndhæves, og uafhængigt genskabe verifikationsmålinger. Betaen kører i øjeblikket på NVIDIA H100-GPU’er i Microsoft Azure, og Cohere har sagt, at understøttelse af NVIDIA Blackwell-infrastruktur, herunder B200-GPU’er, er under udvikling på vejen mod generel tilgængelighed.