Cohere lanserer konfidensiell databehandling i Model Vault i offentlig betaversjon

Cohere kunngjorde 22. oktober 2026 den offentlige betaversjonen av konfidensiell databehandling i Cohere Model Vault, sin dedikerte, fullt administrerte plattform for modellinferens, som kjører på NVIDIA H100-GPU-er i Microsoft Azure for virksomheter som behandler sensitive data.

Lanseringen utvider Model Vault til arbeidsbelastninger som omfatter kliniske journaler, finansinformasjon, fortrolige dokumenter, immaterielle rettigheter og proprietær kildekode. Cohere sa at målet er å la virksomheter dra nytte av funksjonene og den enkle driften ved administrert KI, samtidig som sensitive data i klartekst holdes utenfor rekkevidde for infrastrukturen som kjører tjenesten. Selskapet nevner aktuelle bruksområder som svindelundersøkelser innen finansielle tjenester, søk i fortrolige dokumenter og juridisk due diligence, sensitiv informasjon fra offentlig sektor, patenter og forskningsmateriale, proprietære dokumenter om ingeniørarbeid og grensesnittdesign samt søk og analyser på tvers av proprietær kildekode.

I betaversjonen er rollene fordelt slik: Microsoft Azure leverer den underliggende infrastrukturen for konfidensiell databehandling, NVIDIA Confidential Computing viderefører denne beskyttelsen til H100-GPU-ene, og Cohere leverer administrert modellservering, en kryptert forespørselsbane, fjernattestering og verifisering på kundesiden gjennom Model Vault. Ifølge selskapet kan kundene opprette og administrere krypterte hvelv gjennom Model Vault, koble seg til dem via de samme Cohere-API-ene og komme i gang på vault.cohere.com.

Konfidensiell kjøring og den krypterte forespørselsbanen

Konfidensiell databehandling beskytter data i bruk, det vil si informasjon mens en modell behandler den aktivt. Dette er en tredje tilstand, i tillegg til data som er lagret eller under overføring, som tradisjonell kryptering dekker. I Model Vault kjører stakken for modellservering, inkludert operativsystemet, driverne og inferensserveren, inne i en konfidensiell virtuell maskin. Maskinvarebasert isolering beskytter minnet mot vertsmiljøet, og retningslinjer begrenser miljøet til godkjent programvare, samtidig som operatørene ikke har noen interaktiv tilgang til arbeidsbelastningen mens den kjører, ifølge en tilhørende teknisk gjennomgang som Cohere publiserte samtidig med lanseringen. NVIDIA Confidential Computing beskytter GPU-minnet og krypterer trafikken mellom CPU-en og GPU-en. Dermed omfatter den konfidensielle grensen akseleratoren som utfører inferensen, i stedet for å stoppe ved CPU-en som koordinerer den.

Selve forespørselen får separat beskyttelse. Model Vault bruker Oblivious HTTP, eller OHTTP, til å kryptere det sensitive innholdet i en forespørsel med en offentlig nøkkel som er knyttet til det attesterte konfidensielle miljøet. Den krypterte meldingen går gjennom mellomliggende infrastruktur som chiffertekst; bare OHTTP-gatewayen inne i miljøet har den tilsvarende private nøkkelen, og svarene får samme beskyttelse på vei tilbake. Cohere sier at dette skiller det å drifte plattformen fra muligheten til å lese det kundene sender gjennom den, fordi mellomledd fortsatt kan rute trafikken uten å se nyttelastene i klartekst. Applikasjonene beholder Model Vault API-et og de vanlige forespørselsformatene. Beskyttelsen er implementert i klient- og infrastrukturlagene, slik at det ikke er nødvendig å utforme nyttelastene på nytt.

Fjernattestering som en aktiv kontrollmekanisme

Før en beskyttet forespørsel sendes, genererer det konfidensielle miljøet kryptografisk signerte bevis som registrerer målinger og sikkerhetsrelevante egenskaper ved maskinvaren, fastvaren, driftsmiljøet og applikasjonsprogramvaren. Programvare på kundesiden kontrollerer bevisene mot en godkjent policy. Bevisene viser hvilket miljø som faktisk kjører; policyen angir om dette miljøet bør betros dataene. Hvis en påkrevd egenskap ikke stemmer, for eksempel hvis en programvaremåling er endret eller en GPU ikke er i forventet konfidensiell modus, mislykkes verifiseringen hos klienten. Klienten nekter da å overføre nyttelasten, og forespørselen forblir i kundens eget miljø. Bevisene fornyes ofte, og klienten kontrollerer de nye målingene og sikkerhetstilstanden mot den godkjente policyen hver gang før den fortsetter å sende beskyttede forespørsler. Cohere beskriver dette som en overgang fra attestering som dokumentasjon for revisjoner til en kontroll som aktivt avgjør om beskyttede data skal frigis.

I lanseringskunngjøringen fra Cohere sa CTO Phil Blunsom: «Med maskinvarebasert attestering får kundene ikke bare kryptografisk bevis på at arbeidsbelastninger kjører i et sikkert miljø for konfidensiell databehandling; de kan også kontrollere at dataene deres er beskyttet mot uautorisert tilgang, selv fra Cohere.» Vikas Bhatia, produktansvarlig for Azure Confidential Computing hos Microsoft, sa at arbeidet med Cohere viser hvordan konfidensiell databehandling kan kombinere enkelheten ved administrert KI med tekniske kontroller som kan verifiseres uavhengig. John Fanelli, visepresident for bedriftsprogramvare hos NVIDIA, sa at NVIDIA Confidential Computing på selskapets GPU-er gir maskinvarebasert beskyttelse som hjelper plattformer som Model Vault med å tilby konfidensiell KI-inferens for virksomheters arbeidsbelastninger.

Trusselmodell, uttrykkelige begrensninger og planer for åpen kildekode

Innenfor den angitte trusselmodellen beskytter systemet prompter, dokumenter, svar og modellkjøring under behandlingen, og skytjenesteleverandøren, vertsoperativsystemet, hypervisoren, infrastrukturadministratorene og Cohere sine egne operatører hindres i å lese det beskyttede arbeidsminnet. Den betrodde databehandlingsbasen omfatter fortsatt maskinvaren og fastvaren som utgjør grunnlaget for konfidensiell databehandling, den målte programvaren som kjører i miljøet, referansemålingene som definerer en godkjent konfigurasjon, og attestinfrastrukturen som evaluerer og signerer dokumentasjonen. Cohere sier at utformingen begrenser det som må anses som betrodd, til et uttrykkelig angitt sett med komponenter som leverer målbar og etterprøvbar dokumentasjon.

Cohere presiserer også hva denne avgrensningen ikke omfatter. Fysiske angrep og sidekanalangrep, for eksempel å utlede informasjon fra tidsbruk eller annen delt maskinvareatferd, faller fortsatt utenfor avgrensningen. En operatør som ikke kan lese en arbeidslast, kan likevel stanse, forsinke eller forhindre den, så utformingen gir i seg selv ingen garanti for tilgjengelighet. Risikoer på applikasjonsnivå, som promptinjeksjon, usikker bruk av verktøy, autorisasjonsfeil og andre programvaresårbarheter, løses ikke ved å plassere programvaren i maskinvare for konfidensiell databehandling.

Synlige metadata er et annet unntak: Selv om innholdet i nyttelasten er kryptert, forblir meldingsstørrelse, tidspunkt for forespørsler, trafikkmengde og rutingsdetaljer synlige. I den nåværende arkitekturen ligger også API-legitimasjonen og modellidentifikatoren utenfor den OHTTP-beskyttede nyttelasten. Selskapet opplyser at konfidensiell databehandling ikke erstatter applikasjonssikkerhet, ikke er en mekanisme for geografisk datalagring, ikke trer i stedet for krav til etterlevelse eller kontraktsmessige tiltak, og ikke er homomorf kryptering, ettersom modellen fortsatt arbeider med klartekst i det beskyttede miljøet.

Implementeringen bygger på åpen kildekode-prosjektene Kata Containers og Confidential Containers. Cohere opplyste at selskapet planlegger å publisere stakken for konfidensiell inferens som åpen kildekode, slik at kunder og sikkerhetsforskere kan undersøke koden, se hvilke retningslinjer som håndheves, og uavhengig gjenskape verifikasjonsmålingene. Betaversjonen kjører nå på NVIDIA H100-GPU-er i Microsoft Azure, og Cohere opplyste at støtten for infrastruktur basert på NVIDIA Blackwell, inkludert B200-GPU-er, er under utvikling på veien mot generell tilgjengelighet.