Cohere lanserar konfidentiell databehandling i Model Vault i offentlig betaversion

Den 22 oktober 2026 tillkännagav Cohere den offentliga betaversionen av konfidentiell databehandling i Cohere Model Vault, företagets dedikerade, helt hanterade plattform för modellinferens, som körs på NVIDIA H100-GPU:er i Microsoft Azure för företag som behandlar känsliga data.

Lanseringen utökar Model Vault till arbetsbelastningar som omfattar kliniska journaler, finansiell information, sekretesskyddade dokument, immateriella rättigheter och proprietär källkod. Cohere uppgav att målet är att företag ska kunna dra nytta av funktionerna och den operativa enkelheten hos hanterad AI, samtidigt som deras känsliga data i klartext hålls oåtkomliga för den infrastruktur som kör tjänsten. Företaget nämner bland annat bedrägeriutredningar inom finansiella tjänster, sökning i sekretesskyddade dokument och due diligence för juridiska team, känslig information inom offentlig sektor, patent- och forskningsmaterial, proprietära dokument om teknik och gränssnittsdesign samt sökning i och analys av proprietär källkod.

Enligt betaversionens ansvarsfördelning tillhandahåller Microsoft Azure den underliggande infrastrukturen för konfidentiell databehandling, NVIDIA Confidential Computing utvidgar skyddet till H100-GPU:erna och Cohere står för hanterad modellservering, en krypterad begärandeväg, fjärrattestering och verifiering på kundsidan via Model Vault. Kunder kan konfigurera och hantera krypterade valv genom Model Vault, ansluta till dem via samma Cohere-API:er och komma igång på vault.cohere.com, enligt företaget.

Konfidentiell körning och krypterad begärandeväg

Konfidentiell databehandling skyddar data under användning, det vill säga information medan en modell aktivt bearbetar den – ett tredje tillstånd utöver data i vila och data under överföring, som traditionell kryptering täcker. I Model Vault körs modellserveringsstacken, inklusive operativsystem, drivrutiner och inferensserver, i en konfidentiell virtuell maskin. Där skyddar hårdvarubaserad isolering dess minne från värdmiljön, och en policy begränsar miljön till godkänd programvara samtidigt som operatörer saknar interaktiv åtkomst till den arbetsbelastning som körs, enligt en tillhörande teknisk djupdykning som Cohere publicerade i samband med lanseringen. NVIDIA Confidential Computing skyddar GPU-minnet och krypterar trafiken mellan CPU:n och GPU:n, så att den konfidentiella gränsen omfattar acceleratorn som utför inferensen i stället för att sluta vid den CPU som samordnar den.

Själva begäran får ett separat skydd. Model Vault använder Oblivious HTTP, eller OHTTP, för att kryptera det känsliga innehållet i en begäran med en offentlig nyckel som är kopplad till den attesterade konfidentiella miljön. Det krypterade meddelandet passerar genom mellanliggande infrastruktur som chiffertext, och endast OHTTP-gatewayen i miljön har den motsvarande privata nyckeln. Svaren får samma skydd på vägen tillbaka. Cohere uppger att detta skiljer plattformsdriften från möjligheten att läsa det kunderna skickar genom plattformen, eftersom mellanhänder fortfarande kan dirigera trafiken utan att se nyttolaster i klartext. Applikationerna använder fortsatt Model Vault-API:t och välbekanta begärandeformat; skyddet implementeras i klient- och infrastrukturlagren, utan att nyttolasterna behöver utformas på nytt.

Fjärrattestering som aktiv kontroll

Innan en skyddad begäran skickas genererar den konfidentiella miljön kryptografiskt signerade bevis med mätvärden och säkerhetsrelevanta egenskaper hos maskinvaran, den fasta programvaran, körmiljön och applikationsprogramvaran. Programvara på kundsidan kontrollerar bevisen mot en godkänd policy. Bevisen dokumenterar vilken miljö som faktiskt körs, medan policyn anger om den miljön ska anses tillförlitlig för hantering av uppgifterna. Om en obligatorisk egenskap inte stämmer – till exempel om ett programvarumätvärde har ändrats eller en GPU inte befinner sig i det förväntade konfidentiella läget – misslyckas klienten med verifieringen, vägrar att överföra nyttolasten och låter begäran stanna i kundens egen miljö. Bevisen uppdateras regelbundet, och klienten kontrollerar på nytt de aktuella mätvärdena och säkerhetstillståndet mot den godkända policyn varje gång innan den fortsätter att skicka skyddade begäranden. Cohere beskriver detta som en omvandling av attestering från dokumentation som sparas för revisioner till en kontroll som aktivt avgör om skyddade data lämnas ut.

I Cohere tillkännagivande av lanseringen sade teknikchefen Phil Blunsom: ”Med hårdvaruattestering får kunderna inte bara kryptografiska bevis på att arbetsbelastningar körs i en säker miljö för konfidentiell databehandling, utan de kan också verifiera att deras data är skyddade från obehörig åtkomst, även från Cohere.” Vikas Bhatia, produktchef för Azure Confidential Computing på Microsoft, sade att arbetet med Cohere visar hur konfidentiell databehandling kan förena den hanterade AI:ns enkelhet med tekniska kontroller som kan verifieras oberoende. John Fanelli, vice vd för företagsprogramvara på NVIDIA, sade att NVIDIA Confidential Computing på företagets GPU:er ger hårdvarubaserat skydd som hjälper plattformar som Model Vault att erbjuda konfidentiell AI-inferens för företagsarbetsbelastningar.

Hotmodell, angivna begränsningar och planer för öppen källkod

Enligt den angivna hotmodellen skyddar systemet prompter, dokument, svar och modellkörning under bearbetningen. Molnleverantören, värdoperativsystemet, hypervisorn, infrastrukturadministratörerna och Coheres egna operatörer hindras från att läsa det skyddade arbetsminnet. Den betrodda beräkningsbasen omfattar fortfarande den hårdvara och fasta programvara som utgör grunden för konfidentiell databehandling, den uppmätta programvara som körs i miljön, referensmätvärdena som definierar en godkänd konfiguration samt den attesteringinfrastruktur som utvärderar och signerar bevis. Cohere uppger att utformningen begränsar det som måste betros till en uttryckligt angiven uppsättning komponenter som producerar mätbara och verifierbara bevis.

Cohere redogör också för vad skyddet inte omfattar. Fysiska attacker och sidokanalsattacker, till exempel att dra slutsatser om information utifrån tidsåtgång eller annat delat hårdvarubeteende, ligger fortfarande utanför skyddet. En operatör som inte kan läsa en arbetslast kan ändå stoppa, fördröja eller förhindra den, så utformningen ger i sig ingen tillgänglighetsgaranti. Risker på applikationsnivå, såsom promptinjektion, osäker användning av verktyg, behörighetsfel och andra programvarusårbarheter, åtgärdas inte genom att programvaran körs inuti hårdvara för konfidentiell databehandling.

Observerbara metadata är ytterligare något som inte omfattas: även om innehållet i nyttolasten är krypterat förblir meddelandestorlek, tidpunkt för förfrågningar, trafikvolym och routningsuppgifter synliga. I den nuvarande arkitekturen ligger även API-autentiseringsuppgiften och modellidentifieraren utanför den OHTTP-skyddade nyttolasten. Företaget uppger att konfidentiell databehandling inte ersätter applikationssäkerhet, inte är en mekanism för datalokalitet, inte ersätter efterlevnads- eller avtalsmässiga skyddsåtgärder och inte är homomorf kryptering, eftersom modellen fortfarande arbetar med klartext i den skyddade miljön.

Implementeringen bygger på projekten Kata Containers och Confidential Containers med öppen källkod. Cohere uppgav att företaget planerar att släppa stacken för konfidentiell inferens som öppen källkod, så att kunder och säkerhetsforskare kan granska koden, se vilka policyer som tillämpas och självständigt återskapa verifieringsmätningarna. Betaversionen körs för närvarande på NVIDIA H100-GPU:er i Microsoft Azure, och Cohere uppgav att stöd för infrastrukturen NVIDIA Blackwell, inklusive B200-GPU:er, håller på att utvecklas inför den allmänna lanseringen.