Cohere startet öffentliche Betaversion von Confidential Computing auf Model Vault

Cohere kündigte am 22. Oktober 2026 die öffentliche Betaversion von vertraulicher Datenverarbeitung auf Cohere Model Vault an, seiner dedizierten, vollständig verwalteten Plattform für Modellinferenz. Sie läuft auf NVIDIA H100-GPUs auf Microsoft Azure und richtet sich an Unternehmen, die sensible Daten verarbeiten.

Mit dem Start wird Model Vault auf Workloads mit klinischen Unterlagen, Finanzinformationen, privilegierten Dokumenten, geistigem Eigentum und proprietärem Quellcode ausgeweitet. Cohere erklärte, Ziel sei es, Unternehmen die Funktionen und die betriebliche Einfachheit verwalteter KI bereitzustellen und zugleich ihre sensiblen Klartextdaten vor dem Zugriff durch die Infrastruktur zu schützen, auf der der Dienst läuft. Als mögliche Workloads nennt das Unternehmen Betrugsermittlungen im Finanzdienstleistungssektor, die Suche nach privilegierten Dokumenten und Due-Diligence-Prüfungen für Rechtsteams, sensible Informationen des öffentlichen Sektors, Patent- und Forschungsmaterial, proprietäre Dokumente aus den Bereichen Entwicklung und Interface-Design sowie die Suche und Analyse in proprietärem Quellcode.

Bei der in der Betaversion vorgesehenen Aufgabenteilung stellt Microsoft Azure die zugrunde liegende Infrastruktur für vertrauliche Datenverarbeitung bereit, NVIDIA Confidential Computing überträgt diesen Schutz auf die H100-GPUs, und Cohere bietet über Model Vault verwaltete Modellbereitstellung, einen verschlüsselten Anfragepfad, Fernattestierung und eine kundenseitige Überprüfung. Kunden können laut Unternehmen über Model Vault verschlüsselte Vaults einrichten und verwalten, sie über dieselben Cohere-APIs anbinden und unter vault.cohere.com loslegen.

Vertrauliche Ausführung und der verschlüsselte Anfragepfad

Vertrauliche Datenverarbeitung schützt Daten während ihrer Nutzung, also Informationen, während ein Modell sie aktiv verarbeitet. Damit kommt ein dritter Zustand hinzu, neben gespeicherten und übertragenen Daten, die traditionell durch Verschlüsselung geschützt werden. In Model Vault läuft der gesamte Stack für die Modellbereitstellung – einschließlich Betriebssystem, Treibern und Inferenzserver – in einer vertraulichen virtuellen Maschine. Dort schützt hardwaregestützte Isolation den Speicher vor der Hostumgebung, und Richtlinien beschränken die Umgebung auf genehmigte Software. Zudem erhalten Betreiber keinen interaktiven Zugriff auf den laufenden Workload. Das geht aus einem begleitenden technischen Hintergrundbericht hervor, den Cohere zum Start veröffentlicht hat. NVIDIA Confidential Computing schützt den GPU-Speicher und verschlüsselt den Datenverkehr zwischen CPU und GPU. So umfasst die vertrauliche Grenze auch den Beschleuniger, der die Inferenz ausführt, statt an der CPU zu enden, die sie koordiniert.

Auch die Anfrage selbst wird separat geschützt. Model Vault verwendet Oblivious HTTP (OHTTP), um den sensiblen Inhalt einer Anfrage mit einem öffentlichen Schlüssel zu verschlüsseln, der an die attestierte vertrauliche Umgebung gebunden ist. Die verschlüsselte Nachricht durchläuft die zwischengeschaltete Infrastruktur als Chiffretext; nur das OHTTP-Gateway innerhalb der Umgebung verfügt über den passenden privaten Schlüssel. Auch Antworten sind auf dem Rückweg auf dieselbe Weise geschützt. Cohere zufolge trennt dies den Betrieb der Plattform von der Möglichkeit, die darüber übermittelten Kundendaten zu lesen: Vermittler können den Datenverkehr weiterhin weiterleiten, ohne Klartextinhalte zu sehen. Anwendungen behalten die Model-Vault-API und die vertrauten Anfrageformate bei. Der Schutz wird auf Client- und Infrastrukturebene umgesetzt, sodass die Nutzdaten nicht neu gestaltet werden müssen.

Fernattestierung als aktive Sicherheitsmaßnahme

Bevor eine geschützte Anfrage gesendet wird, erzeugt die vertrauliche Umgebung kryptografisch signierte Nachweise mit Messwerten und sicherheitsrelevanten Eigenschaften ihrer Hardware, Firmware, Betriebsumgebung und Anwendungssoftware. Kundenseitige Software prüft diese Nachweise anhand einer genehmigten Richtlinie. Die Nachweise halten fest, welche Umgebung tatsächlich ausgeführt wird; in der Richtlinie ist festgelegt, ob dieser Umgebung Daten anvertraut werden dürfen. Stimmt eine erforderliche Eigenschaft nicht überein – etwa weil sich ein Softwaremesswert geändert hat oder eine GPU sich nicht im erwarteten vertraulichen Modus befindet –, schlägt die Überprüfung durch den Client fehl. Dieser verweigert die Übertragung der Nutzdaten, und die Anfrage verbleibt in der Umgebung des Kunden. Die Nachweise werden regelmäßig aktualisiert. Bevor der Client weiterhin geschützte Anfragen sendet, prüft er jedes Mal die neuen Messwerte und den Sicherheitsstatus erneut anhand der genehmigten Richtlinie. Cohere zufolge wird die Attestierung dadurch von einem für Audits aufbewahrten Protokoll zu einer aktiven Kontrolle, die darüber entscheidet, ob geschützte Daten freigegeben werden.

In Cohere erklärte zum Start: „Dank Hardwareattestierung erhalten Kunden nicht nur einen kryptografischen Nachweis dafür, dass Workloads in einer sicheren Umgebung für vertrauliche Datenverarbeitung ausgeführt werden. Sie können auch überprüfen, ob ihre Daten vor unbefugtem Zugriff geschützt sind – selbst vor Cohere.“ Vikas Bhatia, Leiter des Produktbereichs Azure Confidential Computing bei Microsoft, erklärte, die Zusammenarbeit mit Cohere zeige, wie sich die Einfachheit verwalteter KI mit unabhängig überprüfbaren technischen Kontrollen verbinden lasse. John Fanelli, Vizepräsident für Unternehmenssoftware bei NVIDIA, sagte, NVIDIA Confidential Computing auf den eigenen GPUs biete hardwaregestützte Schutzmaßnahmen, mit denen Plattformen wie Model Vault vertrauliche KI-Inferenz für Unternehmens-Workloads bereitstellen könnten.

Bedrohungsmodell, benannte Grenzen und Open-Source-Pläne

Im Rahmen des von Cohere beschriebenen Bedrohungsmodells schützt das System Prompts, Dokumente, Antworten und die Ausführung des Modells während der Verarbeitung. Cloud-Anbieter, Host-Betriebssystem, Hypervisor, Infrastrukturadministratoren und Coheres eigene Betreiber können nicht auf den geschützten Arbeitsspeicher der Workloads zugreifen. Zur vertrauenswürdigen Computing-Basis gehören weiterhin die Hardware und Firmware, die die Grundlage für Confidential Computing bilden, die im geschützten Bereich ausgeführte und gemessene Software, die Referenzmesswerte zur Festlegung einer genehmigten Konfiguration sowie die Attestierungsinfrastruktur, die Nachweise bewertet und signiert. Cohere zufolge beschränkt das Design die erforderlichen Vertrauenskomponenten auf eine klar definierte Gruppe, die messbare und überprüfbare Nachweise liefert.

Cohere legt auch dar, was nicht durch diese Schutzgrenze abgedeckt wird. Physische Angriffe und Seitenkanalangriffe – etwa das Ableiten von Informationen aus Zeitverhalten oder anderen gemeinsam genutzten Hardwareeigenschaften – fallen nicht darunter. Außerdem kann ein Betreiber, der eine Workload nicht auslesen kann, diese dennoch stoppen, verzögern oder verhindern. Das Design bietet daher für sich genommen keine Verfügbarkeitsgarantie. Risiken auf Anwendungsebene wie Prompt-Injection, unsichere Tool-Nutzung, Autorisierungsfehler und andere Software-Schwachstellen werden nicht dadurch behoben, dass die Software auf Confidential-Computing-Hardware ausgeführt wird.

Auch beobachtbare Metadaten sind ausgenommen: Zwar sind die Inhalte der Nutzdaten verschlüsselt, doch Nachrichtengröße, Zeitpunkt von Anfragen, Datenverkehrsvolumen und Routing-Details bleiben sichtbar. In der aktuellen Architektur liegen außerdem die API-Zugangsdaten und die Modellkennung außerhalb der durch OHTTP geschützten Nutzdaten. Das Unternehmen betont, dass Confidential Computing weder die Anwendungssicherheit ersetzt noch ein Verfahren zur Sicherstellung des Datenstandorts oder ein Ersatz für Compliance- oder Vertragskontrollen ist. Ebenso handelt es sich nicht um homomorphe Verschlüsselung, da das Modell innerhalb der geschützten Umgebung weiterhin mit Klartext arbeitet.

Die Implementierung baut auf den Open-Source-Projekten Kata Containers und Confidential Containers auf. Cohere erklärte, den Stack für vertrauliche Inferenz als Open Source veröffentlichen zu wollen, damit Kunden und Sicherheitsforscher den Code untersuchen, nachvollziehen können, welche Richtlinien durchgesetzt werden, und die Verifikationsmessungen unabhängig reproduzieren können. Die Beta läuft derzeit auf NVIDIA-H100-GPUs in Microsoft Azure. Cohere zufolge wird die Unterstützung für die Infrastruktur von NVIDIA Blackwell einschließlich B200-GPUs im Zuge der Weiterentwicklung zur allgemeinen Verfügbarkeit derzeit umgesetzt.