Cohere udostępnia poufne przetwarzanie danych w Model Vault w publicznej wersji beta

22 października 2026 r. Cohere ogłosiło publiczną wersję beta funkcji poufnego przetwarzania danych w Cohere Model Vault — dedykowanej, w pełni zarządzanej platformie do wnioskowania z użyciem modeli, działającej na procesorach graficznych NVIDIA H100 w Microsoft Azure i przeznaczonej dla przedsiębiorstw przetwarzających dane wrażliwe.

Dzięki tej premierze Model Vault obsługuje także zadania związane z dokumentacją medyczną, informacjami finansowymi, dokumentami objętymi tajemnicą, własnością intelektualną i zastrzeżonym kodem źródłowym. Cohere poinformowało, że celem jest zapewnienie przedsiębiorstwom możliwości i prostoty obsługi zarządzanej sztucznej inteligencji przy jednoczesnym uniemożliwieniu dostępu do wrażliwych danych w postaci jawnej infrastrukturze, na której działa usługa. Wśród potencjalnych zastosowań firma wymienia dochodzenia w sprawach oszustw w sektorze usług finansowych, wyszukiwanie dokumentów objętych tajemnicą i analizę due diligence dla zespołów prawnych, wrażliwe informacje sektora publicznego, materiały patentowe i badawcze, zastrzeżone dokumenty dotyczące inżynierii i projektowania interfejsów, a także wyszukiwanie i analizę zastrzeżonego kodu źródłowego.

Zgodnie z podziałem ról w wersji beta Microsoft Azure zapewnia podstawową infrastrukturę poufnego przetwarzania, NVIDIA Confidential Computing rozszerza tę ochronę na procesory graficzne H100, a Cohere udostępnia zarządzane usługi wnioskowania z użyciem modeli, szyfrowaną ścieżkę żądań, zdalną atestację oraz weryfikację po stronie klienta za pośrednictwem Model Vault. Według firmy klienci mogą konfigurować i zarządzać szyfrowanymi sejfami za pomocą Model Vault, łączyć je przy użyciu tych samych interfejsów API Cohere i rozpocząć korzystanie z usługi pod adresem vault.cohere.com.

Poufne wykonywanie i szyfrowana ścieżka żądań

Poufne przetwarzanie chroni dane w użyciu, czyli informacje przetwarzane przez model, a więc trzeci stan danych — obok danych przechowywanych i przesyłanych, które tradycyjnie obejmuje szyfrowanie. W Model Vault stos obsługujący modele, w tym system operacyjny, sterowniki i serwer wnioskowania, działa w poufnej maszynie wirtualnej. Izolacja oparta na sprzęcie chroni jej pamięć przed środowiskiem hosta, a zasady ograniczają działanie środowiska do zatwierdzonego oprogramowania i nie zapewniają operatorom interaktywnego dostępu do uruchomionego obciążenia — jak wyjaśniono w towarzyszącym premierze szczegółowym omówieniu technicznym opublikowanym przez Cohere. NVIDIA Confidential Computing chroni pamięć procesora graficznego i szyfruje ruch między procesorem CPU a GPU, dzięki czemu poufna granica obejmuje akcelerator wykonujący wnioskowanie, zamiast kończyć się na procesorze CPU, który nim zarządza.

Samo żądanie jest dodatkowo chronione. Model Vault wykorzystuje Oblivious HTTP (OHTTP), aby szyfrować wrażliwe dane zawarte w żądaniu kluczem publicznym powiązanym z poświadczonym środowiskiem poufnym. Zaszyfrowana wiadomość przechodzi przez infrastrukturę pośredniczącą w postaci szyfrogramu; tylko brama OHTTP znajdująca się wewnątrz środowiska ma odpowiadający mu klucz prywatny, a odpowiedzi są tak samo chronione w drodze powrotnej. Cohere twierdzi, że w ten sposób oddziela obsługę platformy od możliwości odczytywania przesyłanych przez klientów danych, ponieważ pośrednicy nadal mogą kierować ruch, nie widząc niezaszyfrowanych treści. Aplikacje nadal korzystają z interfejsu API Model Vault i znanych formatów żądań, a zabezpieczenia są wdrażane po stronie klienta i w warstwach infrastruktury, bez konieczności przeprojektowywania zawartości żądań.

Zdalna atestacja jako aktywny mechanizm kontroli

Zanim zostanie wysłane chronione żądanie, poufne środowisko generuje podpisane kryptograficznie poświadczenie obejmujące pomiary i właściwości istotne dla bezpieczeństwa jego sprzętu, oprogramowania układowego, środowiska operacyjnego i oprogramowania aplikacyjnego. Oprogramowanie po stronie klienta sprawdza to poświadczenie pod kątem zgodności z zatwierdzoną polityką. Poświadczenie wskazuje, jakie środowisko faktycznie działa, a polityka określa, czy należy mu powierzyć dane. Jeśli wymagana właściwość nie jest zgodna — na przykład zmienił się pomiar oprogramowania albo procesor graficzny nie działa w oczekiwanym trybie poufnym — klient nie przechodzi weryfikacji, odmawia przesłania danych, a żądanie pozostaje w środowisku klienta. Poświadczenie jest regularnie odświeżane, a przed dalszym wysyłaniem chronionych żądań klient za każdym razem ponownie sprawdza nowe pomiary i stan zabezpieczeń pod kątem zgodności z zatwierdzoną polityką. Cohere opisuje to jako przekształcenie atestacji z dokumentacji przechowywanej na potrzeby audytów w mechanizm kontroli, który aktywnie decyduje o tym, czy chronione dane zostaną udostępnione.

W ogłoszeniu o premierze Cohere dyrektor ds. technologii Phil Blunsom powiedział: „Dzięki atestacji sprzętowej klienci nie tylko otrzymują kryptograficzny dowód, że obciążenia działają w bezpiecznym środowisku poufnego przetwarzania, lecz także mogą zweryfikować, że ich dane są chronione przed nieuprawnionym dostępem — nawet ze strony Cohere”. Vikas Bhatia, szef działu produktów Azure Confidential Computing w Microsoft, powiedział, że współpraca z Cohere pokazuje, jak poufne przetwarzanie może łączyć prostotę zarządzanej sztucznej inteligencji z niezależnie weryfikowalnymi zabezpieczeniami technicznymi. John Fanelli, wiceprezes ds. oprogramowania dla przedsiębiorstw w NVIDIA, powiedział, że NVIDIA Confidential Computing w procesorach graficznych firmy zapewnia zabezpieczenia oparte na sprzęcie, które pomagają platformom takim jak Model Vault udostępniać poufne wnioskowanie AI w zadaniach przedsiębiorstw.

Model zagrożeń, wskazane ograniczenia i plany dotyczące otwartego oprogramowania

W ramach określonego przez Cohere modelu zagrożeń system chroni prompty, dokumenty, odpowiedzi i działanie modelu podczas przetwarzania, a dostawca chmury, system operacyjny hosta, hiperwizor, administratorzy infrastruktury i sami operatorzy Cohere nie mogą odczytywać pamięci chronionej, w której działa obciążenie. Zaufana baza obliczeniowa nadal obejmuje sprzęt i oprogramowanie układowe zapewniające podstawę poufnego przetwarzania, oprogramowanie poddane pomiarowi, działające w środowisku, pomiary referencyjne definiujące zatwierdzoną konfigurację oraz infrastrukturę atestacji, która ocenia i podpisuje dowody. Cohere twierdzi, że projekt ogranicza zakres elementów, którym trzeba ufać, do jawnie określonego zestawu komponentów dostarczających mierzalne, możliwe do zweryfikowania dowody.

Cohere precyzuje również, czego nie obejmuje ta ochrona. Ataki fizyczne i ataki z kanałów bocznych, takie jak wnioskowanie o informacjach na podstawie czasu lub innych zachowań współdzielonego sprzętu, pozostają poza jej zakresem. Operator, który nie może odczytać obciążenia, nadal może je zatrzymać, opóźnić lub uniemożliwić jego działanie, dlatego sam projekt nie gwarantuje dostępności. Umieszczenie oprogramowania na sprzęcie do poufnego przetwarzania nie eliminuje zagrożeń na poziomie aplikacji, takich jak wstrzykiwanie promptów, niebezpieczne korzystanie z narzędzi, błędy autoryzacji i inne luki w oprogramowaniu.

Kolejnym wyłączeniem są widoczne metadane: choć treść ładunku jest szyfrowana, widoczne pozostają rozmiar wiadomości, czas wysłania żądania, natężenie ruchu i szczegóły routingu, a w obecnej architekturze poświadczenie API i identyfikator modelu również znajdują się poza ładunkiem chronionym przez OHTTP. Firma podkreśla, że poufne przetwarzanie nie zastępuje zabezpieczeń aplikacji, nie jest mechanizmem zapewniającym rezydencję danych, nie zastępuje wymogów zgodności ani zabezpieczeń umownych i nie jest szyfrowaniem homomorficznym, ponieważ model nadal operuje na jawnym tekście w chronionym środowisku.

Rozwiązanie bazuje na projektach open source Kata Containers i Confidential Containers. Cohere zapowiedziało, że planuje udostępnić stos wnioskowania poufnego jako oprogramowanie open source, dzięki czemu klienci i badacze bezpieczeństwa będą mogli analizować kod, sprawdzać, które zasady są egzekwowane, oraz samodzielnie odtwarzać pomiary weryfikacyjne. Wersja beta działa obecnie na procesorach graficznych NVIDIA H100 w Microsoft Azure, a Cohere poinformowało, że trwają prace nad obsługą infrastruktury NVIDIA Blackwell, w tym procesorów graficznych B200, przed ogólną dostępnością.