Cohere запускає публічне бета-тестування конфіденційних обчислень у Model Vault

22 жовтня 2026 року Cohere оголосила про публічне бета-тестування конфіденційних обчислень у Cohere Model Vault — спеціалізованій платформі повністю керованого інференсу моделей на графічних процесорах NVIDIA H100 у Microsoft Azure для підприємств, які обробляють конфіденційні дані.

Завдяки запуску Model Vault тепер підтримує робочі навантаження, пов’язані з клінічними записами, фінансовою інформацією, документами з обмеженим доступом, інтелектуальною власністю та власним програмним кодом. Cohere повідомила, що мета полягає в тому, щоб підприємства могли користуватися можливостями й простотою експлуатації керованого ШІ, водночас не надаючи інфраструктурі, на якій працює сервіс, доступу до своїх конфіденційних даних у відкритому вигляді. Серед потенційних сценаріїв використання компанія називає розслідування шахрайства у сфері фінансових послуг, пошук документів з обмеженим доступом і комплексну юридичну перевірку для юридичних команд, роботу з конфіденційною інформацією державного сектору, патентними та дослідницькими матеріалами, власною інженерною документацією та документами з проєктування інтерфейсів, а також пошук і аналіз власного програмного коду.

Згідно з розподілом ролей у межах бета-версії, Microsoft Azure надає базову інфраструктуру конфіденційних обчислень, NVIDIA Confidential Computing поширює цей захист на графічні процесори H100, а Cohere забезпечує кероване обслуговування моделей, зашифрований шлях запитів, віддалену атестацію та перевірку на боці клієнта через Model Vault. За словами компанії, клієнти можуть налаштовувати й керувати зашифрованими сховищами через Model Vault, підключати їх за допомогою тих самих API Cohere та розпочати роботу на vault.cohere.com.

Конфіденційне виконання та зашифрований шлях запитів

Конфіденційні обчислення захищають дані під час використання — тобто інформацію в той час, коли модель активно її обробляє. Це третій стан даних, окрім даних у сховищі та під час передавання, які традиційно захищає шифрування. У Model Vault стек обслуговування моделей, зокрема операційна система, драйвери та сервер інференсу, працює всередині конфіденційної віртуальної машини. Апаратна ізоляція захищає її пам’ять від середовища хоста, а політика обмежує роботу середовища лише схваленим програмним забезпеченням і не дає операторам інтерактивного доступу до запущеного робочого навантаження. Про це йдеться в технічному детальному огляді, який Cohere опублікувала разом із запуском. NVIDIA Confidential Computing захищає пам’ять графічного процесора та шифрує трафік між центральним і графічним процесорами, тож межа конфіденційного середовища охоплює прискорювач, який виконує інференс, а не закінчується на центральному процесорі, що координує його роботу.

Сам запит захищено окремо. Model Vault використовує Oblivious HTTP (OHTTP), щоб зашифрувати конфіденційний вміст запиту відкритим ключем, пов’язаним з атестованим конфіденційним середовищем. Зашифроване повідомлення проходить через проміжну інфраструктуру у вигляді шифротексту; лише шлюз OHTTP усередині середовища має відповідний закритий ключ, а відповіді захищено так само під час зворотного передавання. За словами Cohere, це дає змогу відокремити експлуатацію платформи від можливості читати дані, які клієнти передають через неї, адже посередники можуть спрямовувати трафік, не бачачи корисного навантаження у відкритому вигляді. Застосунки продовжують використовувати API Model Vault і звичні формати запитів: захист реалізовано на рівні клієнта та інфраструктури, тож переробляти корисне навантаження не потрібно.

Віддалена атестація як активний механізм контролю

Перш ніж надіслати захищений запит, конфіденційне середовище генерує криптографічно підписані докази, що містять вимірювання та важливі для безпеки характеристики апаратного забезпечення, мікропрограмного забезпечення, операційного середовища й прикладного програмного забезпечення. Програмне забезпечення на боці клієнта звіряє ці докази зі схваленою політикою. Докази фіксують, яке саме середовище фактично працює, а політика визначає, чи можна довірити цьому середовищу дані. Якщо обов’язкова характеристика не відповідає вимогам — наприклад, змінилося вимірювання програмного забезпечення або графічний процесор не перебуває в очікуваному конфіденційному режимі, — клієнт не проходить перевірку, відмовляється передавати корисне навантаження, і запит залишається в середовищі самого клієнта. Докази оновлюються з коротким інтервалом, а перед подальшим надсиланням захищених запитів клієнт щоразу перевіряє нові вимірювання та стан безпеки відповідно до схваленої політики. Cohere описує це як перетворення атестації з запису для аудиту на механізм контролю, який активно вирішує, чи передавати захищені дані.

У оголошенні Cohere про запуск технічний директор Філ Блансом сказав: «Завдяки атестації апаратного забезпечення клієнти мають не лише криптографічне підтвердження того, що робочі навантаження виконуються в безпечному середовищі конфіденційних обчислень, а й змогу переконатися, що їхні дані захищено від несанкціонованого доступу, зокрема з боку Cohere». Вікас Бхатія, керівник напряму продукту Azure Confidential Computing у Microsoft, заявив, що співпраця з Cohere демонструє, як конфіденційні обчислення можуть поєднати простоту керованого ШІ з технічними засобами контролю, які можна незалежно перевірити. Джон Фанеллі, віцепрезидент із корпоративного програмного забезпечення в NVIDIA, сказав, що NVIDIA Confidential Computing на графічних процесорах компанії забезпечує апаратний захист, який допомагає таким платформам, як Model Vault, використовувати конфіденційний інференс ШІ в корпоративних робочих навантаженнях.

Модель загроз, визначені обмеження та плани щодо відкритого коду

У межах заявленої моделі загроз система захищає промпти, документи, відповіді та виконання моделі під час обробки, а постачальник хмарних послуг, хостова операційна система, гіпервізор, адміністратори інфраструктури й власні оператори Cohere не мають змоги читати захищену пам’ять робочого навантаження. До довіреної обчислювальної бази й далі належать апаратне забезпечення та мікропрограми, що забезпечують основу для конфіденційних обчислень, виміряне програмне забезпечення, яке працює всередині середовища, еталонні вимірювання, що визначають схвалену конфігурацію, а також інфраструктура атестації, яка оцінює докази й підписує їх. За словами Cohere, така конструкція зводить перелік компонентів, яким потрібно довіряти, до чітко визначеного набору, що надає вимірювані докази, які можна перевірити.

Cohere також чітко окреслює, що не входить до цієї межі. Фізичні атаки й атаки через побічні канали, наприклад отримання інформації за часом виконання операцій або іншою спільною поведінкою апаратного забезпечення, залишаються поза нею. Оператор, який не може читати дані робочого навантаження, усе одно може зупинити його, затримати або не допустити його виконання, тому сама по собі така конструкція не гарантує доступності. Ризики на рівні застосунку, як-от ін’єкція промптів, небезпечне використання інструментів, помилки авторизації та інші вразливості програмного забезпечення, не усуваються розміщенням програмного забезпечення на апаратному забезпеченні для конфіденційних обчислень.

Ще одним винятком є метадані, які залишаються видимими: хоча вміст корисного навантаження зашифровано, розмір повідомлення, час надсилання запиту, обсяг трафіку й деталі маршрутизації залишаються відкритими, а в поточній архітектурі облікові дані API та ідентифікатор моделі також перебувають поза корисним навантаженням, захищеним за допомогою OHTTP. Компанія зазначає, що конфіденційні обчислення не замінюють безпеку застосунків, не є механізмом забезпечення локалізації даних, не замінюють засобів контролю відповідності вимогам і договірних засобів контролю, а також не є гомоморфним шифруванням, оскільки модель і далі працює з відкритим текстом у захищеному середовищі.

Реалізація спирається на проєкти з відкритим вихідним кодом Kata Containers і Confidential Containers. Cohere повідомила, що планує відкрити вихідний код стека для конфіденційного виконання висновків, щоб клієнти й дослідники безпеки могли перевіряти код, бачити, які політики застосовуються, і самостійно відтворювати вимірювання для верифікації. Наразі бета-версія працює на графічних процесорах NVIDIA H100 у Microsoft Azure, а, за словами Cohere, триває робота над підтримкою інфраструктури NVIDIA Blackwell, зокрема графічних процесорів B200, у межах підготовки до загальнодоступного випуску.