Cohere запускает публичное бета-тестирование конфиденциальных вычислений в Model Vault

Cohere 22 октября 2026 года объявила о публичном бета-тестировании конфиденциальных вычислений на Cohere Model Vault — своей специализированной полностью управляемой платформе для инференса моделей, работающей на графических процессорах NVIDIA H100 в Microsoft Azure и предназначенной для компаний, обрабатывающих конфиденциальные данные.

Запуск расширяет возможности Model Vault, позволяя использовать платформу для работы с медицинскими картами, финансовой информацией, документами с ограниченным доступом, интеллектуальной собственностью и собственным исходным кодом. По словам Cohere, цель состоит в том, чтобы компании могли пользоваться возможностями управляемого ИИ и простотой его эксплуатации, не подвергая риску свои конфиденциальные данные в открытом виде — инфраструктура, на которой работает сервис, не сможет получить к ним доступ. Среди возможных сценариев компания называет расследование мошенничества в финансовом секторе, поиск по документам, охраняемым юридической привилегией, и комплексную проверку для юридических команд, обработку конфиденциальной информации государственного сектора, работу с патентной и исследовательской документацией, собственными документами по проектированию инженерных решений и интерфейсов, а также поиск и анализ собственного исходного кода.

В рамках распределения обязанностей на этапе бета-тестирования Microsoft Azure предоставляет базовую инфраструктуру конфиденциальных вычислений, NVIDIA Confidential Computing распространяет эту защиту на графические процессоры H100, а Cohere обеспечивает управляемое обслуживание моделей, зашифрованный канал передачи запросов, удаленную аттестацию и проверку на стороне клиента через Model Vault. По данным компании, клиенты могут создавать зашифрованные хранилища и управлять ими через Model Vault, подключать их с помощью тех же API Cohere и начать работу на сайте vault.cohere.com.

Конфиденциальное выполнение и зашифрованный канал передачи запросов

Конфиденциальные вычисления защищают данные в процессе использования — информацию, которую модель обрабатывает в данный момент. Это третье состояние данных, помимо хранения и передачи, которые традиционно охватывает шифрование. В Model Vault стек обслуживания моделей, включая операционную систему, драйверы и сервер инференса, работает внутри конфиденциальной виртуальной машины. Аппаратная изоляция защищает ее память от хост-среды, а политика ограничивает работу среды одобренным программным обеспечением и не предоставляет операторам интерактивного доступа к выполняющейся нагрузке. Об этом говорится в подробном техническом разборе, опубликованном Cohere одновременно с запуском. NVIDIA Confidential Computing защищает память графического процессора и шифрует трафик между центральным и графическим процессорами, поэтому граница конфиденциальной среды охватывает ускоритель, выполняющий инференс, а не заканчивается на центральном процессоре, который им управляет.

Сам запрос получает отдельную защиту. Model Vault использует протокол Oblivious HTTP (OHTTP), чтобы зашифровать конфиденциальное содержимое запроса с помощью открытого ключа, связанного с аттестованной конфиденциальной средой. Зашифрованное сообщение проходит через промежуточную инфраструктуру в виде шифротекста; соответствующий закрытый ключ хранится только на шлюзе OHTTP внутри среды. Ответы защищаются таким же образом при отправке обратно. По словам Cohere, это позволяет отделить управление платформой от доступа к содержимому запросов клиентов: посредники по-прежнему могут маршрутизировать трафик, не видя данные в открытом виде. Приложения продолжают использовать API Model Vault и привычные форматы запросов; защита реализована на уровне клиента и инфраструктуры, поэтому менять форматы данных не требуется.

Удаленная аттестация как активный механизм контроля

Перед отправкой защищенного запроса конфиденциальная среда формирует криптографически подписанное свидетельство, содержащее измерения и значимые для безопасности характеристики аппаратного обеспечения, встроенного ПО, операционной среды и прикладного программного обеспечения. Программа на стороне клиента сверяет это свидетельство с утвержденной политикой. В свидетельстве зафиксировано, какая среда работает в действительности; политика определяет, можно ли доверить этой среде данные. Если обязательная характеристика не соответствует требованиям — например, изменилось измерение программного обеспечения или графический процессор работает не в ожидаемом конфиденциальном режиме, — клиент не проходит проверку, отказывается передавать данные, и запрос остается внутри собственной среды клиента. Свидетельство регулярно обновляется, а клиент перед дальнейшей отправкой защищенных запросов каждый раз заново проверяет обновленные измерения и состояние безопасности на соответствие утвержденной политике. По описанию Cohere, так аттестация превращается из записи для аудита в механизм контроля, который активно определяет, можно ли раскрыть защищенные данные.

В объявлении Cohere о запуске технический директор Phil Blunsom заявил: «Благодаря аппаратной аттестации клиенты не только получают криптографическое подтверждение того, что их нагрузки выполняются в безопасной среде конфиденциальных вычислений, но и могут убедиться, что их данные защищены от несанкционированного доступа, в том числе со стороны Cohere». Vikas Bhatia, руководитель направления продуктов Azure Confidential Computing в Microsoft, отметил, что работа с Cohere показывает, как конфиденциальные вычисления позволяют сочетать простоту управляемого ИИ с техническими средствами контроля, которые можно проверить независимо. John Fanelli, вице-президент по корпоративному программному обеспечению в NVIDIA, заявил, что NVIDIA Confidential Computing на графических процессорах компании обеспечивает аппаратную защиту, помогающую таким платформам, как Model Vault, использовать конфиденциальный инференс ИИ в корпоративных задачах.

Модель угроз, заявленные ограничения и планы по открытию исходного кода

В рамках заявленной модели угроз система защищает запросы, документы, ответы и выполнение модели во время обработки, а облачный провайдер, хостовая операционная система, гипервизор, администраторы инфраструктуры и собственные операторы Cohere не могут читать защищённую память рабочей нагрузки. В доверенную вычислительную базу по-прежнему входят аппаратное обеспечение и встроенное ПО, обеспечивающие основу для конфиденциальных вычислений, измеренное программное обеспечение, работающее внутри среды, эталонные измерения, определяющие одобренную конфигурацию, а также инфраструктура аттестации, которая оценивает и подписывает свидетельства. По словам Cohere, эта архитектура сводит круг компонентов, которым необходимо доверять, к явно определённому набору, формирующему измеримые и проверяемые свидетельства.

Cohere также чётко указывает, что не входит в эти границы. Физические атаки и атаки по побочным каналам, например попытки получить информацию по времени выполнения или другим особенностям поведения общего аппаратного обеспечения, остаются за их пределами. Оператор, который не может читать рабочую нагрузку, всё равно может остановить её, задержать или не дать ей выполняться, поэтому сама по себе эта архитектура не гарантирует доступность. Размещение программного обеспечения на аппаратном обеспечении для конфиденциальных вычислений не устраняет риски на уровне приложений, такие как инъекции промптов, небезопасное использование инструментов, ошибки авторизации и другие уязвимости программного обеспечения.

Ещё одно исключение — доступные для наблюдения метаданные: содержимое полезной нагрузки зашифровано, но размер сообщений, время отправки запросов, объём трафика и сведения о маршрутизации остаются видимыми. Кроме того, в текущей архитектуре учётные данные API и идентификатор модели также находятся за пределами полезной нагрузки, защищённой с помощью OHTTP. Компания подчёркивает, что конфиденциальные вычисления не заменяют безопасность приложений, не являются механизмом локализации данных, не заменяют меры по обеспечению соответствия требованиям или договорные меры контроля и не представляют собой гомоморфное шифрование, поскольку модель по-прежнему обрабатывает открытый текст внутри защищённой среды.

Реализация основана на проектах с открытым исходным кодом Kata Containers и Confidential Containers. Cohere сообщила о планах открыть исходный код стека конфиденциального инференса, чтобы клиенты и специалисты по безопасности могли изучать код, видеть, какие политики применяются, и самостоятельно воспроизводить измерения для проверки. Сейчас бета-версия работает на графических процессорах NVIDIA H100 в Microsoft Azure. Cohere сообщила, что поддержка инфраструктуры NVIDIA Blackwell, включая графические процессоры B200, находится в разработке в рамках подготовки к общедоступному выпуску.