Cohere, Model Vault에서 기밀 컴퓨팅 공개 베타 출시

Cohere는 2026년 10월 22일, 민감한 데이터를 처리하는 기업을 위해 NVIDIA H100 GPU와 Microsoft Azure에서 구동되는 전용 완전 관리형 모델 추론 플랫폼 Cohere Model Vault에서 기밀 컴퓨팅 공개 베타를 발표했다.

이번 출시로 Model Vault는 임상 기록, 금융 정보, 특권 문서, 지식재산 및 독점 소스 코드와 관련된 워크로드까지 지원 범위를 넓혔다. Cohere는 기업이 민감한 평문 데이터를 서비스를 실행하는 인프라가 접근할 수 없도록 보호하면서도 관리형 AI의 기능과 운영 편의성을 활용할 수 있게 하는 것이 목표라고 밝혔다. 회사가 활용 사례로 꼽은 워크로드에는 금융 서비스 사기 조사, 법무팀의 특권 문서 검색 및 실사, 민감한 공공 부문 정보, 특허 및 연구 자료, 독점 엔지니어링 및 인터페이스 설계 문서, 독점 소스 코드 전반에 대한 검색 및 분석이 포함된다.

베타에서 각 기업의 역할은 다음과 같이 나뉜다. Microsoft Azure는 기반이 되는 기밀 컴퓨팅 인프라를 제공하고, NVIDIA Confidential Computing은 그 보호 기능을 H100 GPU로 확장하며, Cohere는 Model Vault를 통해 관리형 모델 서빙, 암호화된 요청 경로, 원격 증명 및 고객 측 검증을 제공한다. 회사에 따르면 고객은 Model Vault에서 암호화된 볼트를 설정하고 관리할 수 있으며, 기존 Cohere API로 볼트에 연결하면 된다. 서비스 이용은 vault.cohere.com에서 시작할 수 있다.

기밀 실행과 암호화된 요청 경로

기밀 컴퓨팅은 모델이 정보를 실제로 처리하는 동안의 데이터, 즉 사용 중인 데이터를 보호한다. 이는 암호화가 전통적으로 보호해 온 저장 중 데이터 및 전송 중 데이터에 더해지는 세 번째 상태다. 출시와 함께 Cohere가 공개한 기술 심층 분석 자료에 따르면 Model Vault의 모델 서빙 스택은 운영 체제, 드라이버 및 추론 서버를 포함해 기밀 가상 머신 안에서 실행된다. 이 환경에서는 하드웨어 기반 격리가 호스트 환경으로부터 메모리를 보호하고, 정책에 따라 승인된 소프트웨어만 실행되며, 운영자가 실행 중인 워크로드에 대화형으로 접근할 수 있는 경로가 차단된다. NVIDIA Confidential Computing은 GPU 메모리를 보호하고 CPU와 GPU 간 트래픽을 암호화하므로, 기밀 경계가 추론을 조정하는 CPU에서 끝나지 않고 추론을 수행하는 가속기까지 포함한다.

요청 자체도 별도로 보호된다. Model Vault는 Oblivious HTTP(OHTTP)를 사용해 요청의 민감한 내용을 증명된 기밀 환경에 연결된 공개 키로 암호화한다. 암호화된 메시지는 암호문 형태로 중개 인프라를 통과하며, 이에 대응하는 개인 키는 환경 내부의 OHTTP 게이트웨이에만 있다. 응답도 돌아오는 과정에서 똑같이 보호된다. Cohere에 따르면 이러한 구조는 플랫폼을 운영하는 역할과 고객이 플랫폼을 통해 보내는 내용을 읽을 수 있는 권한을 분리한다. 중개자는 평문 페이로드를 볼 수 없어도 트래픽을 전달할 수 있기 때문이다. 애플리케이션은 Model Vault API와 익숙한 요청 형식을 그대로 사용하며, 페이로드를 새로 설계할 필요 없이 클라이언트 및 인프라 계층에서 보호 기능을 구현한다.

능동적 통제 수단으로서의 원격 증명

보호된 요청을 보내기 전에 기밀 환경은 하드웨어, 펌웨어, 운영 환경 및 애플리케이션 소프트웨어의 측정값과 보안 관련 속성을 담은 암호학적으로 서명된 증거를 생성하고, 고객 측 소프트웨어는 해당 증거를 승인된 정책과 대조해 확인한다. 증거는 실제로 어떤 환경이 실행 중인지 기록하고, 정책은 그 환경에 데이터를 맡겨도 되는지를 규정한다. 필수 속성이 일치하지 않으면, 예를 들어 소프트웨어 측정값이 바뀌었거나 GPU가 예상된 기밀 모드에 있지 않으면 클라이언트는 검증에 실패하고 페이로드 전송을 거부한다. 이 경우 요청은 고객 자체 환경 안에 머문다. 이 증거는 자주 갱신되며, 클라이언트는 보호된 요청 전송을 계속하기에 앞서 매번 새 측정값과 보안 상태를 승인된 정책에 따라 다시 확인한다. Cohere는 이를 통해 증명이 감사용 기록에 그치지 않고 보호된 데이터를 공개할지 여부를 능동적으로 결정하는 통제 수단으로 바뀐다고 설명한다.

Cohere의 출시 발표에서 최고기술책임자(CTO) Phil Blunsom은 다음과 같이 말했다. “하드웨어 증명을 통해 고객은 워크로드가 안전한 기밀 컴퓨팅 환경에서 실행되고 있다는 암호학적 증거를 얻을 뿐 아니라, Cohere를 포함한 누구도 무단으로 접근하지 못하도록 데이터가 보호되고 있는지도 확인할 수 있습니다.” Microsoft에서 Azure Confidential Computing 제품을 총괄하는 Vikas Bhatia는 Cohere와의 협력이 기밀 컴퓨팅으로 관리형 AI의 간편함과 독립적으로 검증 가능한 기술적 통제를 결합할 수 있음을 보여 준다고 말했다. NVIDIA의 엔터프라이즈 소프트웨어 부문 부사장 John Fanelli는 GPU에 적용된 NVIDIA Confidential Computing이 하드웨어 기반 보호 기능을 제공해 Model Vault와 같은 플랫폼이 기업 워크로드에 기밀 AI 추론을 제공하도록 돕는다고 말했다.

위협 모델, 명시된 한계 및 오픈소스 계획

명시된 위협 모델에서 이 시스템은 처리 중 프롬프트, 문서, 응답 및 모델 실행을 보호하며, 클라우드 제공업체, 호스트 운영체제, 하이퍼바이저, 인프라 관리자와 Cohere 자체 운영자는 보호된 워크로드 메모리를 읽을 수 없습니다. 신뢰 컴퓨팅 기반에는 여전히 기밀 컴퓨팅의 토대를 제공하는 하드웨어와 펌웨어, 환경 내부에서 실행되는 측정된 소프트웨어, 승인된 구성을 정의하는 기준 측정값, 그리고 증거를 평가하고 서명하는 증명 인프라가 포함됩니다. Cohere는 이 설계가 신뢰해야 하는 대상을 측정 가능하고 검증 가능한 증거를 생성하는 명시적 구성요소 집합으로 좁힌다고 설명합니다.

Cohere는 보호 경계에서 제외되는 사항도 명확히 밝혔습니다. 타이밍이나 기타 공유 하드웨어 동작을 통해 정보를 추론하는 것과 같은 물리적 공격 및 부채널 공격은 보호 경계에 포함되지 않습니다. 또한 워크로드를 읽을 수 없는 운영자도 이를 중단하거나 지연시키거나 실행을 막을 수 있으므로, 이 설계 자체로는 가용성을 보장하지 않습니다. 프롬프트 인젝션, 안전하지 않은 도구 사용, 권한 부여 오류 및 기타 소프트웨어 취약점과 같은 애플리케이션 수준의 위험은 소프트웨어를 기밀 컴퓨팅 하드웨어 안에 배치한다고 해서 해결되지 않습니다.

관찰 가능한 메타데이터도 보호 대상에서 제외됩니다. 페이로드 내용은 암호화되지만 메시지 크기, 요청 시점, 트래픽 양, 라우팅 세부 정보는 여전히 노출되며, 현재 아키텍처에서는 API 자격 증명과 모델 식별자도 OHTTP로 보호되는 페이로드 외부에 있습니다. Cohere는 기밀 컴퓨팅이 애플리케이션 보안을 대체하는 수단도, 데이터 상주를 보장하는 수단도, 규정 준수 또는 계약상 통제를 대신하는 수단도, 동형 암호화도 아니라고 밝혔습니다. 모델이 보호된 환경 안에서 여전히 평문을 처리하기 때문입니다.

이 구현은 오픈소스 Kata Containers 및 Confidential Containers 프로젝트를 기반으로 합니다. Cohere는 고객과 보안 연구자가 코드를 검토하고, 어떤 정책이 적용되는지 확인하며, 검증 측정값을 독립적으로 재현할 수 있도록 기밀 추론 스택을 오픈소스로 공개할 계획이라고 밝혔습니다. 현재 베타는 Microsoft Azure에서 NVIDIA H100 GPU를 사용해 운영되며, Cohere는 일반 공급을 향해 나아가는 과정에서 B200 GPU를 포함한 NVIDIA Blackwell 인프라 지원을 진행 중이라고 밝혔습니다.