Cohere ra mắt Điện toán bảo mật trên Model Vault ở phiên bản beta công khai

Ngày 22 tháng 10 năm 2026, Cohere thông báo mở phiên bản beta công khai của Điện toán bảo mật trên Cohere Model Vault, nền tảng suy luận mô hình chuyên dụng, được quản lý hoàn toàn của công ty, chạy trên GPU NVIDIA H100 tại Microsoft Azure dành cho các doanh nghiệp xử lý dữ liệu nhạy cảm.

Đợt ra mắt này mở rộng Model Vault sang các khối lượng công việc liên quan đến hồ sơ lâm sàng, thông tin tài chính, tài liệu đặc quyền, sở hữu trí tuệ và mã nguồn độc quyền. Cohere cho biết mục tiêu là giúp doanh nghiệp sử dụng các khả năng và sự đơn giản trong vận hành của AI được quản lý, đồng thời giữ dữ liệu nhạy cảm ở dạng văn bản thuần ngoài tầm truy cập của hạ tầng vận hành dịch vụ. Công ty nêu các khối lượng công việc tiềm năng, bao gồm điều tra gian lận trong lĩnh vực dịch vụ tài chính, tìm kiếm tài liệu đặc quyền và thẩm định cho các nhóm pháp lý, thông tin nhạy cảm của khu vực công, tài liệu về bằng sáng chế và nghiên cứu, tài liệu thiết kế kỹ thuật và giao diện độc quyền, cũng như tìm kiếm và phân tích mã nguồn độc quyền.

Theo cách phân chia vai trò trong phiên bản beta, Microsoft Azure cung cấp hạ tầng điện toán bảo mật nền tảng, NVIDIA Confidential Computing mở rộng khả năng bảo vệ đó sang GPU H100, còn Cohere cung cấp dịch vụ phục vụ mô hình được quản lý, đường truyền yêu cầu được mã hóa, xác thực từ xa và khả năng xác minh ở phía khách hàng thông qua Model Vault. Theo công ty, khách hàng có thể thiết lập và quản lý các kho bảo mật được mã hóa qua Model Vault, kết nối với chúng bằng chính các API Cohere hiện có và bắt đầu sử dụng tại vault.cohere.com.

Thực thi bảo mật và đường truyền yêu cầu được mã hóa

Điện toán bảo mật hướng đến việc bảo vệ dữ liệu đang được sử dụng, tức thông tin trong lúc mô hình xử lý, một trạng thái thứ ba bên cạnh dữ liệu được lưu trữ và dữ liệu đang truyền vốn thường được mã hóa. Trong Model Vault, ngăn xếp phục vụ mô hình, bao gồm hệ điều hành, trình điều khiển và máy chủ suy luận, chạy bên trong một máy ảo bảo mật. Tại đây, cơ chế cách ly dựa trên phần cứng bảo vệ bộ nhớ của máy ảo khỏi môi trường máy chủ, còn chính sách giới hạn môi trường này chỉ chạy phần mềm đã được phê duyệt và không cho phép người vận hành có cách tương tác trực tiếp với khối lượng công việc đang chạy, theo bài phân tích chuyên sâu về kỹ thuật mà Cohere công bố cùng thời điểm ra mắt. NVIDIA Confidential Computing bảo vệ bộ nhớ GPU và mã hóa lưu lượng giữa CPU với GPU, nhờ đó ranh giới bảo mật bao trùm cả bộ tăng tốc thực hiện suy luận, thay vì dừng lại ở CPU điều phối hoạt động này.

Bản thân yêu cầu cũng được bảo vệ riêng. Model Vault sử dụng Oblivious HTTP, hay OHTTP, để mã hóa nội dung nhạy cảm của yêu cầu bằng khóa công khai gắn với môi trường bảo mật đã được xác thực. Thông điệp được mã hóa đi qua hạ tầng trung gian dưới dạng bản mã; chỉ cổng OHTTP bên trong môi trường mới giữ khóa riêng tương ứng, và các phản hồi cũng được bảo vệ tương tự trên đường gửi trở lại. Cohere cho biết cách này tách biệt việc vận hành nền tảng với khả năng đọc nội dung khách hàng gửi qua nền tảng, vì các bên trung gian vẫn có thể định tuyến lưu lượng mà không nhìn thấy dữ liệu tải ở dạng văn bản thuần. Các ứng dụng vẫn sử dụng API Model Vault và những định dạng yêu cầu quen thuộc; cơ chế bảo vệ được triển khai ở các lớp máy khách và hạ tầng, thay vì đòi hỏi phải thiết kế lại dữ liệu tải.

Xác thực từ xa như một cơ chế kiểm soát chủ động

Trước khi gửi một yêu cầu được bảo vệ, môi trường bảo mật tạo bằng chứng có chữ ký mật mã, ghi lại các phép đo và thuộc tính liên quan đến bảo mật của phần cứng, chương trình cơ sở, môi trường vận hành và phần mềm ứng dụng; phần mềm phía khách hàng kiểm tra bằng chứng đó theo chính sách đã được phê duyệt. Bằng chứng ghi nhận môi trường thực tế đang chạy, còn chính sách xác định liệu có nên tin cậy môi trường đó để xử lý dữ liệu hay không. Khi một thuộc tính bắt buộc không khớp, chẳng hạn phép đo phần mềm đã thay đổi hoặc GPU không ở chế độ bảo mật như dự kiến, máy khách sẽ xác minh thất bại, từ chối truyền dữ liệu tải và yêu cầu vẫn nằm trong môi trường riêng của khách hàng. Bằng chứng được làm mới theo chu kỳ thường xuyên; trước mỗi lần tiếp tục gửi yêu cầu được bảo vệ, máy khách kiểm tra lại các phép đo mới và trạng thái bảo mật theo chính sách đã phê duyệt. Cohere mô tả cách làm này là biến xác thực từ xa từ một hồ sơ lưu lại để phục vụ kiểm toán thành cơ chế kiểm soát chủ động quyết định có cho phép dữ liệu được bảo vệ rời khỏi môi trường hay không.

Trong thông báo ra mắt của Cohere, Giám đốc công nghệ Phil Blunsom cho biết: “Với xác thực phần cứng, khách hàng không chỉ có bằng chứng mật mã rằng khối lượng công việc đang chạy trong một môi trường điện toán bảo mật, an toàn, mà còn có thể xác minh dữ liệu của họ được bảo vệ khỏi truy cập trái phép, kể cả từ Cohere.” Vikas Bhatia, trưởng bộ phận sản phẩm Azure Confidential Computing tại Microsoft, cho biết công việc hợp tác với Cohere cho thấy điện toán bảo mật có thể kết hợp sự đơn giản của AI được quản lý với các biện pháp kiểm soát kỹ thuật có thể được xác minh độc lập. John Fanelli, phó chủ tịch phụ trách phần mềm doanh nghiệp tại NVIDIA, cho biết NVIDIA Confidential Computing trên GPU của hãng cung cấp các biện pháp bảo vệ dựa trên phần cứng, giúp những nền tảng như Model Vault đưa suy luận AI bảo mật vào các khối lượng công việc doanh nghiệp.

Mô hình đe dọa, các giới hạn đã nêu và kế hoạch mã nguồn mở

Trong phạm vi mô hình đe dọa đã nêu, hệ thống bảo vệ prompt, tài liệu, phản hồi và quá trình thực thi mô hình trong khi xử lý; đồng thời, nhà cung cấp đám mây, hệ điều hành máy chủ, trình giám sát máy ảo, quản trị viên hạ tầng và chính đội ngũ vận hành của Cohere không thể đọc bộ nhớ của khối lượng công việc được bảo vệ. Cơ sở tính toán đáng tin cậy vẫn bao gồm phần cứng và chương trình cơ sở tạo nền tảng cho điện toán bảo mật, phần mềm đã được đo lường chạy bên trong môi trường, các giá trị đo tham chiếu xác định cấu hình được phê duyệt, cùng hạ tầng chứng thực dùng để đánh giá và ký xác nhận bằng chứng. Cohere cho biết thiết kế này thu hẹp phạm vi cần tin cậy thành một tập hợp thành phần cụ thể, tạo ra bằng chứng có thể đo lường và kiểm tra.

Cohere cũng nêu rõ những gì nằm ngoài ranh giới bảo vệ. Các cuộc tấn công vật lý và tấn công kênh kề, chẳng hạn như suy luận thông tin từ thời gian xử lý hoặc hành vi phần cứng dùng chung khác, vẫn nằm ngoài phạm vi này; người vận hành dù không thể đọc khối lượng công việc vẫn có thể dừng, trì hoãn hoặc ngăn không cho khối lượng công việc chạy, vì vậy bản thân thiết kế không bảo đảm tính sẵn sàng. Việc đặt phần mềm bên trong phần cứng điện toán bảo mật không giải quyết được các rủi ro ở cấp ứng dụng như chèn prompt, sử dụng công cụ không an toàn, lỗi phân quyền và các lỗ hổng phần mềm khác.

Siêu dữ liệu có thể quan sát được cũng nằm ngoài phạm vi bảo vệ: dù nội dung tải trọng đã được mã hóa, kích thước thông điệp, thời điểm gửi yêu cầu, lưu lượng truy cập và thông tin định tuyến vẫn hiển thị; trong kiến trúc hiện tại, thông tin xác thực API và mã định danh mô hình cũng nằm ngoài tải trọng được OHTTP bảo vệ. Công ty cho biết điện toán bảo mật không thay thế bảo mật ứng dụng, không phải là cơ chế lưu trú dữ liệu, không thay thế các biện pháp tuân thủ hoặc kiểm soát theo hợp đồng, và cũng không phải là mã hóa đồng cấu, vì mô hình vẫn xử lý văn bản thuần bên trong môi trường được bảo vệ.

Cách triển khai này dựa trên các dự án mã nguồn mở Kata Containers và Confidential Containers; Cohere cho biết họ dự định phát hành ngăn xếp suy luận bảo mật dưới dạng mã nguồn mở, để khách hàng và các nhà nghiên cứu bảo mật có thể kiểm tra mã, xem những chính sách nào được thực thi và tự mình tái tạo các phép đo xác minh. Bản beta hiện chạy trên GPU NVIDIA H100 trong Microsoft Azure; Cohere cho biết việc hỗ trợ hạ tầng NVIDIA Blackwell, bao gồm GPU B200, đang được triển khai nhằm hướng tới thời điểm phát hành rộng rãi.