Cohere Meluncurkan Komputasi Rahasia di Model Vault dalam Beta Publik

Pada 22 Oktober 2026, Cohere mengumumkan beta publik Komputasi Rahasia di Cohere Model Vault, platform inferensi model khusus yang dikelola sepenuhnya dan berjalan di GPU NVIDIA H100 pada Microsoft Azure untuk perusahaan yang memproses data sensitif.

Peluncuran ini memperluas Model Vault untuk menangani beban kerja yang melibatkan rekam medis, informasi keuangan, dokumen istimewa, kekayaan intelektual, dan kode sumber proprieter. Cohere mengatakan tujuannya adalah memungkinkan perusahaan memanfaatkan kemampuan dan kemudahan operasional AI terkelola, sekaligus memastikan data sensitif mereka dalam bentuk teks biasa tidak dapat diakses oleh infrastruktur yang menjalankan layanan tersebut. Perusahaan itu menyebut sejumlah beban kerja potensial, termasuk investigasi penipuan di sektor jasa keuangan, pencarian dokumen istimewa dan uji tuntas untuk tim hukum, informasi sensitif sektor publik, materi paten dan penelitian, dokumen teknik dan desain antarmuka proprieter, serta pencarian dan analisis kode sumber proprieter.

Dalam pembagian peran pada beta ini, Microsoft Azure menyediakan infrastruktur komputasi rahasia yang mendasarinya, NVIDIA Confidential Computing menerapkan perlindungan tersebut pada GPU H100, dan Cohere menyediakan layanan model terkelola, jalur permintaan terenkripsi, atestasi jarak jauh, serta verifikasi di sisi pelanggan melalui Model Vault. Menurut perusahaan, pelanggan dapat menyiapkan dan mengelola brankas terenkripsi melalui Model Vault, menghubungkannya melalui API Cohere yang sama, dan memulai di vault.cohere.com.

Eksekusi Rahasia dan Jalur Permintaan Terenkripsi

Komputasi rahasia melindungi data yang sedang digunakan, yaitu informasi ketika model sedang memprosesnya, sebagai kondisi ketiga selain data yang tersimpan dan data yang sedang dikirim—dua kondisi yang secara tradisional dilindungi enkripsi. Di Model Vault, tumpukan layanan model, termasuk sistem operasi, pengandar, dan server inferensi, berjalan di dalam mesin virtual rahasia. Menurut pendalaman teknis yang diterbitkan Cohere bersamaan dengan peluncuran, isolasi berbasis perangkat keras melindungi memorinya dari lingkungan host, sementara kebijakan membatasi lingkungan tersebut hanya pada perangkat lunak yang disetujui dan tidak memberi operator jalur interaktif untuk mengakses beban kerja yang sedang berjalan. NVIDIA Confidential Computing melindungi memori GPU dan mengenkripsi lalu lintas antara CPU dan GPU, sehingga batas perlindungan rahasia mencakup akselerator yang menjalankan inferensi, bukan hanya berhenti pada CPU yang mengoordinasikannya.

Permintaan itu sendiri mendapat perlindungan tersendiri. Model Vault menggunakan Oblivious HTTP, atau OHTTP, untuk mengenkripsi isi sensitif permintaan dengan kunci publik yang terhubung ke lingkungan rahasia yang telah diatestasi. Pesan terenkripsi melintasi infrastruktur perantara dalam bentuk teks sandi; hanya gateway OHTTP di dalam lingkungan tersebut yang memiliki kunci privat pasangannya. Respons juga mendapat perlindungan yang sama saat dikirim kembali. Cohere mengatakan mekanisme ini memisahkan tugas mengoperasikan platform dari kemampuan membaca apa yang dikirim pelanggan melalui platform tersebut, karena perantara tetap dapat mengarahkan lalu lintas tanpa melihat muatan dalam bentuk teks biasa. Aplikasi tetap menggunakan API Model Vault dan format permintaan yang sudah dikenal; perlindungan diterapkan pada lapisan klien dan infrastruktur sehingga muatan tidak perlu dirancang ulang.

Atestasi Jarak Jauh sebagai Kontrol Aktif

Sebelum permintaan yang dilindungi dikirim, lingkungan rahasia menghasilkan bukti bertanda tangan secara kriptografis yang mencatat pengukuran dan karakteristik keamanan perangkat keras, firmware, lingkungan operasi, serta perangkat lunaknya. Perangkat lunak di sisi pelanggan memeriksa bukti tersebut berdasarkan kebijakan yang disetujui. Bukti itu mencatat lingkungan yang benar-benar sedang berjalan, sedangkan kebijakan menentukan apakah lingkungan tersebut layak dipercaya untuk menangani data. Jika suatu karakteristik yang diwajibkan tidak cocok—misalnya, pengukuran perangkat lunak berubah atau GPU tidak berada dalam mode rahasia yang diharapkan—klien gagal memverifikasi, menolak mengirim muatan, dan permintaan tetap berada di lingkungan pelanggan sendiri. Bukti tersebut diperbarui secara berkala, dan setiap kali sebelum melanjutkan pengiriman permintaan yang dilindungi, klien memeriksa ulang pengukuran dan status keamanan terbaru berdasarkan kebijakan yang disetujui. Cohere menjelaskan bahwa mekanisme ini mengubah atestasi dari catatan yang disimpan untuk keperluan audit menjadi kontrol yang secara aktif menentukan apakah data yang dilindungi boleh dilepas.

Dalam pengumuman peluncuran Cohere, CTO Phil Blunsom mengatakan: “Dengan atestasi perangkat keras, pelanggan bukan hanya memiliki bukti kriptografis bahwa beban kerja berjalan di lingkungan komputasi rahasia yang aman, tetapi juga dapat memverifikasi bahwa data mereka terlindungi dari akses tanpa izin, bahkan dari Cohere.” Vikas Bhatia, kepala produk Azure Confidential Computing di Microsoft, mengatakan bahwa kerja sama dengan Cohere menunjukkan bagaimana komputasi rahasia dapat memadukan kemudahan AI terkelola dengan kontrol teknis yang dapat diverifikasi secara independen. John Fanelli, wakil presiden perangkat lunak perusahaan di NVIDIA, mengatakan bahwa NVIDIA Confidential Computing pada GPU-nya menyediakan perlindungan berbasis perangkat keras yang membantu platform seperti Model Vault menghadirkan inferensi AI rahasia untuk beban kerja perusahaan.

Model Ancaman, Batasan yang Dinyatakan, dan Rencana Sumber Terbuka

Dalam model ancaman yang dinyatakannya, sistem melindungi prompt, dokumen, respons, dan proses eksekusi model selama pemrosesan. Penyedia cloud, sistem operasi host, hipervisor, administrator infrastruktur, dan operator Cohere sendiri tidak dapat membaca memori beban kerja yang dilindungi. Basis komputasi tepercaya tetap mencakup perangkat keras dan firmware yang menyediakan fondasi komputasi rahasia, perangkat lunak terukur yang berjalan di dalam lingkungan tersebut, pengukuran acuan yang menetapkan konfigurasi yang disetujui, serta infrastruktur pengesahan yang mengevaluasi dan menandatangani bukti. Cohere menyatakan bahwa desain ini mempersempit komponen yang harus dipercaya menjadi sekumpulan komponen eksplisit yang menghasilkan bukti terukur dan dapat diperiksa.

Cohere juga menjelaskan hal-hal yang tidak tercakup dalam batas perlindungan ini. Serangan fisik dan serangan saluran samping, seperti menyimpulkan informasi dari waktu pemrosesan atau perilaku perangkat keras bersama lainnya, tetap berada di luar cakupannya. Operator yang tidak dapat membaca suatu beban kerja tetap bisa menghentikan, menunda, atau mencegahnya berjalan. Karena itu, desain ini tidak dengan sendirinya menjamin ketersediaan. Risiko pada tingkat aplikasi, seperti injeksi prompt, penggunaan alat yang tidak aman, kesalahan otorisasi, dan kerentanan perangkat lunak lainnya, tidak teratasi hanya dengan menempatkan perangkat lunak di dalam perangkat keras komputasi rahasia.

Metadata yang dapat diamati juga tidak tercakup: meskipun isi muatan dienkripsi, ukuran pesan, waktu permintaan, volume lalu lintas, dan detail perutean tetap terlihat. Dalam arsitektur saat ini, kredensial API dan pengenal model juga berada di luar muatan yang dilindungi OHTTP. Perusahaan tersebut menyatakan bahwa komputasi rahasia bukan pengganti keamanan aplikasi, bukan mekanisme residensi data, bukan pengganti kontrol kepatuhan atau kontraktual, dan bukan enkripsi homomorfik, karena model tetap beroperasi pada teks biasa di dalam lingkungan yang dilindungi.

Implementasi ini dibangun di atas proyek sumber terbuka Kata Containers dan Confidential Containers. Cohere menyatakan berencana merilis tumpukan inferensi rahasia sebagai sumber terbuka, sehingga pelanggan dan peneliti keamanan dapat memeriksa kode, melihat kebijakan yang diberlakukan, serta mereproduksi pengukuran verifikasi secara mandiri. Versi beta saat ini berjalan pada GPU NVIDIA H100 di Microsoft Azure. Cohere menyatakan bahwa dukungan untuk infrastruktur NVIDIA Blackwell, termasuk GPU B200, sedang dalam pengembangan sebagai bagian dari persiapan menuju ketersediaan umum.