Cohere, Model Vault’ta Gizli Hesaplama’yı Açık Beta Olarak Kullanıma Sunuyor

Cohere, hassas verileri işleyen kurumlara yönelik, Microsoft Azure üzerinde NVIDIA H100 GPU’larla çalışan, kendisine özel ve tamamen yönetilen model çıkarım platformu Cohere Model Vault’ta Gizli Hesaplama‘nın açık beta sürümünü 22 Ekim 2026’da duyurdu.

Bu lansmanla Model Vault; klinik kayıtları, finansal bilgileri, ayrıcalıklı belgeleri, fikrî mülkiyeti ve özel kaynak kodunu içeren iş yüklerini de kapsayacak şekilde genişliyor. Cohere, amaçlarının kurumların yönetilen yapay zekânın yeteneklerinden ve operasyonel kolaylığından yararlanırken hassas, şifrelenmemiş verilerini hizmeti çalıştıran altyapının erişemeyeceği şekilde korumalarını sağlamak olduğunu belirtti. Şirketin uygun iş yükleri arasında finansal hizmetlerde dolandırıcılık soruşturmalarını, hukuk ekipleri için ayrıcalıklı belge arama ve durum tespitini, hassas kamu sektörü bilgilerini, patent ve araştırma materyallerini, özel mühendislik ve arayüz tasarımı belgelerini ve özel kaynak kodunda arama ve analiz yapmayı saydı.

Beta sürümünde görev dağılımına göre Microsoft Azure, temel gizli hesaplama altyapısını sağlıyor; NVIDIA’nın gizli hesaplama teknolojisi bu korumayı H100 GPU’lara taşıyor; Cohere ise Model Vault aracılığıyla yönetilen model sunumu, şifreli bir istek yolu, uzaktan doğrulama ve müşterinin kendi tarafında doğrulama olanağı sunuyor. Şirkete göre müşteriler, Model Vault üzerinden şifreli kasalar kurup yönetebiliyor, bunları aynı Cohere API’leri üzerinden bağlayabiliyor ve vault.cohere.com adresinden kullanmaya başlayabiliyor.

Gizli Yürütme ve Şifreli İstek Yolu

Gizli hesaplama, model bilgileri etkin biçimde işlerken kullanılan verileri, yani kullanım hâlindeki verileri korumayı hedefler; bu, şifrelemenin geleneksel olarak kapsadığı depolanan ve aktarım hâlindeki verilerin ötesinde üçüncü bir durumdur. Model Vault’ta işletim sistemi, sürücüler ve çıkarım sunucusu dâhil model sunum yığını, gizli bir sanal makinenin içinde çalışır. Cohere’nin lansmana eşlik etmesi için yayımladığı teknik inceleme yazısına göre donanım destekli yalıtım, bu makinenin belleğini ana makine ortamından korurken politika, ortamı yalnızca onaylanmış yazılımlarla sınırlandırır ve operatörlerin çalışan iş yüküne etkileşimli erişimini engeller. NVIDIA’nın gizli hesaplama teknolojisi GPU belleğini korur ve CPU ile GPU arasındaki trafiği şifreler; böylece gizli sınır, yalnızca çıkarımı koordine eden CPU’da sona ermek yerine çıkarımı gerçekleştiren hızlandırıcıyı da kapsar.

İsteğin kendisi de ayrıca korunur. Model Vault, bir isteğin hassas içeriğini, doğrulanmış gizli ortama bağlı bir açık anahtarla şifrelemek için Oblivious HTTP’yi (OHTTP) kullanır. Şifreli ileti, aracı altyapıdan şifreli metin olarak geçer; eşleşen özel anahtarı yalnızca ortamın içindeki OHTTP ağ geçidi tutar ve yanıtlar da geri dönerken aynı korumadan yararlanır. Cohere, aracıların şifresi çözülmemiş yükleri görmeden trafiği yönlendirebilmesi sayesinde platformu işletme görevinin, müşterilerin platform üzerinden gönderdiği verileri okuma yetkisinden ayrıldığını söylüyor. Uygulamalar Model Vault API’sini ve alışıldık istek biçimlerini kullanmaya devam ediyor; koruma, yüklerin yeniden tasarlanmasını gerektirmek yerine istemci ve altyapı katmanlarında uygulanıyor.

Etkin Bir Denetim Olarak Uzaktan Doğrulama

Korunan bir istek gönderilmeden önce gizli ortam, donanımının, ürün yazılımının, çalışma ortamının ve uygulama yazılımının ölçümlerini ve güvenlikle ilgili özelliklerini içeren, kriptografik olarak imzalanmış kanıt üretir; müşterinin tarafındaki yazılım da bu kanıtı onaylanmış bir politikaya göre denetler. Kanıt, gerçekte hangi ortamın çalıştığını kaydeder; politika ise bu ortama veriler konusunda güvenilip güvenilmemesi gerektiğini belirler. Örneğin yazılım ölçümü değiştiğinde veya bir GPU beklenen gizli modda olmadığında, gerekli bir özellik eşleşmezse istemci doğrulamayı başarısız sayar, yükü göndermeyi reddeder ve istek müşterinin kendi ortamında kalır. Kanıt sık aralıklarla yenilenir; korunan istekleri göndermeye devam etmeden önce istemci, yeni ölçümleri ve güvenlik durumunu her seferinde onaylanmış politikaya göre yeniden denetler. Cohere, bunun doğrulamayı denetimler için tutulan bir kayıttan çıkarıp korunan verilerin paylaşılıp paylaşılmayacağına etkin biçimde karar veren bir denetime dönüştürdüğünü belirtiyor.

Cohere’nin lansman duyurusunda, Teknoloji Direktörü Phil Blunsom şunları söyledi: “Donanım doğrulaması sayesinde müşteriler, iş yüklerinin güvenli ve gizli bir hesaplama ortamında çalıştığına dair yalnızca kriptografik kanıta sahip olmakla kalmıyor, verilerinin Cohere dâhil yetkisiz erişime karşı korunduğunu da doğrulayabiliyor.” Microsoft’ta Azure Gizli Hesaplama ürününün başkanı Vikas Bhatia, Cohere ile yapılan çalışmanın gizli hesaplamanın yönetilen yapay zekânın kolaylığını bağımsız olarak doğrulanabilir teknik denetimlerle nasıl bir araya getirebileceğini gösterdiğini söyledi. NVIDIA’da kurumsal yazılımlardan sorumlu başkan yardımcısı John Fanelli ise GPU’larındaki NVIDIA gizli hesaplama teknolojisinin, Model Vault gibi platformların kurumsal iş yüklerine gizli yapay zekâ çıkarımı sunmasına yardımcı olan donanım destekli korumalar sağladığını belirtti.

Tehdit Modeli, Açıklanan Sınırlamalar ve Açık Kaynak Planları

Belirtilen tehdit modeli kapsamında sistem; istemleri, belgeleri ve yanıtları korur, ayrıca işleme sırasında modelin yürütülmesini güvence altına alır. Bulut sağlayıcısının, ana işletim sisteminin, hipervizörün, altyapı yöneticilerinin ve Cohere’in kendi operatörlerinin korunan iş yükü belleğini okuması engellenir. Güvenilir bilgi işlem tabanı; gizli bilgi işlem altyapısını sağlayan donanım ve ürün yazılımını, ortam içinde çalışan ölçümü alınmış yazılımı, onaylı yapılandırmayı tanımlayan referans ölçümleri ve kanıtları değerlendiren ve imzalayan tasdik altyapısını içermeye devam eder. Cohere, tasarımın güvenilmesi gereken unsurları ölçülebilir ve doğrulanabilir kanıtlar üreten açıkça tanımlanmış bir bileşen kümesine indirgediğini söylüyor.

Cohere, güvenlik sınırının neleri kapsamadığını da açıkça belirtiyor. Zamanlamadan veya paylaşılan donanımın diğer davranışlarından bilgi çıkarma gibi fiziksel saldırılar ve yan kanal saldırıları bu sınırın dışında kalıyor. Bir operatör, iş yükünü okuyamasa bile onu durdurabilir, geciktirebilir veya çalışmasını engelleyebilir; dolayısıyla tasarım kendi başına kullanılabilirlik garantisi sunmuyor. İstem enjeksiyonu, araçların güvenli olmayan biçimde kullanılması, yetkilendirme hataları ve diğer yazılım güvenlik açıkları gibi uygulama düzeyindeki riskler, yazılımın gizli bilgi işlem donanımının içine yerleştirilmesiyle giderilmiyor.

Gözlemlenebilir üstveriler de kapsam dışındaki unsurlardan biri: yük içerikleri şifrelenirken mesaj boyutu, istek zamanlaması, trafik hacmi ve yönlendirme ayrıntıları görünür kalıyor. Mevcut mimaride API kimlik bilgisi ve model tanımlayıcısı da OHTTP korumalı yükün dışında yer alıyor. Şirket, gizli bilgi işlemin uygulama güvenliğinin, veri yerleşimi mekanizmasının, uyumluluk veya sözleşmeye dayalı kontrollerin yerine geçmediğini ve model korunan ortamda hâlâ açık metin üzerinde çalıştığı için homomorfik şifreleme olmadığını belirtiyor.

Uygulama, açık kaynaklı Kata Containers ve Confidential Containers projelerini temel alıyor. Cohere, müşterilerin ve güvenlik araştırmacılarının kodu inceleyebilmesi, hangi politikaların uygulandığını görebilmesi ve doğrulama ölçümlerini bağımsız olarak yeniden üretebilmesi için gizli çıkarım yığınını açık kaynak olarak yayımlamayı planladığını söyledi. Beta sürümü şu anda Microsoft Azure üzerinde NVIDIA H100 GPU’larda çalışıyor. Cohere, genel kullanıma sunulma sürecinde NVIDIA Blackwell altyapısı (B200 GPU’lar dâhil) desteği üzerinde çalışıldığını söyledi.