Jonathan Mortensen, Confident Security’nin Kurucusu ve CEO’su – Röportaj Serisi

Jonathan Mortensen, Confident Security’nin Kurucusu ve CEO’su, şu anda endüstriyel güvenlik ve uyumluluk gereksinimlerinin katı olduğu sektörler için kanıtlanabilir özel AI sistemlerinin geliştirilmesini yürütüyor. Ayrıca, AI hesaplama, bellek, gizlilik ve mülkiyetin geleceğini araştırdığı South Park Commons’da Kurucu Ortak olarak görev yapıyor. Confident Security’yi kurmadan önce, Databricks’te Staff Software Engineer olarak çalıştı ve çok kiracılı güvenlik, IAM/ACL’ler, VPC izolasyonu, şifreleme ve veri mülkiyeti odaklı olarak bit.io teknolojisini veri platformuna entegre etti. Daha önce, çok bulutlu, çok bölgeli sunucusuz PostgreSQL hizmeti sunan bit.io’yu kurdu ve yönetti; bu hizmet, daha sonra Databricks tarafından satın alındı.

Confident Security, şirketlerin AI iş akışlarını duyarlı bilgileri açığa çıkarmadan çalıştırmasına olanak tanıyan altyapılar oluşturur. Platformu, promt’lar, veriler ve model çıktılarının tamamen özel kalması, hiçbir zaman günlüğe kaydedilmemesi ve hiçbir zaman yeniden kullanılmaması için tasarlanmıştır; böylece kuruluşlar, katı düzenleyici ve uyumluluk standartlarını karşılayarak AI’ı benimsemeye güvenli bir şekilde sahip olurlar.

2024’te bit.io’yu kurduktan ve Databricks’te çalıştıktan sonra Confident Security’yi kurdunuz. AI’nın temelde farklı bir gizlilik yaklaşımına ihtiyaç duyduğunu fark etmenize ne sebep oldu?

Veri altyapısı oluşturma deneyimim bana şunu öğretti: insanların duyarlı bilgileri bir sisteme girdiğinde, güven yetmez. Kanıt gerekir. Müşterilerin verilerini sahip olduğu bir altyapı oluşturduk ve onlara bunu doğrulamak için yollar verdik.

LLM’lerin nasıl kullanıldığını incelediğimde, bu kanıtın olmadığını gördüm. Çalışanlar, üçüncü taraf tarafından çalıştırılan modellere kaynak kodu, yasal belgeler ve hasta kayıtları gibi bilgileri yapıştırıyordu. already özel sohbetlerin kazara çevrimiçi olarak dizine eklenmesini ve sudden politika değişikliklerininuddenly sohbetlerin varsayılan olarak eğitim verisi olmasını gördük. Bu, mevcut gizlilik modelinin ne kadar kırılgan olduğunu gösterdi.

AI, dünyanın en duyarlı bilgilerini işleyecekse, bir satıcı’nın dahili vaatlerine bağlı olmayan garantilere ihtiyacımız var. Bu, beni Confident Security’yi başlatmaya iten şeydi.

OpenPCC, “AI için Sinyal” olarak tanımlanıyor. Bu gizlilik katmanının açık, doğrulanabilir ve işbirliğine açık olması neden önemliydi?

Uçtan uca şifreleme, herkesin benimseyebileceği bir standart haline gelene kadar popüler olmadı. AI gizliliği için aynı şeyi istiyoruz. Gerçek garantiler sadece birkaç şirket tarafından sunuluyorsa, gizlilik ölçeklenmeyecek.

OpenPCC, Apache 2.0 altında açık kaynaklıdır, böylece herkes üzerine inşa edebilir veya inceleyebilir. Gizli bir güven gereksinimi yoktur. Donanım doğrulaması, çalıştırılan şey ve nerede çalıştırıldığı hakkında kriptografik kanıt sağlar. Ve her yerde çalışmasını sağladık: herhangi bir bulut, herhangi bir model sağlayıcı, herhangi bir geliştirme yığını.

Evrensel ve tutarlı bir gizlilik tabanının değeri çok büyüktür. OpenPCC kullanıyorsanız, verilerinizi model sağlayıcılarına, düzenleyicilere veya hatta bize karşı görünmez olduğunu bilirsiniz. Bir standart, yalnızca tüm ekosistemin katılabilmesi durumunda çalışır, bu nedenle onu mümkün olduğunca kapsayıcı bir şekilde tasarladık.

Confident Security’yi kurmadan önce, çok kiracılı, şifreleme ve veri mülkiyeti için büyük ölçekli sistemler oluşturdunuz. Bu deneyimler, OpenPCC’nin mimarisini nasıl şekillendirdi?

Bu sistemler, iki gerçeği pekiştirdi: bir sistem veri tutabiliyorsa, sonunda bunu yapacak, bu ya günlükler, yanlış yapılandırmalar veya yasal talepler yoluyla olabilir. Ve güven, bir gizlilik modeli değildir. Kullanıcılar, görünürlük ve kontrol ihtiyacı duyar.

OpenPCC, durumsuz bir moda çalışır, böylece promt’lar işleme sonrasında kaybolur. Doğrulama, kullanıcıların verilerinin nereye gittiğini ve hangi kodun çalıştırıldığını doğrulamasına olanak tanır. Ve kontrolü veriden ayırarak, OpenPCC, özel girişlerin asla yürütülebilir komutlar olarak işlenmesini engeller.

Bu kısıtlamalar, şirketlerin beklediği şeydir: verilerin beklenmedik bir şekilde yeniden ortaya çıkmayacağına dair garantiler.

Çoğu “özel AI” çözümü, şeffaf olmayan sistemlere güvene dayanmaktadır. Bağımsız doğrulama, gerçek gizlilik için neden önemlidir?

Bugün kullanılan çoğu gizlilik dili, esasen “bize güvenin” demektir. Ulusal güvenlik ve düzenlenmiş sağlık verileri gibi yüksek riskler söz konusu olduğunda, bu yeterli değildir. Kullanıcı, iddiasını doğrulayamıyorsa, bu bir garanti değil, pazarlamadır.

Doğrulanabilir gizlilik farklıdır. Operatörün niyetine güvenmezsiniz. Donanımı, yazılım görüntüsünü ve veri işleme garantilerini doğrularsınız. Kriptografi, sınırları zorlar. Günlükler, jemand tarafından kazara sızdırılması veya mahkeme celbi için mevcut değildir.

Kullanıcı, gizliliği denetleyebiliyorsa, daha temelde güvenli bir sistem oluşturursunuz. Bu, matematiksel olarak köken alan bir hesaplamadır.

Google’ın “Özel AI” duyurusu, OpenPCC’den kısa bir süre sonra geldi. Bağımsız test için bir TPU sağlamak üzere onları kamuoyu önünde meydan okudunuz. Bu çağrının arkasındaki motivasyon neydi ve ne bulmayı beklersiniz?

Gizlilik garantileri iddia ediyorsanız, topluluğa bunları doğrulamasına izin vermelisiniz. NVIDIA, H100 GPU’larındaki harici doğrulamaya zaten izin veriyor ve benimsenmeyi teşvik etmek için onların doğrulama kitaplığının Go sürümünü açık kaynaklı olarak yayınladık.

Google, TPÜ’ler için benzer vaatlerde bulunmak istiyorsa, biz de bunları ölçebilir ve doğrulayabilmeliyiz, sadece bir blog gönderisinde okumak yerine. Biz de herhangi bir gizlilik sistemi için beklediğimiz kontrolleri ararız: katı veri tutma sınırları, denetlenebilir doğrulama ve günlüklerin veya telemetrinin kaçabileceği hiçbir gizli yol yoktur. Gizlilik iddiaları, incelemeye dayanabilmelidir.

Okuyucular mekaniklere aşina değilse, OpenPCC’nin tam şifreli kanallarının geleneksel istemci tarafı şifrelemesinden veya gizli hesaplama’dan farkı nedir?

İstemci tarafı şifrelemesi, verileri girerken korur ve gizli hesaplama, işlenirken korur, ancak operatörlerin veya saldırganların duyarlı bilgileri erişebileceği masih boşluklar vardır.

OpenPCC, bu boşlukları kapatır. İstemci ve model arasında, promt’u, yanıtı, kullanıcı kimliğini ve hatta metadata veya zaman sinyallerini koruyan bir mühürlü uçtan uca yol oluşturur. Operatörler hiçbir şeyi şifreleyemez. Hiçbir şey günlüğe kaydedilmez veya tutulmaz, hatta ihlal koşullarında bile.

Gizlilik, arka planda doğru şeyi yapmayı ummak yerine kriptografik olarak zorlanmalıdır.

Doğrulanabilir gizlilik, finans, sağlık ve savunma gibi düzenlenmiş endüstriler için denklemini nasıl değiştirir?

Düzenlenmiş endüstriler, AI’dan en çok kazanacak olanlardır, ancak aynı zamanda bir şey sızarsa en çok kaybedeceklerdir. Bugün, çalışanların %78’i dahili verileri AI araçlarına yapıştırıyor ve her beş vakadan birinde, PHI veya PCI gibi düzenlenmiş bilgiler gibi şeyler içeriyor. Maruz kalma zaten gerçekleşiyor.

Doğrulanabilir gizlilik, en büyük engeli kaldırır. Duyarlı promt’lar, model sağlayıcının ortamında açık metin olarak asla var olmaz. Hiçbir şey eğitim için kullanılamaz. Yasal talepler, sistem kendisi göremeyecek şeyi erişemez.

Risk ve uyumluluk ekipleri nihayet, “evet” in varsayılan olarak değil, “hayır” olarak değil, bir yoluna sahiptir.

Herhangi bir empresa yığını boyunca çalışan bulut-agnostik bir gizlilik katmanını tasarlamak için en büyük mühendislik zorlukları nelerdi?

Gizli hesaplama ve uzak doğrulama hala bebeklik döneminde, bana göre. Her bir bulut sağlayıcısı ve çıplak metal sağlayıcısı biraz farklı bir şey yapıyor. Bazı sağlayıcılar, AWS gibi, bunu yapmak için gerekli donanımı bile sahip değil. Eklediğimiz her bir özellik, binlerce kesik ve bir ip üstünde yürümeye benzer. Ancak bütün nokta, herkesin bulutu için çalışmasını sağlamak, açık kaynaklı olması gerekiyor, bu nedenle bunu herkesin bulutu için çalışacak şekilde yapmalıyız! Desteklenen daha fazla platform ve yapılandırma eklemeye teşvik ediyorum!

Varsayılan doğrulanabilir şifrelemenin olduğu bir dünya nasıl görünür ve bu, şirketler, bulut sağlayıcıları ve model sağlayıcıları arasındaki güç dengesini nasıl yeniden şekillendirebilir?

Şirketler, en değerli varlıklarını – verilerini – kontrol altında tutarlar. Model sağlayıcılar, performans ve maliyet yerine en çok özel bilgiyi biriktirebilenler üzerine rekabet ederler. Bulutlar, gizliliği gözlemlerler yerine etkinleştirir.

Bu, daha sağlıklı bir güç dengesidir. Ve tüm ekosistem, güvenlik temelde inşa edildiğinde kazanıyor.

AI’ın evrenselleştiği ve ağır bir şekilde düzenlendiği bir gelecekte, doğrulanabilir gizlilik, şirketler, bulut sağlayıcıları ve model geliştiricileri için rekabet ortamını nasıl yeniden şekillendirebilir?

Düzenleyiciler, kullanıcı verilerinin nasıl depolandığını ve kullanıldığını sorgulamaya başladılar. Güvene dayalı gizlilik, uzun süre yeterli olmayacak. Kullanıcılar, bugün mesaj uygulamalarında şifrelemeyi bekledikleri gibi gizlilik garantilerini bekleyecekler.

Kazananlar, kullanıcıların fedakarlık talep etmediği şirketler olacak. Gerçekten gizlilik kanıtlarsanız, dünyanın en değerli verilerine sahip organizasyonların güvenini kazanırsınız. Veriler, kilidinin açıldığı yerlerde kullanılabilir hale gelir.

Harika bir röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Confident Security‘yi ziyaret edebilirler.