Vijil’in Kurucu Ortağı ve CEO’su Vin Sharma – Röportaj Dizisi

Vin Sharma, siber güvenlik, açık kaynak, bulut bilişim ve yapay zekâ altyapısı alanlarında 30 yılı aşkın deneyime sahip Vijil’in Kurucu Ortağı ve CEO’sudur. Şirketi kurmadan önce AWS’de Amazon SageMaker ve Amazon Bedrock için derin öğrenme mühendisliği çalışmalarına liderlik etti, Intel’de veri merkezi altyapısı geliştirdi ve Hewlett-Packard’da ürün ve mühendislik alanlarında çeşitli görevlerde bulundu. Kariyerine, güvenilir UNIX sistemlerine yönelik otomatik kırmızı takım testleriyle başladı. Bu birikim, kurumsal yapay zekâ ajanlarını güvenilir, emniyetli ve korunaklı hâle getirmeye odaklanmasına yön veriyor.

Vijil, kurumsal yapay zekâ ajanları için güven altyapısı sunarak kuruluşların ajanların yaşam döngüsü boyunca davranışlarını değerlendirmesine, denetimleri uygulamasına ve dayanıklılığı artırmasına yardımcı oluyor. Yaklaşımı; ajan davranışlarını kuruluşun amaçları ve politikalarıyla uyumlu hâle getirmek için testleri, güvenliği ve sürekli geri bildirimi bir araya getiriyor. Sharma bu röportajda güvenin nasıl tanımlanıp ölçülebileceğini, ajan testlerinin geleneksel yazılım güvenliğinden neden farklı olduğunu ve ajanlar özerklik kazandıkça kuruluşların hangi gözetim mekanizmalarına ihtiyaç duyduğunu ele alıyor.

Vijil’i kurmadan önce AWS, Intel ve Hewlett-Packard gibi şirketlerde 30 yılı aşkın süre çalıştınız. Yapay zekâda güven ve güvenliğin, üzerine bir şirket kurmaya değecek kadar büyük ve çözüme kavuşmamış bir sorun olduğuna sizi sonunda ne ikna etti?

30 yıl önce bir güvenlik girişiminde çalışmaya başlamadan önce lisansüstü eğitimimde yapay zekâ ve makine öğrenimi üzerine çalışıyordum. O zamandan beri Unix ve Linux tabanlı işletim sistemlerine askerî düzeyde güvenlik kazandıran ürün ekiplerinde; çevrim içi bankacılık için güvenli web sunucuları, bulut bilişim için güvenilir yürütme ortamları ve veri analitiği platformlarına şifreleme geliştiren ekiplerde çalıştım. Son olarak AWS’de kurumsal kullanıma hazır yapay zekâ/makine öğrenimi hizmetleri geliştirmeye dönerek başladığım noktaya geri geldim. Bu yolculuk, zekâya sahip bir sistemin kendisini geliştirmektense o sisteme güven kazandırmanın daha zor olduğu sonucuna varmamı sağladı. Yapay zekâ sektörü genel olarak ajanların yeteneklerini artırmaya odaklanmış görünse de ajanların içine ölçeklenebilir gözetim ve denetim mekanizmaları yerleştirmek için de aynı miktarda kaynak ayırmamız gerektiğine inanıyorum. Kuruluşların ihtiyaçlarına özel bu ölçütler ve mekanizmalar olmadan, ilk coşkulu benimseme dalgası risk ve yatırım getirisi sığlıklarında sönecek; çünkü işletmeler ajanlarının kendi çıkarlarına uygun çalıştığını kanıtlayamayacak.

Vijil, birçok yapay zekâ ajanının kurumsal şirketler güvenilirliğini, güvenliğini ve emniyetini yeterince doğrulayamadığı için üretim ortamlarına ulaşamadığı fikri üzerine kurulu. Şirketler yapay zekâ prototiplerinden üretim dağıtımlarına geçerken güven konusundaki en büyük açıklar nerelerde ortaya çıkıyor?

Daha fazla ajanın giderek artan özerklikle devreye alınmasının önündeki engel, kuruluşların ajanlarından beklenen davranışı tanımlayıp ajanların bu beklentiye uygun hareket ettiğini doğrulayıp doğrulayamayacağıdır. Üstelik bunu, ajanların çalışma ölçeğine ve hızına yetişecek biçimde yapabilmeleri gerekir. Ajanların diğer ajanların davranışlarını ölçüp değiştirmesini sağlayacak bir yönteme ihtiyaç duymamız da bu nedenle mantıklıdır. En büyük iki açık, neyin ölçüleceğini (ajanlar söz konusu olduğunda başarının ne anlama geldiğini) ve neyin değiştirileceğini (yetkilendiren tarafın amaçladığı davranışı ortaya çıkarmak için ajan sisteminin hangi bileşenlerinin ayarlanacağını) bilmektir. Ayarlanabilecek bileşenler model ve parametreleri, sistem istemi, kullanıcı talimatları, ajan altyapısı veya çoklu ajan sistemlerinin grafiği olabilir.

Vijil, bir yapay zekâ ajanında “güven” kavramını nasıl tanımlıyor ve ölçüyor? Bir ajanın kurumsal bir ortamda çalışmaya hazır olup olmadığını belirlerken hangi sinyaller veya ölçütler en çok önem taşıyor?

Güveni, özerk bir ajana görev devretmenin beklenen faydasının, ajanın niyetimize ihanet etme riskine göre iskonto edilmiş hâli olarak tanımlıyoruz. Buna göre bir ajana; olağan, gürültülü ve düşmanca koşullarda doğru davrandığında, hata yaptığında da zararın yayılmasını en aza indirdiğinde güvenilebilir. Güveni daha sonra üç temel boyutta ölçebiliriz: güvenilirlik, güvenlik ve emniyet. Ajanlar çeşitli koşullarda beklendiği gibi çalıştıklarında güvenilir; düşmanca koşullarda beklendiği gibi çalıştıklarında güvenli; ticari, hukuki ve teknik riskleri en aza indirebildiklerinde ise emniyetlidir.

Yapay zekâ ajanları modelleri, araçları, veri kaynaklarını, belleği ve harici sistemleri bir araya getirdikleri için öngörülemez davranabilir. Bir ajanın test edilmesi, geleneksel uygulama güvenliği testlerinden veya alışılmış model değerlendirmelerinden nasıl farklıdır?

Geleneksel yazılımlar artık iyi anladığımız biçimlerde hata verir. Genel olarak bunlar; hatalı biçimlendirilmiş girdileri işleyememeyi, mantık ve sistem tasarımındaki zayıflıkları, uygulama hatalarını, saldırılara açık gizli güvenlik açıklarını ve çıktıların istenmeyen yan etkilerini kapsar. Bu tür hatalara yönelik testlerin sonuçları da doğal olarak öngörülebilirdir. Ajanlar ise hata yüzeyini büyük ölçüde genişletir. Öyle ki bu yüzey, model değerlendirmeleri, birim testleri, entegrasyon testleri, uygulama güvenliği testleri, sızma testleri ve uyumluluk denetimleriyle bütünüyle incelenemeyecek ölçüde büyüktür. Ajanların oluşturduğu yeni risk yüzeyini test etmek için, ajanın davranışını yetkilendiren tarafın belirlediği amaca, kullanıcılarının kişilik profillerine ve faaliyet gösterdiği kuruluşun, sektörün ve bölgenin politikalarına göre değerlendiren yeni ölçütlere ve mekanizmalara ihtiyacımız var.

Geçmişinizde Amazon SageMaker ve Amazon Bedrock için derin öğrenme mühendisliği çalışmalarına liderlik etmek var. AWS’de yapay zekâ altyapısı geliştirirken edindiğiniz hangi dersler, Vijil’de ajan güvenliği ve güvenilirliği konusundaki yaklaşımınızı en çok etkiledi?

En belirleyici içgörü, hizmetlerin güvenilirliği, güvenliği ve mevzuata uygunluğuyla ilgili sorunları geliştirme döngüsünün başlarında saptamanın, geleneksel yaklaşım olan lansman arifesine kadar beklemekten çok daha etkili ve verimli olduğuydu. Daha da kötüsü, sorunları hizmet kullanıma girdikten sonra bulmak, arızalanan bir hizmetle ilgili telefon çağrılarıyla uyanmak anlamına geliyordu.

Vijil, yalnızca ajanları kullanıma sunulmadan önce test etmeye değil, aynı zamanda üretim ortamında koruyup sürekli iyileştirmeye de odaklanıyor. Bir ajan gerçek kullanıcılarla, verilerle ve kurumsal sistemlerle etkileşime girmeye başladığında ancak o zaman görünür hâle gelen risk türleri nelerdir?

Gerçek dünya bizi şaşırtmakta sınırsız bir kapasiteye sahip. Şaşıran bir ajanın hata yapma olasılığı da yüksektir. Bir mem oluştururken hata yapan bir ajan kimseyi endişelendirmez. Ancak bir mali danışmana, hukuk asistanına, avukata, hemşireye, doktora, hastaya ya da güvene dayalı yükümlülüklerini yerine getirdiğini kanıtlaması gereken herhangi bir sektördeki profesyonele yardımcı olmak veya onun yerini almak üzere tasarlanmış bir ajan, ancak tolerans düzeyleri kesin sınırlarla belirlenir, dikkatle izlenir ve ajanın davranışı hızla eski hâline getirilirse işlev görebilir.

İşletmeler yalnızca yanıt üretmekle kalmayıp eyleme de geçebilen, giderek daha otonom ajanları devreye alırken güvenlik modelinin nasıl gelişmesi gerekiyor? İzinler, kimlik ve erişim denetimi gibi geleneksel kavramlar yeterli mi?

Hayır. Ajanlar bir kuruluşta eyleme geçen aktörlere dönüştükçe, doğrulanabilir benzersiz kimlikler edinmeleri ve hem davranışlarını hem de işlevsel bileşenlerini (kaynaklara erişim izinleri olan araçları) bağlayıcı erişim denetimi politikalarıyla sınırlandıran roller üstlenmeleri gerekir. Amaçlanan kullanım doğrultusundan sapıp sapmadıkları sürekli izlenmeli ve saldırılar karşısında dirençli kalmaları için yönlendirilmeleri gerekir.

Vijil, 6 milyon dolarlık tohum yatırım turundan 17 milyon dolarlık A Serisi yatırım turuna ilerlerken yaklaşık 20 kişilik kurucu ekibini oluşturdu ve yıllık yinelenen gelirinde ilk 1 milyon dolara ulaştı. İlk teknik fikirden ticari benimsenmeye geçmenizi sağlayan en önemli kararlar nelerdi?

Başlangıçta, müşterinin tercih ettiği platformla bütünleşen bir güven katmanı geliştirmeyi seçtik. Bununla birlikte, açık modeller kullanan çok ajanlı sistemlerde işletmelerin giderek daha fazla özelleştirme, daha ayrıntılı denetim ve daha düşük maliyet arayacağını öngördük. Tek bir ürüne odaklanmak yerine bir platform katmanı geliştirmeye dayanan uzun vadeli stratejimiz bize karşılaştırmalı üstünlükler sağlıyor. Ancak bu yaklaşım, ajanları büyük ölçekte yönetişim altında yönetmeye hazır işletmelerle eşleşmeyi, mevcut hizmeti olduğu gibi taşıyarak sunmak kadar kolay olmayan zorlu koşullar da yaratıyor.

Kariyerinizin başlarında, 1995’te, güvenilir UNIX sistemleri için otomatik kırmızı takım testleri geliştirdiniz. Yaklaşık otuz yıl sonra, test edilen sistem akıl yürütebilen, uyum sağlayabilen ve harici araçlar kullanabilen bir yapay zekâ ajanı olduğunda kırmızı takım çalışmalarının ilkeleri nasıl değişti?

Tarihsel olarak kırmızı takım çalışmaları, bir kuruluşun savunmasını eşgüdümlü bir saldırıya karşı sınamak anlamına geliyordu. Genel ilkeler hâlâ geçerliliğini koruyor. Test edilen kuruluşun zayıf noktalarını ortaya çıkarmak için kontrollü koşullarda saldırıları yine eşgüdüm içinde yürütmemiz gerekiyor. Ancak kırmızı takım çalışmalarının yazılım sistemlerini sınamak üzere önceden senaryolaştırıldığı ara dönemden kalma yöntemler artık yeterli değil; çünkü yapay zekâ ajanları deterministik yazılımlar gibi çalışmıyor. Ortamlarına uyum sağlayacak şekilde tasarlanıyorlar; bu nedenle aynı saldırı öngörülebilir biçimde tekrarlanamıyor. Ajanlara şirketler gibi yaklaşılması gerektiğini savunuyorum. Bu durumda ajanlara yönelik kırmızı takım testleri, ajanın amacına uyum sağlamayı, kullanıcılarının niyetinden sapıp sapmadığını araştırmayı ve içinde bulunduğu ortamın politikalarından kaçınma isteğiyle kapasitesini sınamayı zorunlu olarak içermelidir.

İleriye baktığınızda, yapay zekâ ajanlarının bağımsız testlerden geçirilmesini ve ölçülebilir güven standartlarını karşılamasını kurumsal kullanıma geçişin ön koşulu hâline gelir mi? Bu güvence düzeyinin standart uygulamaya dönüşmesi için sektör genelinde nelerin yapılması gerekiyor?

Bugün geliştiriciler ajanları yetenekleri açısından değerlendiriyor, kırmızı takımlar onları istem enjeksiyonlarına ve jailbreak saldırılarına karşı dayanıklılık bakımından sınıyor, GRC ekipleri ise mevzuata uygunluklarını test etmeye daha yeni başlıyor. Çok az kuruluş, modeller, araçlar, kaynaklar, iş akışları ve hedef ortam değiştikçe ajanın tüm yaşam döngüsü boyunca arka planda sürekli çalışan bir davranış doğrulama düzeni kuruyor. Daha da önemlisi Vijil, ajanın üretim ortamındaki gerçek davranışını teknik özelliklerine kadar izleyerek ve ajanı sürekli iyileştiren bir geri bildirim döngüsü oluşturarak işletmelere özgün biçimde destek oluyor. Saldırılardan sağ çıkan ajanlar, dirençli kalmak için uyum sağlayanlardır.

Harika röportaj için teşekkürler. Kurumsal yapay zekâ ajanlarını test etme, koruma ve sürekli iyileştirme hakkında daha fazla bilgi edinmek isteyen okuyucular Vijil’i ziyaret edebilir.