Dr. Peter Garraghan, Mindgard’ın CEO’su, CTO’su ve Kurucu Ortağı – Röportaj Serisi

Dr. Peter Garraghan, Mindgard’ın CEO’su, CTO’su ve kurucu ortağıdır, Yapay Zeka Güvenlik Testi lideri. Lancaster Üniversitesi’nde kurulmuş ve son teknoloji araştırma ile desteklenen Mindgard, organizasyonların geleneksel uygulama güvenlik araçlarının çözemediği yeni tehditlere karşı Yapay Zeka sistemlerini güvence altına almasını sağlar. Lancaster Üniversitesi’nde Bilgisayar Bilimi Profesörü olarak Peter, uluslararası olarak tanınmış bir Yapay Zeka güvenliği uzmanıdır. Kariyerine, Yapay Zeka’ya karşı büyüyen tehditlere karşı mücadele etmek için gelişmiş teknolojiler geliştirmeye adadı. 11.6 milyon avro araştırma fonu ve 60’tan fazla yayınlanmış bilimsel makale ile katkıları hem bilimsel yenilik hem de pratik çözümler içermektedir

Mindgard’ın kurulma hikayesini paylaşabilir misiniz? Akademiden bir siber güvenlik şirketi kurmaya geçişinizi neler etkiledi?

Mindgard, akademik içgörülerin gerçek dünya etkisine dönüşmesinden doğdu. Bilgisayar sistemleri, Yapay Zeka güvenliği ve makine öğrenimi alanında uzmanlaşmış bir profesör olarak, insanların hayatlarında büyük ölçekli etki yaratan bilim peşinde koşmaya çalışıyorum. 2014’ten beri Yapay Zeka ve makine öğrenimi araştırmaktayım, toplumun dönüştürme potansiyelini ve ülke saldırılarından seçim müdahalesine kadar getireceği riskleri tanıyorum. Mevcut araçlar bu zorlukları çözmede yeterli değildi, bu nedenle bilim insanları ve mühendisler ile birlikte Yapay Zeka güvenliğinde yenilikçi yaklaşımlar geliştirdim. Mindgard, somut çözümler geliştirmeye odaklanan bir araştırma odaklı girişim olarak ortaya çıktı, son teknoloji araştırmayı endüstri uygulamasına bağlılık ile birleştirdi

Üniversiteden bir şirket çıkarmakla karşılaştığınız zorlukları ve bunları nasıl aştığınızı anlatır mısınız?

Resmi olarak Mayıs 2022’de Mindgard’ı kurduk ve Lancaster Üniversitesi büyük destek sağladı, ancak bir üniversiteden bir şirket çıkarmak sadece araştırma becerileri gerektirmez. Sermaye toplamak, değer önerisini iyileştirmek ve teknolojiyi demo için hazırlamak gerekiyordu, tüm bunlar profesör olarak görevime ekleniyordu. Akademisyenler araştırmacı olarak eğitilir ve yeni bilim peşinde koşarlar. Spin-out’lar sadece çığır açan teknolojiye değil, bu teknolojinin iş ihtiyaçlarını ne kadar iyi karşıladığına ve kullanıcıları ve müşterileri çekip tutmak için değer sağladığına göre başarılı olur

Mindgard’ın temel ürünü yıllarca süren AR-GE’nin sonucudur. Araştırmanın erken aşamalarının ticari bir çözüme nasıl dönüştüğünü anlatır mısınız?

Araştırmadan ticari bir çözüme geçiş bilinçli ve iteratif bir süreçti. Bir on yıl önce başladı, Lancaster Üniversitesi’ndeki ekibim ile Yapay Zeka ve makine öğrenimi güvenlikindeki temel zorlukları keşfettik. Geleneksel güvenlik araçlarının çözemediği AI sistemlerindeki zayıflıkları tespit ettik

Mindgard’ın 2022’deki kuruluşundan bu yana yolculuğundaki önemli kilometre taşları nelerdir?

Eylül 2023’te, Mindgard çözümünün geliştirilmesini hızlandırmak için IQ Capital ve Lakestar liderliğinde 3 milyon sterlin fon sağladık. Snyk, Veracode ve Twilio’dan gelen liderlerden oluşan harika bir ekibi kurduk ve şirketimizi bir sonraki aşamasına taşımak için çalışıyoruz. Bu yıl Infosecurity Europe’da İngiltere’nin En Yenilikçi Siber Güvenlik KOBİ’si olarak tanınmaktan gurur duyuyoruz. Şu anda 15 tam zamanlı çalışanın yanı sıra 10 PhD araştırmacımız (ve daha fazlası aktif olarak işe alınmakta) ve güvenlik analistleri ve mühendisleri ekibimize katılmak üzere aktif olarak işe alıyoruz. Önümüzdeki dönemde ABD’de varlığımızı genişletmeyi planlıyoruz ve Boston merkezli yatırımcıların yeni bir fon turu ile böyle bir büyümenin güçlü bir temeli olacak

Şirketler Yapay Zeka’yı artan şekilde benimsedikçe, karşılaştıkları en acil siber güvenlik tehditlerini nasıl görüyorsunuz?

Çok sayıda organizasyon, Yapay Zeka ile ilgili siber güvenlik risklerini küçümsüyor. Yapay Zeka’nın nasıl çalıştığını anlamak, hatta uzman teknisyenler için bile son derece zordur, daha da önemlisi işlerine yönelik güvenlik etkilerini anlamak. Yapay Zeka güvenliği konusundaki bilgilendirmeler için önemli zaman harcamaktayım, çünkü altyapı güvenliği ve veri koruması konularında uzmanlaşmış teknisyenler bile bu konularda yeterli bilgiye sahip olmayabiliyor. Sonunda, Yapay Zeka temelde yazılım ve veridir, ancak geleneksel sistemlerden farklı ve daha yüksek güvenlik riskleri içerir ve geleneksel yazılımlara göre daha zor test edilir

Microsoft’ (MSFT ) un AI içerik filtreleme sistemlerindeki zayıflıkları ortaya çıkardınız. Bu bulgular, platformunuzun geliştirilmesini nasıl etkiliyor?

Microsoft’un Azure AI İçerik Güvenliği Hizmeti’ndeki zayıflıklar, platformumuzun geliştirilmesini şekillendirmek yerine, yeteneklerini göstermek için daha çok bir fırsat sunuyor

Azure AI İçerik Güvenliği, AI uygulamalarını metin, resim ve video gibi içeriklerde zararlı içeriği moderasyon yoluyla korumak için tasarlanmış bir hizmettir. Ekibimiz tarafından keşfedilen zayıflıklar, AI metin moderasyonu (nefret söylemi, cinsel içerik gibi zararlı içeriği engeller) ve Prompt Shield (jailbreak ve prompt enjeksiyonunu önler) gibi özelliklerini etkilemiştir. Bu zayıflık, daha geniş saldırılar başlatmak, GenAI tabanlı sistemlere güveni zayıflatmak ve AI ile karar verme ve bilgi işleme için dayanan uygulamaların bütünlüğünü tehlikeye atmak için sömürülebilir

“Jailbreak” ve “prompt manipülasyonu” terimlerini AI sistemleri bağlamında açıklar mısınız ve neden benzersiz bir zorluk oluşturuyorlar?

Jailbreak, bir LLM’yi amaçlanan kullanımının dışında talimatları izlemeye zorlayan bir tür prompt enjeksiyon zayıflığıdır. LLM’ler tarafından işlenen girişler, uygulama tasarımcısı tarafından verilen talimatları ve güvenilmeyen kullanıcı girişini içerir, bu da kullanıcı girişinin talimatları geçersiz kılmasına izin veren saldırıları mümkün kılar. Bu, bir SQL enjeksiyon zayıflığının, güvenilmeyen kullanıcı girişinin bir veritabanı sorgusunu değiştirmesine benzer. Ancak bu riskler, LLM’nin kodu insan tarafından okunamayan bir sayı matrisi olduğu için yalnızca çalışma zamanında tespit edilebilir

Mindgard’ın platformu, LLM’ler ve çok modelli sistemler gibi farklı AI model türlerindeki zayıflıkları nasıl ele alıyor?

Platformumuz, AI’de geniş bir zayıflık yelpazesini ele alır, bunlar prompt enjeksiyonu, jailbreak, çıkarma (model çalmak), ters mühendislik (veri çıkarma), veri sızıntısı, kaçınma (tespitten kaçınma) ve daha fazlasını içerir. Tüm AI model türleri (LLM veya çok modelli) bu risklere karşı savunmasızdır, ancak hangi özel tekniklerin bu zayıflıkları tetikleyerek bir güvenlik sorununa yol açtığını keşfetmek önemlidir. Mindgard’da, kullanıcıların güncel kalabilmesi için yeni saldırı türlerini keşfetmeye ve platformumuza uygulamaya odaklanan büyük bir AR-GE ekibimiz var

AI sistemlerinin güvenliğini sağlamakta red teaming’in rolü nedir ve platformunuz bu alanda nasıl yenilikçi çözümler sunuyor?

Red teaming, AI güvenliği için kritik bir bileşendir. Sürekli olarak düşmanca saldırıları simüle ederek, AI sistemlerindeki zayıflıkları tespit eder ve organizasyonların riskleri azaltmasına ve AI benimsemesini hızlandırmasına yardımcı olur. Ancak AI’de red teaming standardizasyon eksikliği, tehdit değerlendirmesi ve düzeltme stratejilerinde tutarsızlıklara yol açar, bu da farklı sistemlerin güvenliğini nesnel olarak karşılaştırmasını ve tehditleri etkili bir şekilde izlemesini zorlaştırır

Ürününüzün, şirketlerin AI’yi geniş ölçekte benimsemesi için MLOps pipeline’ına nasıl entegre edildiğini görüyorsunuz?

Mindgard, mevcut CI/CD Otomasyonu ve tüm SDLC aşamalarına sorunsuz entegre edilmek üzere tasarlanmıştır, yalnızca model entegrasyonu için bir çıkarım veya API endpoint’i gerektirir. Şimdiki çözümümüz, AI Modelleri için Dinamik Uygulama Güvenlik Testi (DAST-AI) gerçekleştirir. Müşterilerimize, tüm AI sistemleri boyunca inşa ve satın alma yaşam döngüsünde sürekli güvenlik testi yapma imkanı sağlar. Şirketler için güvenlik ekipleri, geliştiricilerin AI kullanırken ve inşa ederken risklere hızlıca cevap verebilmesi, AI güvenlik duvarı ve WAF çözümlerini test etmesi ve AI modelleri arasında riskleri değerlendirmesi için kullanılır. Pentester’lar ve güvenlik analistleri, AI red teaming çabalarını ölçeklendirmek için Mindgard’ı kullanırken, geliştiriciler AI dağıtımlarının sürekli testinden yararlanıyor

Harika bir röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Mindgard‘ı ziyaret edebilirler.