Sandy Dunn, SPLX’deki CISO – Röportaj Serisi

Sandy Dunn, SPLX’deki CISO, 20 yılı aşkın süredir sağlık ve startup’larda deneyimi olan bir CISO danışmanıdır ve QuarkIQ aracılığıyla CISO danışmanlığı yapmaktadır. OWASP Top 10 için LLM Uygulamaları Siber Güvenlik ve Yönetim Kontrol Listesi’ni yönetiyor ve OWASP AI Exchange, OWASP Top 10 için LLM ve Bulut Güvenlik Birliği’ne katkıda bulunuyor. Boise Eyalet Üniversitesi’nde Siber Güvenlik Yardımcı Profesörü olarak görev yapmakta ve Boise Eyalet Üniversitesi Pervasız Siber Güvenlik Enstitüsü’nün sık sık konuşmacı, danışman ve yönetim kurulu üyesidir. Sandy, SANS’tan bilgi güvenliği yönetimi alanında yüksek lisans derecesine ve CISSP, multiple SANS GIAC kimlik bilgileri, Security+, ISTQB ve FAIR dahil olmak üzere birçok sertifikaya sahiptir.

SPLX bir siber güvenlik şirketidir ve otomatik kırmızı takım, çalışma zamanı koruması, yönetim, düzeltme, tehdit denetimi ve model güvenliği aracılığıyla AI sistemleri için uçtan uca koruma sağlar. Platformu, saatte binlerce düşman simülasyonu çalıştırarak güvenlik açıklarını tanımlar, sistem promt’larını dağıtımdan önce güçlendirir ve Agentic Radar adlı açık kaynaklı bir aracı içerir. Bu araç, çoklu ajan AI iş akışlarında riskleri haritalamak ve analiz etmek için kullanılır.

Siber güvenlik ve AI’ın kesişme noktasına ilk olarak ne sizi çekti ve bu yol sizi SPLX’deki rolünüze ve OWASP ile olan katılımınıza nasıl götürdü?

AI, ChatGPT’den yıllar önce siber güvenlik konuşmalarının bir parçası olmuştu, ancak çoğu zaman vaat edileni yerine getiremediği hissediyordu. Ancak ChatGPT lanç edildiğinde, etkileyici olanın yanı sıra, nasıl hızla silahlandırılabileceği ve gizlilik ihlalleri için kullanılabileceği konusunda da dehşete düştüm. O an bir ateşleyici oldu. LLM’ler hakkında her araştırma makalesini okumaya, her ilgili Slack ve Discord topluluğuna katılmaya ve kendi deneylerimi yapmaya başladım. OWASP Top 10 için LLM kanallarında bir süre gizlendim ve ilk liste yayınlandığında, bunun önemli bir kilometre taşı olduğunu hissettim. Ancak bir CISO olarak, güvenlik ekiplerinin daha fazla bilgiye ihtiyacı olduğunu düşündüm. İnsanlara endişe edecekleri şeyler hakkında söyledik, ancak ne yapacakları hakkında söylemedik. Steve Wilson’a, proje liderine, bir “LLM Güvenlik CISO Kontrol Listesi” oluşturma fikriyle yaklaştım ve bu, ilk OWASP GenAI alt projesi haline geldi ve birçok ek alt projeyi teşvik etti.

Bu çalışma aracılığıyla, SPLX’nin kurucuları Kristian Kamber ve Ante Gojsalic ile tanıştım ve ayrıca birçok AI güvenlik startup’ına danışmanlık yaptım. O sırada, bir B2B sohbet botu şirketinde CISO olarak, kapsamlı bir AI düşman test playbook’u oluşturuyordum. SPLX’nin demo sürümünü gördüğümde, onların benimle aynı sorunu çözdüklerini hemen fark ettim: AI düşman testini nasıl operasyonel hale getireceklerdi. SPLX bir CISO benötigteğinde, harika bir şirketin ve önemli zorlukları çözen muhteşem insanlarla birlikte olmak için bu fırsatı değerlendirdim.

SPLX’deki CISO olarak, özellikle ajantik AI ile ilgili olarak keşfettiğiniz en yeni saldırı teknikleri nelerdir?

GenAI sistem tasarımı nuansları nedeniyle, GenAI güvenlik açıklarını ve saldırılarını tamamen ortadan kaldırmak mümkün değildir. MINJA gibi Hafıza Zehirlenmesi saldırıları bunun yakın bir örneğidir. MINJA ile saldırganlar, tasarlanmış etkileşimler aracılığıyla bir ajanın bellek bankalarını gizlice bozabilir ve daha sonra zararlı veya yanlış rehberlik eden davranışlara yol açan zararlı “hatıralar” oluşturabilir. Bir başka örnek de Yankı Odası saldırısıdır. Burada bir saldırgan, bir ajanı tekrar edilen kötü niyetli bağlamla conversational döngüleri oluşturur. Araştırmacılar, güvenlik mekanizmalarını, zararlı talimatları birden fazla turda güçlendirerek atlatmayı başardı.

İndirect ve cross-modal prompt enjeksiyonu bir başka örnektir. Zararlı talimatlar, ajanların tüketebileceği dış içerik gibi resimlerde veya belgelerde gizlenebilir. Bu talimatlar, kullanıcı girdisi olmadan özerk kararları ele geçirebilir.

Sophisticated AI ajan ekosistem saldırıları, AI ajan dağıtımları için tüm tedarik zincirinin dikkatli bir şekilde incelenmesini gerektirir. Saldırganlar, ajan platformları için görünüşte meşru araçlar oluşturur, ancak bu araçların açıklamaları ve belgelerine zararlı talimatlar yerleştirirler. Ajanlar bu araçları yüklediğinde, bu talimatlar ajanın bağlamının bir parçası haline gelir ve yetkisiz eylemleri ermöglicht, chẳng hạn olarak veri sızdırma veya sistem tehlikeye sokma.

SPLX platformu, LLM’ye özgü tehditlere karşı organizasyonları nasıl korumaya yardımcı olur, örneğin prompt enjeksiyonu veya düşman hapishane saldırıları?

SPLX, AI sistemlerinin tüm AI yaşam döngüsü boyunca, geliştirme aşamasından dağıtıma ve gerçek zamanlı operasyona kadar, LLM güçlendirilmiş uygulamaları ve çoklu ajan sistemleri için uçtan uca güvenlik platformudur. AI Runtime Protection, bu tehditleri gerçek zamanlı olarak durdurmak için tasarlanmıştır ve sürekli olarak girdileri ve çıktıları izler ve filtreler. AI için gerçek zamanlı bir güvenlik duvarı gibi davranır ve AI’nin davranışsal sınırlarını sıkı bir şekilde uygular. SPLX’in dinamik algılama motoru, gerçek zamanlı olarak kötü niyetli aktiviteyi işaretler ve AI sistemlerinin güvenli bir şekilde yanıt vermesini ve amaçlanan sınırlar içinde kalmasını sağlar.

OWASP’nin güncellenmiş GenAI Güvenlik Top 10’u, sistem-prompt sızıntısı ve vektör-veritabanı güvenlik açıkları gibi ana riskleri genişletiyor. Bu yeni tehditler, düşman saldırısı manzarasının evrimini nasıl yansıtıyor?

2025 OWASP Top 10 güncellemeleri, LLM’ler ve üretken AI teknolojilerinin gerçek dünya senaryolarında nasıl kullanıldığının gelişen anlayışını yansıtıyor. LLM tehditlerinin ondan fazla olduğunu belirtmek önemlidir, ancak amaç, en önemli on tanesini belirlemektir. Büyük değişiklikler, LLM07 Güvenli Eklenti Tasarımı’nın Tedarik Zinciri’nde dahil edildiği ve LLM010 Model Çalma’nın Sınırsız Tüketim için 2025 listesinde yer aldığıdır, bu da şunları eklemeye opportunity sağladı:

1. Sistem-Prompt Sızıntısı, sistem prompt’larının ifşa edilmesinin, koruma önlemlerini, mantık akışlarını veya LLM prompt’larında gömülü olan sırları ortaya çıkarabileceği tehdidini tanımlar.

2. Vektör-Veritabanı Güvenlik Açıkları, RAG sistemlerinde, cross-tenant veri sızıntısı, gömme tersine çevirme veya zehirlenmiş belgeler gibi potansiyel güvenlik sorunlarını işaret eder.

3. Güncellemeler, AI odaklı saldırıların, crafted oportunistic prompt saldırılarından, tüm AI tedarik zincirini hedef alan sofistike saldırılara evrimleştiğini gösteriyor. Modern saldırılar, bir AI sisteminin tümüne stratejik düşünmeyi ve kalıcı, ölçeklenebilir ve sistemik etki odaklı saldırıları hedefliyor.

GenAI sistemlerinin güvenlik açıklarını ve saldırılarını tamamen ortadan kaldırmak mümkün değildir. Ajantik mimarilerin genişletilmiş kapsamı, bir başka kritik gelişmeyi tanır. AI sistemleri daha fazla özerklik ve karar alma yetenekleri kazandıkça, güvenlik ihlallerinin olası sonuçları üssel olarak artar. İnsan denetimini azaltmak, daha güçlü uygulamaları ermöglicht, ancak başarılı saldırıların etkisini de artırır.

Ajantik AI’yi bugün kullanan işletmelerde en çok gözden kaçan güvenlik açıkları hangileridir?

En çok gözden kaçan sorun, geleneksel yazılım ve sistem dağıtımlarında karşılaştığımız aynı zorluktur: en az ayrıcalık ilkesi. İnsan kullanıcıları ve hizmet hesapları için en az ayrıcalık ile masih mücadele ediyoruz ve şimdi organizasyonlar, Non-Human kimliklerinin (NIH) tam olarak anlaşılmadığını veya çözülmediğini görüyor. İnsanlar, geniş yetkilere sahip ajanları dağıtıyorlar. Bu, bir ajanın büyük miktarda veri sızdırmasına, finansal işlemleri başlatmasına veya diğer zararlı eylemlere neden olabilmesine yol açabilir.

Diğer thường gözden kaçan veya ihmal edilen sorun, ajanlar arasındaki “güven” ilişkisidir. Ajantik sistemlerde, ajanlar birbirleriyle iletişim kurmak ve işbirliği yapmak için tasarlanır. Bir saldırganın, bir ajanı meşru bir ajan olarak taklit etmesini sağlayan yeni bir saldırı sınıfı görüyoruz. Bu, mimari düzeyde bir Truva atı gibi.

İşletmeler, ajantik AI araçlarını üretim ortamlarında dağıtırken, güvenlik ekiplerinin hangi somut adımları atması gerekir?

1. Olay yanıt planları ile başlayın. En kötü gün nasıl görünür, sonra güvenlik kontrollerinin ve görünürlüğün yerinde olduğundan emin olmak için geriye doğru çalışın. Bir AI ihlali olduğunda, güvenlik operasyon merkezinizin bir oyun kitabına ihtiyacı vardır. Kimi haberdar edeceksiniz? Bir ajanı nasıl izole edeceksiniz? İyi bir duruma geri dönmek için prosedür nedir? Kriz öncesi bir planınız olmasının önemi büyüktür.

2. Saldırı yüzeyi envanteri ve tehdit değerlendirmesi. Güvenli olmadığınız şeyi bilemezsiniz. İlk adım, kullanılan tüm AI ajanlarının, araçların ve veri erişimlerinin tam bir envanterini oluşturmaktır. Hangi verilere erişiyor? Hangi izinleri var? Bir ajanın tehlikeye girmesi durumunda olası etki nedir? Yüksek etkiye ve en olası tehditlere öncelik verin. Sonra, risk iştahı hakkında yönetici ekibiyle samimi bir konuşma yapın. Hızlı AI faaliyetinin bir faydası, CISO’ların, risk görevlilerinin, hukuk ekiplerinin ve yönetici liderliğinin iş hedefleri, risk iştahı ve güvenlik bütçeleri hakkında gerçek bir konuşma yapmasıdır.

3. Güvenlik önlemlerini, en az ayrıcalık ilkesini ve izleme araçlarını uygulayın. Kapsam, herhangi bir ajan dağıtımı için önemlidir. Bir ajanın amacını, sınırlarını ve izinlerini tanımlayın. Bir ajanın tüm SharePoint kütüphanesine erişmesine izin vermeyin, sadece bir klasöre ihtiyacı varsa. Bir ajanın hangi API’leri çağırabileceğini ve hangi eylemleri gerçekleştirebileceğini sınırlayan kontroller uygulayın. Bunu, yeni, çok yetenekli, sarhoş bir stajyer olarak düşünün. Onun muhteşem yeteneklerine inanıyorsunuz, ancak ona güvenmezsiniz. Şirket içinde ne yapabileceğini sınırlardınız, önemli hiçbir şeye erişmesine izin vermezsiniz, ne yaptığını izlersiniz ve tuyệt vời bir şey yapmaya çalışırsa alarm sistemleri kurarsınız.

4. AI’ye özgü güvenlik yığınınızı geleneksel güvenlik yığınınızla birleştirin. Geleneksel güvenlik araçları, GenAI sistemleri veya ajantik sistemler için tasarlanmamıştır. AI’ye özgü sorunlara yönelik araçları uygulamanız gerekir, örneğin prompt doğrulama, çıktı sanitasyonu ve ajan davranışının sürekli izlenmesi. Bu araçlar, GenAI ve ajantik sistemlere özgü ince, anlamsal saldırıları tespit edebilmelidir.

5. AI kırmızı takımını CI/CD pipeline’a entegre edin. Değişikliklerin önemine ve organizasyonun risk iştahına bağlı olarak, ajanlarınızın güvenlik açıklarını sürekli olarak test etmeniz gerekir. Recent GPT-5 güncellemesi, ajantik iş akışlarına nasıl yıkıcı olabileceğinin bir örneğidir. Otomatik kırmızı takımınızı, geliştirme döngünüzün temel bir parçası haline getirin. Bu, güncelleme ve değiştirme sırasında sorunları tanımlamanıza yardımcı olur.

Organizasyonlar, otomatik kırmızı takımını, CIAM’ı, RAG yönetimini ve izlemeyi GenAI risk yönetim stratejilerine nasıl entegre edebilir?

Anahtar, bunları ayrı girişimler olarak değil, birbirini güçlendiren bir çerçeve olarak ele almaktır. GenAI risk yönetim stratejinizin, her bir bileşenin diğerini güçlendirdiği tutarlı bir çerçeve olması gerekir.

Otomatik kırmızı takımıyla başlayın. Tehdit manzarasının evrimleşmesi ile birlikte, sürekli adversarial testlere ihtiyacınız vardır. SPLX platformu, farklı risk kategorileri altında binlerce saldırı senaryosunu simüle eder ve prompt enjeksiyonu, hapishane kaçışları, bağlam manipülasyonu ve araç zehirlenmesi için test eder. Kritik nokta, bunu CI/CD pipeline’ınızın bir parçası haline getirmektir, böylece her ajan güncellemesi, dağıtımdan önce güvenlik açısından doğrulanır.

AI sistemleri için CIAM, geleneksel kimlik modellerini yeniden düşünmeyi gerektirir. AI ajanlarına, bağlam ve risk seviyelerine bağlı olarak dinamik olarak ayarlanabilen ince izinlere ihtiyacı vardır. Niteliklere dayalı erişim kontrolü uygulayın, yalnızca ajanın kimliğini değil, işlediği verileri, erişmek istediği araçları ve tehdit bağlamını da dikkate alın.

RAG yönetimi özellikle kritiktir. Vektör depolarına alınan tüm içerik için veri kökenini izleme uygulayın. Zararlı örnekleri veya belgelerde gömülü olan zararlı talimatları tespit edebilen içerik doğrulama hatlarına sahip olun.

İzleme için, hem teknik hem de davranışsal göstergeleri yakalayan telemetriye ihtiyacınız vardır. Teknik izleme, girdi/çıkış analizi, API çağrı kalıpları ve kaynak tüketimini içerir. Davranışsal izleme, karar kalitesi, görev tamamlama kalıpları ve olası bir tehlikeyi gösterebilecek etkileşim bağlamlarına odaklanır.

Entegrasyon önemlidir. Kırmızı takım sonuçları, CIAM politikalarını bilgilendirmelidir, izleme sistemleri RAG yönetim süreçlerine geri beslemelidir ve tüm bunlar, tüm bu alanlar boyunca sinyalleri korelasyonlayabilen merkezi bir entreprise risk yönetim platformu aracılığıyla koordine edilmelidir.

Siber güvenlik liderleri, AI ile ilgili ihlaller masih erken aşamada olsa da, önümüzdeki 12 ila 18 ay içinde hangi trendleri beklemelidir?

AI altyapısını hedef alan tedarik zinciri saldırılarında önemli bir artış bekliyorum. AI tedarik zinciri saldırıları, eğitim veri kümelerini zehirlemek, model depolarını tehlikeye atmak veya yazılıma zararlı kod enjekte etmek için kullanılır ve AI sistemlerine kalıcı erişim sağlar.

Özerk sosyal mühendislik already bir yükselişte, ancak tam özerklik yönündeki evrim beni en çok endişelendiriyor. AI ajanları, birden fazla platformda, her biri spesifik hedeflere ve bağlamlara göre uyarlanmış, tam özerk sosyal mühendislik kampanyalarını yönetebilir. Bu, geleneksel savunmalara hazır olmayan bir güç çarpanı etkisine yol açar.

AI yerli saldırıların yükselişini bekliyorum, bunlar makine hızında çalışır. Geleneksel güvenlik araçları ve insan analistleri, saniyeler içinde karmaşık, çok aşamalı sömürüleri gerçekleştirebilen bir saldırgana yetişemez.

GenAI risklerine yanıt olarak düzenleyici ve uyum çerçevelerinin evrimini nasıl öngörüyorsunuz?

Düzenleyici çerçevelerde, inovasyonu dengelemek ve hesap verebilirlik, şeffaflık, güvenli geliştirme uygulamaları ve tedarik zinciri güvenliğine odaklanmak için büyük bir değişim bekliyorum.

Veri kökeni ve bütünlüğü üzerinde bir odaklanma bekliyorum. Düzenleyici kurumlar, AI modellerini eğitmek ve güçlendirmek için kullanılan verilerin nereden geldiğini bilmek isteyecek. Verilerin temizlendiğini, hassas bilgileri içermediğini ve zehirlenmediğini görmek isteyecekler.

Son olarak, sektöre özgü düzenlemeleri göreceğimi düşünüyorum. Finansal bir kurumun işlemeleri için bir AI aracını kullanma riskleri, bir sağlık şirketinin teşhis için bir AI aracını kullanma risklerinden farklıdır.

Düzenleyiciler, kritik endüstriler için spesifik standartlar tanımlamaya başlayacaklar, örneğin otomatik kırmızı takım, insan denetimi ve AI sistemleri için katı denetim gerektirecekler. Bu sistemler, yaşam veya ölüm sonuçları doğurabilir.

Boise Eyalet Üniversitesi Pervasız Siber Güvenlik Enstitüsü’nde yardımcı profesör ve yönetim kurulu üyesi olarak, AI güvenlik profesyonellerinin bir sonraki neslini nasıl hazırlıyorsunuz ve bugün hızla değişen manzara için en kritik becerileri nasıl görüyorsunuz?

Eleştirel düşünme ve problem çözme, öğrencilerin siber güvenlikte harika bir kariyer için hala en önemli becerilerdir, ancak siber tehdit istihbarat ekiplerinde bulunan insan psikolojisi ve dilbilimi gibi beceriler, artık çeşitli siber güvenlik rollerinde faydalı olacaktır.

İnsan ve iletişim becerileri de önemlidir. Siber güvenlik, sadece IT sistemleri değil, bir işin iş hedeflerini karşılamasına yardımcı olmak ve teknik olmayan paydaşlara karmaşık teknik riskleri tercüme edip doğru kararlar almasına yardımcı olmaktır. Siber güvenliğin geleceği, teknik olarak yetenekli olmanın yanı sıra zemine bağlı ve yetenekli iletişim uzmanlarına bağlı olacaktır.

Son olarak, AI güvenlik manzarası o kadar hızlı evrimleşiyor ki, hızlı öğrenme ve uyum sağlama yeteneği kritik olacaktır.

Harika röportaj ve ayrıntılı bilgi için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular SPLX ziyaret edebilir.