Simon Edwards, SE Labs CEO ve Kurucusu – Röportaj Serisi

Simon Edwards, SE Labs CEO ve Kurucusu, güvenlik araştırması, ürün değerlendirmesi, teknik gazetecilik ve sektör standartları alanlarında üçten fazla yıllık deneyime sahip bir siber güvenlik test uzmanıdır. 2015 yılında SE Labs’i kurmadan önce Edwards, Dennis Technology Labs’ı yönetti ve güvenlik test girişimlerini liderlik etti; ayrıca uzun yıllar teknoloji gazetecisi ve editör olarak çalıştı. Anti-Malware Testing Standards Organization (AMTSO) içinde Başkan, Direktör ve Ortak Başkan gibi üst düzey liderlik pozisyonlarında da bulundu. Edwards, 1990’ların ortalarından beri güvenlik ürünlerini test ediyor ve güvenlik teknolojilerinin izole malware örnekleri yerine tam, internet üzerinden gelen saldırılara karşı nasıl performans gösterdiğini değerlendiren erken gerçek dünya anti‑malware test yaklaşımlarının öncüsü oldu.

SE Labs, gerçekçi saldırılara karşı güvenlik teknolojilerinin performansını değerlendiren bağımsız bir siber güvenlik test ve danışmanlık şirketidir. Araştırmacıları, uç nokta koruması, Endpoint Detection and Response (EDR), bulut güvenlik hizmetleri, güvenlik duvarları, e-posta güvenliği ve ağ tespit teknolojileri dahil olmak üzere ürünleri değerlendirmek için saldırgan tekniklerini tam saldırı zinciri boyunca taklit eder. Kamuya açık karşılaştırmalı testlerin yanı sıra SE Labs, kuruluşlar ve siber güvenlik satıcıları için sertifikasyon, ileri düzey güvenlik testi, ürün doğrulama ve danışmanlık hizmetleri sunar. Şirket, test metodolojilerini ve tehdit taklit çerçevelerini yayımlar ve BT güvenlik ürün testi sağlama konusunda ISO/IEC 27001:2022 ve BS EN ISO 9001:2015 sertifikalarına sahiptir.

Kariyeriniz, teknoloji gazeteciliği, güvenlik danışmanlığı, bağımsız test ve Anti-Malware Testing Standards Organization (AMTSO) içindeki liderlik rollerinde üçten fazla yılı kapsıyor. Bu deneyim, AI destekli siber güvenlikte gerçek ilerlemeleri, pazarlama amaçlı “AI” olarak konumlandırılan teknolojilerden nasıl ayırmanıza şekil verdi?

Gazetecilik, iddiaları sorgulamayı bana öğretti, bağımsız test ise tek güvenilir yanıtın kanıttan geldiğini gösterdi. Siber güvenlik şirketleri uzun yıllardır makine öğrenimi ve otomatik karar verme kullanıyor, bu yüzden bir ürün adına “AI” eklemek mutlaka teknik bir ilerlemeyi temsil etmiyor.

Değerlendirilecek üç temel nokta: AI aslında ne yapıyor? Hangi ölçülebilir güvenlik sonucunu iyileştiriyor? Ve bağımsız bir testçi bu iyileşmeyi yeniden üretebilir mi?

Eğer cevap, ürünün büyük miktarda veriyi analiz ettiği ya da mevcut bir süreci otomatikleştirdiği yönündeyse, AI etiketi yetenekten çok konumlandırma ile ilgili olabilir.

Gerçek bir ilerleme, tanıdık olmayan ya da yepyeni saldırılara karşı iyi performans gösterir, koruma ya da yanıtı iyileştirir, analistlerin üzerindeki yükü azaltır ve bunu kabul edilemez riskler getirmeden yapar. Başka her şey ya bir iyileşme değildir ya da bir gerilemedir!

“AI destekli” ifadesi, siber güvenlik ürünlerinde yaygın bir iddia haline geldi. Bir kuruluşun, AI destekli bir güvenlik platformunun satıcının vaat ettiği şeyi gerçekten sağladığını kabul etmeden önce bağımsız olarak test edilmesi gereken en önemli yetenekler nelerdir?

Bir ürünün AI içerip içermediğini test ederek başlamazdım. Öncelikle ürün için yapılan güvenlik iddialarını test ederim. Bir ürünün nasıl çalıştığı benim için pek önemli değil, sadece çalışması yeterli. Bu, şu anda sektörde büyük ilgi gören PIVOT test programının tam amacıdır.

Bu şekilde test etmek, ürünü tam saldırılara maruz bırakmak ve nasıl yanıt verdiğini ölçmek anlamına gelir. Muhtemelen etkinliği algılamalı ve ardından saldırının ilerlemesini önlemeye devam etmelidir. Bu, ürünün nasıl inşa edildiği ve yapılandırıldığına, ayrıca satıcının yaptığı pazarlama iddialarına bağlıdır.

Ayrıca müşteriye sunulan araştırma hikayesini de incelememiz gerekir. Sistem ne olduğunu anladı mı, ilgili olayları bağladı mı ve kanıtı harekete geçmesi gereken kişiye görünür kıldı mı?

Test, tanıdık olmayan varyasyonları, gerçekçi müşteri yapılandırmalarını ve normal iş faaliyetlerini içermelidir. Ayrıca yanlış pozitifleri, kaynak taleplerini ve potansiyel olarak güvensiz kabul edilebilecek eylemleri ölçmelidir. Sistem otonom ise, ne zaman harekete geçtiğini, neden harekete geçtiğini, hangi izinleri kullandığını ve kararlarının geri alınabilir olup olmadığını bilmemiz gerekir.

Haberlerde, AI güvenliğinin kontrolden çıkıp sınırlarını ve hatta yasaları aşmasıyla ilgili birkaç hikaye gördük. Önemli soru, platformun zeki görünüp görünmediği değil; tutarlı bir şekilde daha iyi ve daha güvenli güvenlik sonuçları üretip üretmediğidir.

Otonom AI ajanları, keşif, sömürme, yan hareket ve saldırının diğer aşamalarını bir insan saldırgana göre çok daha hızlı gerçekleştirebilir. Saldırılar makine hızında çalışmaya başladığında siber güvenlik testlerinin nasıl değişmesi gerekir?

Test birimi, bireysel tekniğinden zaman baskısı altında çalışan tam kampanyaya geçmelidir. Yani, bir sabah ya da bir hafta boyunca farklı saldırı yöntemlerini denemek yerine, belirli güvenlik önlemlerinin test edilmesi hızlı bir şekilde yapılmalıdır. Aksi takdirde gerçekçi olmaz ve gerçekçilik çok önemlidir.

Geleneksel testler, her bir olayın ayrı ayrı incelenebilmesi için aşamalar arasında uygun boşluklar bırakabilir. Otonom bir saldırgan, keşif, istismar ve yan hareketi çok daha kısa bir sürede sıkıştırabilir. Bu, yavaş testlerde görülmeyen zayıflıkları ortaya çıkarabilir; örneğin telemetri gecikmeleri, aşırı yüklü sistemler ve saldırı amacına ulaştıktan sonra gelen savunma eylemleri.

Size çok basit bir örnek vermek gerekirse, bir Mac’e sızıp tüm dosyalarını indirip hesap şifrelerini çaldığımızda, antivirüs bir gün sonra kötü haberi gösterirse pek bir faydası olmaz.

Bu nedenle AI saldırganlarına karşı güvenlik yanıtlarını test etmek, yüksek çözünürlüklü enstrümantasyon ve algılama ile yanıt gecikmesinin hassas ölçümünü gerektirir. Aktivite hacmi ve hızı arttıkça performansın bozulup bozulmadığını ve savunmanın her aşamada insan kararı beklemeden bir saldırıyı kesip kesemediğini incelemelidir.

Saldırı, keşfettiklerine göre uyum sağlayabilir. Testler, gerçek durumu, kanıtları ve tekrarlanabilirliği korurken bunu yansıtmalıdır. Makine hızı, kontrollü metodolojiden vazgeçmek anlamına gelmemelidir. Değerlendirilen sistemlerin hızıyla aynı hızda çalışıp olayları ölçebilen kontrollü testler tasarlamaya devam etmeliyiz.

SE Labs, Scattered Spider gibi tehdit gruplarının taktik ve tekniklerine dayalı gerçekçi saldırı senaryoları kullanır. Bu düşmanları kontrollü bir ortamda nasıl yeniden oluşturuyorsunuz ve testin, önceden tanımlı bir kontrol listesine karşı test etmek yerine gerçek bir saldırının nasıl ilerleyeceğini yansıtmasını nasıl sağlıyorsunuz?

Tekniklerini bir alışveriş listesi gibi ele almak yerine, düşmanın hedefleri, bilinen davranışları ve muhtemel karar süreçleriyle başlarız.

Test, keşif, ilk erişim, yürütme, yetki yükseltme, saldırı sonrası faaliyet ve yan hareket aşamalarını içeren gerçekçi bir saldırı zincirini izler. Önemli olan, test yapan kişinin yalnızca keşif ve saldırı sırasında gerçekten elde edilen bilgileri kullanabilmesidir. Saldırana, gerçek bir etkileşimde bulunamayacağı bilgiler vermeziz.

Sahne sınırlı ve titizlikle kontrol edilir, ancak sadece önceden belirlenmiş bir dizi tuşa basmak değildir. Bir yol engellendiğinde, saldırgan test kuralları çerçevesinde inandırıcı bir alternatif izleyebilir. Bu, güvenlik ürününün senaryonun nasıl ilerleyeceğini etkilemesine olanak tanır.

Aynı zamanda, her önemli eylem ve sonuç kaydedilir, böylece sonucu açıklayabilir ve ürünleri adil bir şekilde karşılaştırabiliriz. Kontrollü olmak, katı bir senaryoya bağlı olmak anlamına gelmez. Güvenli, gözlemlenebilir ve kanıtlarla desteklenmiş olmalıdır.

Siber güvenlik ürünleri geleneksel olarak tehditleri algılayabilme yetenekleri üzerinden yoğun şekilde değerlendirilmiştir. AI destekli güvenlik sistemlerini değerlendirirken kuruluşların neden giderek daha fazla koruma, izole etme ve olay müdahalesine bakması gerekir?

Algılama, savunma ile aynı şey değildir. Bir platform doğru bir uyarı üretebilir ancak saldırganın hedefine ulaşmasına izin verebilir. Bu yüzden PIVOT test programı, algılamayı ve korumayı hem birlikte hem de ayrı ayrı genel testin parçaları olarak içerir.

Siber güvenlik algılamasını bir CCTV kamerasıyla karşılaştırabilirsiniz. Bir girişimi fark etmeli ve ne olduğunu gösteren ipuçları sunmalı, ancak fiziksel olarak bir saldırganı durduramaz. Siber güvenlik koruması ise çok daha aktiftir. Saldırganı dışarı atabilir veya başka bir şekilde etkisiz hale getirerek zararı önleyebilir.

Kurumların, ürünün ilk etkinliği önleyip önlemediğini, saldırı zincirini kesip kesmediğini, yan hareketi sınırlayıp sınırlamadığını, önemli varlıkları koruyup korumadığını ve kurtarmayı destekleyip desteklemediğini bilmesi gerekir. Bir saldırı başarılı olursa, bir sonraki sorular saldırının ne kadar hızlı izole edildiği ve müşterinin etkili bir şekilde yanıt vermesi için yeterli güvenilir bilgi alıp almadığıdır.

Bu, AI destekli sistemlerde özellikle önem kazanır; çünkü bu sistemler ne olduğunu çok ikna edici özetler sunsa da, ikna edici bir açıklama korumanın yerini tutmaz. Açıklama kanıtlarla desteklenmeli ve uygun bir eyleme yönlendirmelidir.

Bu yüzden algılama ve korumayı ayrı ayrı ölçüyoruz. Ayrıca iddia edilen algılamanın gerçekten müşteriye görünür ve faydalı olup olmadığını inceliyoruz. Sonuçta, bir güvenlik sisteminin değeri bir saldırının sonucunu değiştirmesinde yatar, sadece gözlemlemesinde değil.

Güvenlik platformları, uyarıları araştırabilen ve iyileştirme eylemleri yapabilen otonom ajanlar sundukça, bağımsız laboratuvarlar temel algılama teknolojisini izole bir şekilde değerlendirmek yerine tüm insan‑ve‑AI iş akışını nasıl test etmelidir?

Test, ilk kötü niyetli etkinlikten son güvenlik sonucuna kadar tüm süreci izlemelidir; bu sonuç saldırının tamamen durdurulması, tamamen başarılı olması ya da arada bir yerde gerçekleşmesi olabilir.

Ajanın ne gözlemlediğini, ne sonuç çıkardığını, ne önerdiğini ya da ne yaptığını, insan operatöre ne gösterildiğini ve operatörün nasıl yanıt verdiğini (veya hangi seçeneklerin sunulduğunu) incelememiz gerekir. Bu, kanıtların kalitesi, devrin netliği, gereken süre, müdahale sayısı ve insanın ajanın kararını anlayıp sorgulayabilmesi ya da tersine çevirebilmesi gibi unsurları içerir.

Farklı çalışma modları da önemlidir. Onay için bir eylem öneren bir ajan, sistemleri otomatik olarak izole edebilen, hesapları devre dışı bırakabilen veya güvenlik kontrollerini değiştirebilen bir ajandan farklı bir risk ortaya koyar.

Bir sistem, temel algılayıcısı saldırıyı tespit ettiği için başarılı sayılmaz. Eğer anlaşılmaz bir kuyruk oluşturuyorsa, önemli kanıtları gizliyorsa, yanlış bir yanıt öneriyorsa ya da bozucu bir eylemde bulunuyorsa, genel iş akışı başarısız olur. Bağımsız testler, teknolojinin, otonom bileşenlerinin ve bunları kullanması beklenen kişilerin birleşik performansını ölçmelidir.

Standart güvenlik ölçütlerinin bir riski, satıcıların ürünleri özellikle test için optimize edebilmesidir. Bağımsız testler, ürünlerin tanıdık olmayan saldırılara karşı nasıl performans gösterdiğini ortaya çıkarmak için yeterli öngörülemezlik eklerken yeniden üretilebilir ve adil kalabilir?

Yeniden üretilebilirlik, katılımcılara sınav sorularını önceden vermeyi gerektirmez.

Güvenilir bir test, metodolojisini, ortamını, puanlama ilkelerini, ürün yapılandırmasını ve kanıt gereksinimlerini yayınlamalıdır. Satıcılar kuralları anlamalı ve ürünlerinin doğru çalıştığını doğrulamak için adil bir fırsata sahip olmalıdır. Ancak, kesin saldırı kampanyası, yükler ve bazı saldırı yolları test gerçekleştirilene kadar bilinmez kalmalıdır.

Örneğin, PIVOT’ta hangi saldırı gruplarını taklit edeceğimizi test tamamlanana kadar açıklamıyoruz. Gerçek hedefler, bir saldırı başlamadan önce önceden uyarı almaz!

Zaman içinde karşılaştırma yapmayı destekleyen standart bir çekirdeği, genel yeteneği test eden tanıdık olmayan varyasyonlarla birleştirebiliriz. Temel oluşturma ve gizli bir sessiz dönem, ürünün saldırı öncesinde nasıl davrandığını ortaya koyabilir. Daha sonra yapılandırma kontrol edilmeli, günlükler korunmalı ve herhangi bir iddia test yapanın kendi kanıtlarıyla karşılaştırılmalıdır.

Adillik, aynı kuralları ve kanıt standartlarını her katılımcıya uygulamayı ifade eder. Bu, bir satıcının ölçütü tanıması yerine tehdidi tanıması için bir saldırıyı öngörülebilir şekilde tekrarlamak anlamına gelmez.

Ayrıca, radikal şeffaflık satıcıların saldırıları yeniden üretmelerine yardımcı olur; bu, karşılaştıkları sorunları, örneğin bir tehdidi tespit edememe veya koruyamama gibi, düzeltmek istiyorlarsa önemlidir. SE Labs, müşterileri sorunlarla karşılaştıklarında esasen eğitir.

Otonom güvenlik ajanları, yanlış bir karar gereksiz ya da hatta bozucu bir iyileştirme eylemine yol açabileceği için farklı bir risk kategorisi getirir. Testler, yanlış pozitifleri, hatalı mantığı ve potansiyel zararlı otonom eylemleri geleneksel tespit doğruluğuyla birlikte nasıl ölçmelidir?

Geleneksel yanlış-pozitif testi sadece ilk katmandır. Otonom bir ajanla, yanlış bir uyarı, desteklenmeyen bir sonuç ve hatalı bir eylem arasında ayrım yapmamız gerekir. Her birinin potansiyel etkisi farklıdır.

Testler, sistemi kötü niyetli davranışı andıran meşru etkinliklere ve aynı zamanda eksik, belirsiz ya da yanıltıcı kanıtlara maruz bırakmalıdır. Eğer ajan güvenilmeyen içerik tüketiyorsa, testler bu içeriğin kararlarını uygunsuz şekilde etkileyip etkilemediğini de incelemelidir.

Mantık, sonucun mevcut kanıtlara dayanıp dayanmadığına göre değerlendirilmelidir; açıklamanın ne kadar makul ya da kendinden emin olduğu değil. Otonom eylemler için kapsam, orantılılık, izin kullanımı, onay kontrolleri, denetlenebilirlik ve geri döndürülebilirlik ölçülmelidir.

Puanlama sonuçları yansıtmalıdır. Gereksiz bir uyarı rahatsızlık verir; önemli bir hesabı devre dışı bırakmak ya da kritik bir sistemi izole etmek organizasyonu bozabilir. Bu nedenle faydalı bir güvenlik önlemi, hataların sıklığını ve her hatanın neden olabileceği zararı birlikte değerlendirmelidir.

Bununla birlikte, bazen müşteri sorun yaratan bir politika seçer. Bu mutlaka güvenlik satıcısının hatası değildir.

Üretken AI ve giderek yetenekli hale gelen açık kaynak modeller, saldırı sürecinin bazı bölümlerini otomatikleştirme engelini düşürüyor. AI’nin siber saldırıları temelde daha sofistike hâle getireceğini mi bekliyorsunuz, yoksa daha büyük tehlikenin saldırganların çok daha büyük ölçek ve hızda çalışabilmesi olduğunu mu düşünüyorsunuz?

Benim beklentim, daha acil tehlikenin ölçek, hız ve azalan maliyet olduğudur.

AI, saldırganların bilgi toplamasına, sosyal mühendisliği kişiselleştirmesine, kodu değiştirmesine ve bir kampanyanın bölümlerini koordine etmesine yardımcı olabilir. Bu sayede bazı saldırılar daha sofistike hâle gelebilir, özellikle AI mevcut teknikleri birleştirip belirli bir hedefe uyarladığında. Ancak AI, erişim, kimlik bilgileri, istismar edilebilir zayıflıklar ya da savunucuların hatalarını ortadan kaldırmaz.

AI aynı zamanda güvenilir exploit’ler üretmede pek iyi değildir; bu, yetenekli bir insan için bile zor bir iştir. Bu yüzden, temelde daha sofistike saldırıların olasılığını azaltır, bu benim güçlü görüşüm.

Daha büyük değişim, daha önce zaman, beceri ya da bir ekip gerektiren faaliyetlerin daha hızlı ve çok daha fazla hedefe yönelik denenebilmesidir. AI, nispeten sıradan saldırganların yetkinliğini artırabilirken, yetenekli saldırganların aynı anda daha fazla operasyon yürütmesini sağlar.

Bu, temel saldırı teknikleri devrim niteliğinde olmasa bile önemlidir. Tehlike mutlaka tamamen yeni bir siber saldırı biçimi olmak zorunda değildir. Tanıdık saldırıların daha hızlı, daha ucuz, daha kişiselleştirilmiş ve çok daha sayıda hâle gelmesidir.

Savunma ve saldırı AI ajanları daha özerk hale geldikçe, güvenilir bir siber güvenlik test ortamının bu hıza ayak uydurabilmesi için nasıl görünmesi gerekir? Sonunda güvenlik ürünlerinin öncelikle periyodik güvenlik testleriyle değerlendirilmek yerine, uyarlamalı AI düşmanları tarafından sürekli olarak zorlanması gereken bir noktaya ulaşabilir miyiz?

Güvenilir bir ortam, izole hedeflerden oluşan bir koleksiyon yerine yaşayan bir organizasyona benzemelidir. Uç noktalar, kimlik sistemleri, e-posta, ağlar, bulut hizmetleri, gerçekçi kullanıcılar ve normal iş aktivitelerini içermelidir. Ayrıca her karar ve sonucun yeniden oluşturulabilmesi için tam bir enstrümantasyon sağlamalıdır.

Uyarlamalı düşmanlara hedefler ve sınırlar verilebilir, ardından keşfettiklerine ve savunma ürününün nasıl yanıt verdiğine göre rotalarını seçmelerine izin verilir. Testin hâlâ kontrollü başlangıç koşulları, gerçekte ne olduğuna dair güvenilir bir tanım ve önemli olayları yeniden oynatma yeteneği gerektirecektir. Bu unsurlar olmadan, uyarlamalı test etkileyici görünebilir ancak bilimsel olarak zayıf kalır.

Testlerin daha sürekli hâle geleceğini bekliyorum, özellikle ürünler, modeller ve politikalar sık sık değişebildiğinde. Ancak, sürekli zorlama periyodik karşılaştırmalı testleri ortadan kaldırmak yerine tamamlamalıdır. Organizasyonların her ikisine de ihtiyacı var: sorumluluk ve karşılaştırmayı destekleyen PIVOT gibi kontrollü ölçütler ve tehditler ile ürünlerin kendileri değiştikçe sistemlerin nasıl davrandığını ortaya çıkaran sürekli uyarlamalı değerlendirme.

Bence, bir sonraki nesil siber saldırı teknolojisini yaratan robotlardan ziyade, nispeten beceriksiz insanların sistemleri ve ağları ihlal edebilmesi gerçeği hakkında daha çok endişelenmeliyiz.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular SE Labs adresini ziyaret etmelidir.