Check Point’in Baş Teknoloji Sorumlusu Jonathan Zanger ile Röportaj Serisi

Jonathan Zanger, Check Point’in Baş Teknoloji Sorumlusu, elit askeri istihbarat deneyimini, derin AI uzmanlığını ve hem start-up’lar hem de küresel işletmelerdeki operasyonel liderliği bir araya getiren nadir bir kombinasyona sahiptir. Mevcut görevine başlamadan önce, Trigo’da CTO olarak görev yaptı ve burada, ölçekte sürtünmesiz perakende ve kayıp önleme sağlayan nächsten nesil AI ve bilgisayar vizyonu sistemlerinin geliştirilmesini yönetti ve ürün ve Ar-Ge’yi gerçek dünya ticari dağıtımıyla uyumlu hale getirdi. Daha önce, Trigo’da üst düzey Ar-Ge liderlik rollerini üstlendi ve İsrail’in elit Unit 8200’de over bir on yıl geçirdi ve sonunda ulusal ölçekli istihbarat ve siber güvenlik girişimlerinden sorumlu bir siber Ar-Ge bölümünün başına geçti ve çalışmalarıyla ulusal düzeyde tanınma kazandı.

Check Point Software Technologies (CHKP ) siber güvenlikle ilgili küresel bir liderdir ve AI tarafından yönlendirilen, bulut tabanlı güvenlik çözümleri sunar. Bu çözümler, işletmeleri ve hükümetleri giderek daha karmaşık dijital tehditlerden korumayı amaçlar. Şirket, 100.000’den fazla organizasyonu dünya çapında kapsar ve ağları, bulut ortamlarını, uç noktaları ve kullanıcıları bir önleme odaklı yaklaşım ile korur. Bu yaklaşım, saldırıları meydana gelmeden önce durdurmayı hedefler. Entegre mimarisi, gerçek zamanlı tehdit istihbaratını kullanarak güvenlik operasyonlarını basitleştirmek, riski azaltmak ve işletmelerin AI, bulut bilişim ve dağıtılmış sistemleri benimsemeleri sırasında güvenli bir şekilde ölçeklenmelerine olanak tanır.

Büyük ölçekli siber güvenlik ve AI girişimlerini yönettiniz, Trigo’da AI tarafından yönlendirilen sistemler geliştirdiniz ve şimdi Check Point’te AI stratejisinin sorumlususunuz. AI sistemleri, kontrol edilen ortamlardan üretime geçişlerinde hangi özel hata modlarını gözlemlediniz, özellikle araçlara ve işletme verilerine erişim sağladıklarında?

Üretim ortamında iki şey temel olarak değişir. İlk olarak, ölçek, kenar vakaları günlük olaylara dönüştürür. Laboratuvarda %0,1’lik bir yanlış pozitif oran mükemmel görünür, ancak milyonlarca etkileşimi işlediğinizde, bu, dikkat gerektiren binlerce olaya karşılık gelir. Test sırasında istatistiksel dışlayıcılar, büyük ölçekte operasyonel gerçeklikler haline gelir.

İkinci olarak, üretim, karşıt maruziyet anlamına gelir. Kontrollü bir ortamda, girişler masum ve öngörülebilir-dir. Gerçek dünyada, bazı kullanıcılar ve tehdit aktörleri sistemin davranışını manipüle etmek için her türlü güvensiz veri kanalını aktif olarak kullanmaya çalışacaktır. Demo’dan üretime geçiş, bir ölçekleme sorunu değildir. Bu, işbirlikçi bir ortamdan bir tartışmalı ortama geçiştir ve bu, temel olarak farklı tasarım varsayımlarını gerektirir.

Agentic sistemlerde, modeller API’leri çağırabilir, kod çalıştırabilir ve eylemleri zincirleyebilir. Güvenlik ekipleri hala uygun şekilde enstrümantalize etmediği en kritik saldırı yüzeyleri nelerdir?

Çoğu ekibin yanlış hesapladığı kritik yüzey, veridir. Agentic sistemler, genellikle güvensiz veri kaynaklarına – gelen e-postalara, web sitelerine, Jira biletlerine, açık kaynaklı koda, dış belgelerine – erişir. Bu veriler, modellerin akıl yürütme sürecinin bir parçası olarak analiz edilir.

Bu, iki somut risk oluşturur. İlk olarak, bellek zehirlenmesi – manipüle edilmiş içerik, herhangi bir açık.prompt enjeksiyonu olmadan, modelin gelecekteki cevaplarını ve kararlarını etkiler. İkincisi, dolaylı.prompt enjeksiyonu – saldırgan talimatlar, external verilere gömülür ve böylece ajanı içten jailbreak eder. Saldırgan, doğrudan.promt’a dokunmaz. Sadece ajanın bulacağı yere talimatları yerleştirir.

Prompt enjeksiyonu genellikle model problemi olarak ele alınır, ancak uygulamada sistem düzeyinde bir sorun haline gelir. İşletmelerin, model girişlerini, araç yürütmesini ve duyarlı veri erişimini izole etmek için mimarilerini nasıl yeniden tasarlamaları gerekir?

Prompt enjeksiyonu evrensel bir sorun değildir ve evrensel bir çözümü yoktur. Bir girişin meşru veya saldırgan olup olmadığı, tamamen bağlama bağlıdır. Bir teknik destek ajanına “yöneticinin parolasını değiştir” diye sormak tamamen meşru olabilir. Aynı isteği bir perakende şirketinin sohbet botuna yöneltmek bir saldırıdır.

Bu nedenle mimari, herhangi bir tek tespit tekniğinden daha önemlidir. Sistemler, hem deterministik hem de non-deterministik mekanizmalara ihtiyaç duyar. Deterministik kontroller, ajanın kimliği, kullanıcının kimliği ve sistemin tanımlı rolüne bağlı olarak araçlara ve verilere erişimi yönetir. Non-deterministik, model tabanlı kontroller, dil, bağlam ve niyeti anlamak için ek bir yetenek sağlar. Hem politika uygulaması hem de akıllı bağlamsal akıl yürütme için her iki katmana da ihtiyacınız vardır – çünkü ikisi de tek başına yeterli değildir.

Çok sayıda AI ajanı, dış veri kaynaklarına ve retrieval-augmented generation’a güveniyor. Bu boru hatlarında veri zehirlenmesi ve bağlam manipülasyonu riskleri nelerdir ve bunlar üretim aşamasında nasıl azaltılabilir?

Riskler, veri akışının yönüne bağlı olarak değişir. İç veri kaynakları için birincil risk, duyarlı veri sızıntısı – PII maruziyeti, müşteriler arası veri paylaşımı, yetkisiz taraflara iç bilgilerin açığa çıkmasıdır. Dış veri kaynakları için riskler, doğrulanmamış bilgilerden kaynaklanan model yanlılığı, geri çağırılan içerikte dolaylı.prompt enjeksiyonu ve güvensiz veya manipüle edilmiş kaynaklara bağımlılık içerir.

Mitigasyon, işlem düzeyinde, gerçek zamanlı olarak gerçekleşmelidir. Her agentic etkileşim, hem içeriden dışarıya hem de dışarıdan sisteme ve modele zehirlenmiş veya saldırgan bilgilerin beslenmemesini sağlamak için güvence altına alınmalıdır. Sadece alım zamanında çözümlemek yeterli değildir, çünkü bağlam dinamiktir ve tehdit manzarası sürekli olarak değişir.

AI Savunma Uçağı, çalışan AI kullanımı, uygulamalar ve agentic sistemler boyunca birleşik bir kontrol katmanını tanıttı. Bu kadar parçalı bir AI yığını boyunca politika gözlemlemek ve uygulamak için en büyük mimari zorluklar nelerdi?

AI Savunma Uçağı fikri, “Ajansların İnterneti” dediğimiz, uç noktaları, uygulamaları, SaaS hizmetlerini ve bulut iş yüklerini kapsayan gelişen işletme ajansı altyapısını tek bir panele göre keşfetmek, yönetmek ve korumaktır.

Temel mimari zorluk, her ajanın risk profilini ve bağlamını dinamik olarak değerlendirirken, her agentic işlem için etkili gerçek zamanlı koruma geliştirmektir. Bu, üretim hızında ve ölçeğinde, birden fazla çalışan ortamda, gerçek tehditlere karşı yüksek engelleme oranlarını korurken yanlış pozitifleri en aza indirgemeği gerektirir. Bu kadar parçalı ve hızla gelişen bir AI yığını boyunca politika gözlemlemek ve uygulamak için, AI faaliyetini temel düzeyde nasıl soyutlayıp değerlendireceğimizi yeniden düşünmek zorunda kaldık.

Platform, dil ve iş akışları boyunca makine hızında gerçek zamanlı karar verme vurgusunu yapıyor. Üretim ortamlarında AI tarafından yönlendirilen eylemlerin derin incelemesi ve kontrolü ihtiyacıyla nasıl bir denge kuruyorsunuz?

Temel modelleri, tehdit önleme için özel olarak geliştirip eğitir ve sonra bunları son derece verimli hale getirmek için damıtma tekniklerini kullanırız. Bu, hızlı ve minimal hesaplamayla – hatta CPU’lar veya komutcu GPU’lar üzerinde – çalışmamızı sağlar ve aynı zamanda maksimum doğrulukla çok dilli ve çok modal kapsama alanı sağlar, bu da görüntü ve ses analizi içerir.

Bu yaklaşım, agentic işlemleri derinlemesine incelememizi sağlar utanwithout bir bottleneck oluşturur. Güvenlik, iş akışına kabul edilemez gecikme getirecekse, bypass edilecektir. İş akışına görünmez olan ancak anlamlı kontroller uygulayan güvenlik, gerçekten uygulanan ve kalıcı olan güvenlik türüdür.

AI ajanları, araçları kullanarak multiple sistemler boyunca yetkilendirilmiş izinlerle çalışmaya başlar. İşletmelerin, özellikle ajanlar araç kullanımıyla yetki alanlarını dinamik olarak genişlettiğinde, non-insan aktörler için kimlik ve erişim yönetimini nasıl yeniden düşünmeleri gerekir?

Çoğu organizasyonun yaptığı hata, AI ajanlarını ya insan kullanıcıların uzantıları ya da geleneksel hizmet hesapları olarak tedavi etmektir. Hiçbir model uymaz. Onları, tanımlı rolleri, sorumlulukları ve sınırları olan dijital çalışanlar olarak düşünün.

Ajan kimliği, üç boyuta göre tanımlanmalıdır: ajanın yürüttüğü özel iş akışı, ajanı oluşturan veya sahip olan kullanıcı ve ajanla etkileşim halinde olan kullanıcı. Tüm bu faktörler, ajanın ne yapmasına izin verileceğini şekillendirir. Bunun ötesinde, organizasyonlar ajanlara sıfır güven ilkelerini uygulamalıdır – kökenine dayanarak güveni asla varsaymayın, davranışı sürekli olarak doğrulayın ve her adımda en düşük ayrıcalık erişimini uygulayın. Aksi takdirde, ajanlar kimsenin amaçladığından daha fazla yetki biriktirecektir.

Çoğu işletme artık kopya AI kullanımına sahiptir – pilotlar, eklentiler ve iç betikler. Güvenlik ekipleri, AI’nin duyarlı veriyle nasıl etkileşime girdiğini gerçekten görme amacıyla hangi telemetri verilerini toplamak zorunda?

Görünürlük, agentic işlem düzeyinde çalışmalıdır – sadece promt ve yanıtlar değil, aynı zamanda araç çağrıları, bu araçların döndürdüğü veriler ve alınan eylemler. Güvenlik ekipleri, tüm zinciri görmelidir: ne istendi, hangi veriler erişildi, hangi araçlar çağrıldı, hangi parametreler geçirildi ve sonra ne oldu.

Bu işlem düzeyinde telemetri olmadan, maruz kalma, suistimal veya etkiye ilişkin temel sorulara cevap veremezsiniz. Gölgeli AI, var olması nedeniyle tehlikeli değildir. Çünkü bu, bu düzeyde yönetim veya iç görü olmadan çalışır.

Agentic sistemleri kırmak, statik uygulamaları test etmekten fundamental olarak farklıdır. Çok adımlı iş akışları boyunca saldırgan davranışları nasıl simüle edersiniz ve en sık hangi tür saldırılar ortaya çıkar?

Gandalf (https://gandalf.lakera.ai) adlı dünyanın en büyük AI kırmızı takım egzersizini işletiyoruz. Bu, gerçek kullanıcıların AI ajanlarını sınırlarını aşmaya çalıştığı bir topluluk tabanlı platformdur. Bu, gerçek kullanıcıların AI sistemlerini manipüle etmek için kullandığı gerçek saldırgan tekniklerine ilişkin benzersiz ve sürekli büyüyen bir veri seti sağlar.

Bu veri setini, kırmızı takım yeteneklerimizi yönlendirmek için kullanıyoruz. En çok gördüğümüz saldırılar, kullanıcıların ajanları kademeli olarak sınırlarını ihlal etmeye ikna etmelerini içerir – dolaylı.prompt enjeksiyonu, yaratıcı yeniden çerçeveleme, bağlam manipülasyonu ve çok adımlı etkileşimlerde güven ihlali. Bu sorunlar, yalnızca bireysel promt’ları test ederseniz görünmez olur. Zincirleri ve sürdürülen saldırgan kampanyaları test etmelisiniz.

Saldırganlar, sistemleri sürekli olarak araştırmak için otomatik ajanları kullanmaya başladığında, savunmanın, makine hızında ve AI tarafından yönlendirilen gerçek zamanlı adaptif kontrollere doğru kayması bekleniyor musunuz ve bu mimari pratikte nasıl görünür?

Evet. Statik savunmalar, sürekli çalışan otomatik saldırganlarla aynı hızda ilerleyemez. Savunma, adaptif, runtime tarafından yönlendirilen ve otomatik hale gelmelidir. Bu, AI davranışının gerçek zamanlı izlenmesi, sürekli risk değerlendirmesi ve politika ihlallerinde hemen uygulanması anlamına gelir. AI tarafından yönlendirilen saldırıların hızı ve ölçeği, ancak eşit derecede hızlı, makine hızında savunmalarla karşılanabilir.

Pratikte, güvenlik, bir kural kümesi yerine bir geri bildirim döngüsü haline gelir. AI sistemleri, aynı hızda ve ölçekte çalıştıkları gibi dinamik olarak gözlemlenir, değerlendirilir ve kısıtlanır. Bu değişim, işletmelerin AI’yi güvenli bir şekilde kurumsal ölçekte dağıtmak istiyorsa kaçınılmazdır.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular Check Point Software Technologies sitesini ziyaret edebilir.