AI Yetenekleri Güvenlik Modellerini Aşağıda Bıraktığında

AI araçları genellikle tanıdık bir sunumla gelir. İş akışlarını basitleştireceklerini, verimliliği artıracaklarını ve kimsenin hoşlanmadığı görevleri üstleneceklerini vaat ederler. Ve çoğu zaman tam da bunu yaparlar. Girişleri basitleştirir, belgeleri özetler, iş akışlarını otomatikleştirir ve rutin faaliyetleri neredeyse zahmetsiz hale getirirler.

Fakat tüm bu rahatlığın altında farklı bir hikaye yatıyor. Bu araçlar artık sadece bir metin kutusunda sınırlı değil. İşletim sistemini kendisi üzerinde çalıştırabiliyorlar. Dosyaları tarayabiliyor, e-postalar yazabiliyor, uygulamalarla etkileşime girebiliyor ve önceden dikkatli bir insan tarafından yapılması gereken eylemleri gerçekleştirebiliyor. Bu değişiklik, AI’yi mevcut güvenlik varsayımlarının yönetemeyeceği bir konuma yerleştiriyor.

AI Sistem Erişim Kazandığında

Bir AI sistemi gerçek dosyaları okuyabiliyor ve gerçek komutları çalıştırabiliyor olduğunda, güvenilir hesap tabanının bir parçası haline geliyor. Bu, AI güvenliğiyle ilgili uzun süredir var olan beklentilerin bozulmaya başladığı andır.

Yıllarca, prompt enjeksiyonu garip bir model davranışı olarak kabul edildi. Sohbet botlarının aldatıcı veya uygunsuz yanıtlar üretmesine neden oluyordu, ancak zarar konuşma ile sınırlıydı. Şimdi aynı kusur, metin değil, gerçek eylemler tetikleyebiliyor. Bir PDF, web sitesi veya e-posta içindeki gizli bir talimat artık tuhaf bir yanıt üretmiyor, bir eylem üretiyor.

Bu, endüstrinin göz ardı edeceği teorik bir şey değil. Carnegie Mellon ve Washington Üniversitesi’nden araştırmacılar, gizli talimatların büyük dil modellerini istenmeyen eylemler gerçekleştirmeye yönlendirebileceğini defalarca gösterdiler. Bu arada, görme modellerini inceleyen araştırmacılar, manipüle edilmiş görüntülerin model algısını değiştirebileceğini ve aşağı akış davranışını etkileyebileceğini gösterdiler.

Bu deneyler bir zamanlar laboratuvar curiosities olarak görülüyordu. AI’nin işletim sistemine erişimi olduğu zaman artık akademik hissetmiyorlar.

Ajans Yeteneği Savunmacı Kontrolü Aşında

Hatta bu ajansları inşa eden şirketler, meydan okumaların ciddiyetini kabul ediyor. Prompt’ları işleyebilmek için filtreleri güçlendirdiler, ancak açıkça, bir AI sisteminin gerçek dünya eylemlerini kontrol etmenin hala çözülmemiş bir çalışma alanı olduğunu belirtiyorlar. Ajansın yapabileceği şey ile savunmacıların kontrol edebileceği şey arasındaki bu boşluk, mevcut güvenlik playbooks’ın emilimini imkansız kılacak yeni bir risk kategorisi tanıtıyor.

AI ajansları, endüstrinin tam olarak hazır olmadığı bir sınırı geçti. Bunu anlamak için, prompt enjeksiyonunun nasıl bilinen saldırı zincirleriyle kesiştiğini görmek gerekiyor.

Prompt Enjeksiyonu Nasıl Bilinen Saldırı Zincirlerine Uyar

Saldırganlar her zaman öngörülebilir bir modeli izlediler. MITRE ATT&CK framework aşamaları açıkça ortaya koyuyor. İlk erişim, yürütme, kalıcılık, keşif, lateral hareket, toplama ve sızdırma izliyor. Teknikler değişse de yapı sabit kalıyor.

Değişen şey, teslim mekanizması. Saldırganlar artık bir kullanıcıyı zararlı bir eki açmaya veya tehlikeli bir linke tıklamaya ikna etmek yerine, AI ajansının okuyacağı talimatları yerleştirebiliyor. Ajans, yürütme ortamı haline geliyor. Ajans, tarif edildiği gibi adımları gerçekleştiriyor. Model, talimatın zararlı olup olmadığını sorgulamıyor. Yargı veya sezgi uygulamıyor. Sadece eylemde bulunuyor.

Ajansın mantığını etkileyebilen bir saldırgan, saldırı zincirini hızlı bir şekilde bir araya getirebiliyor. Manipüle edilmiş bir dosya, yürütme tetikliyor, takip eden talimatlar kalıcılık sağlıyor, sistem aramaları keşif sağlıyor ve dosya yüklemeleri toplama ve sızdırma ermögiliyor. Hiçbir kötü amaçlı yazılım gerekmiyor. Ajans, yazılı adımları gerçekleştiriyor.

Bu, güvenlik ekiplerinin uyum sağlamakta zorlandığı hikayenin bir parçasıdır. Kod tabanlı yürütme etrafında algılama kuralları, kontroller ve yanıt süreçleri inşa etmişlerdir. AI ajansları, farklı türde yorumlayıcılar tanıtüyor. Doğal dil yoluyla, derlenen ikililer yoluyla değil, eylemleri gerçekleştiriyorlar. Mevcut araçlar, bu mantık sürecini izlemek veya analiz etmek için inşa edilmemiştir.

Güvenlik Ekipleri Hazır Değil ve Bunu Hala Fark Etmiyorlar

Güvenlik programları hala bir insanın içerik ve eylem arasında oturduğunu varsayar. İnsanları kandırmak mümkün olabilir, ancak bir şey yanlış gittiğinde durur. Garip cümleleri, beklenmedik davranışları fark eder ve son karar aşamasına yargı getirirler. AI ajansları none of these yapıyor; tutarlı, literal ve herhangi bir saldırgandan daha hızlılar. Gizli metin中的 bir satır, ajansa duyarlı dosyaları okumayı, uygulamalar arasında geçiş yapmayı veya uzaktaki bir sunucuya bağlanmayı talimatlandırması yeterli. Bu, savunmacıları daha önce hiç bulunmadıkları bir konumda bırakıyor.

Güvenlik ekipleri, bir ajansın nasıl bir kararı aldığını görmeye sınırlı bir görüş açısına sahipler ve bir eylemin kullanıcıdan mı yoksa AI’dan mı kaynaklandığını kolayca belirleyemezler. Geleneksel kötü amaçlı yazılım algılama, yardım etmiyor, çünkü usual sentido de yürütülen hiçbir şey yok ve ajansın, normal içerik içinde gizli zararlı talimatlara karşı soru sormayacak veya reddetmeyeceğine dair hiçbir garantisi yok.

İnsan davranışına yönelik olarak tasarlanmış araçlar, doğal dilin sistem davranışını yönlendirdiği bir dünyaya aktarılmaz.

Neler Gerçekten Çalışan Telafi Edici Kontroller

Model güçlendirme yeterli değil. Güvenlik ekipleri, ajansın yapabileceği şeyleri sınırlayan ajans etrafında kontrollere ihtiyaç duyuyor, ajansın mantığı etkilense bile.

Birkaç strateji umut verici görünüyor:

• En düşük ayrıcalık erişimi gereklidir. Ajanslar yalnızca görevleri için gereken dosyaları ve eylemleri görebilmelidir. Gerekli izinleri azaltmak, manipüle edilmiş talimatların etkisini sınırlar.
• İnsan onay adımları, zararlı eylemleri önleyebilir. Bir ajans duyarlı bir işlemi gerçekleştirmeye çalıştığında, kullanıcı onay veya ret istemelidir.
• İçerik filtreleme, güvensiz materyaller ile ajans arasında bir tampon oluşturur. Belgeleri, URL’leri ve dış metinleri tarayarak, gizli talimatların modele ulaşma olasılığını azaltır.
• Kapsamlı günlüğe kaydetme zorunludur. Her ajans tarafından başlatılan eylem kaydedilmeli ve incelenmelidir. Bu eylemler, ayrıcalıklı bir kullanıcı faaliyeti olarak ele alınmalıdır.
• Ajans davranışlarını ATT&CK tekniklerine eşleme, savunmacılara, ajansın nerede zararlı eylemlere yönlendirilebileceğini ve nerede koruma önlemlerinin yerleştirilmesi gerektiğini gösterir. Mevcut savunma stratejisinin yapılandırılmasında kullanılan aynı sistemi kullanır.

Bu telafi edici kontroller riski ortadan kaldırmaz. Ancak model düzeyindeki savunmalardan daha iyi bir şekilde içerir.

Endüstri Nereye Gidiyor

AI ajansları, bilgisayarların nasıl çalıştığındaki büyük bir değişimi temsil ediyor. İnanılmaz bir verimlilik sunuyorlar, ancak aynı zamanda mevcut güvenlik çerçevelerine uymayan bir operasyonel risk kategorisi tanıtüyorlar. UK Ulusal Siber Güvenlik Merkezi’nden rehberlik bir başlangıç, ancak çoğu kuruluş hala, sistem üzerinde çalışabilen ajansları yönetmek için net bir yol haritasına sahip değil.

Bu an, bulut benimsenmesinin erken günlerine benzer hissediyor. Teknoloji, kontrollerden daha hızlı ilerliyordu. Hızlı uyum sağlayan organizasyonlar, değişimi erken tanıyan ve buna karşılık gelen süreçler inşa edenlerdi.

Aynı şey burada da geçerli olacak. AI ajansları sadece yardımcılar değil, sistem düzeyinde erişim olan operatörler. Güvenliğini sağlamak, yeni oyun kitapları, yeni koruma önlemleri ve maruz kalma modelleri gerektiriyor.

Endüstri bu araçlardan korkmasına gerek yok. Ancak onları anlamak zorunda. Ve hızlı hareket etmek zorunda, çünkü saldırganlar already fırsatı görüyor. Soru, savunmacıların hala zamanları varken uygun önlemleri alabilecekleri.