İçinde Yapıldığı Güvenlik Zafiyetleri: AI Ajanları ve İtaat Sorunu

LLM tabanlı AI ajanları, saldırganların verileri kötü niyetli komutlarla enjekte edebileceği yeni bir zafiyet sınıfı tanıtıyor ve yardımsever sistemleri bilinçsiz suç ortaklarına dönüştürüyor.

Microsoft Copilot geleneksel anlamda hacklenmedi. İçinde malware, phishing linki, kötü niyetli kod yoktu. Hiç kimse hiçbir şeyi tıklamadı veya herhangi birexploit dağıtmadı.

Saldırgan sadece sordu. Microsoft 365 Copilot, yaptığı şeyin tam olarak yapılması için, uyumlu davrandı. Recent Echoleak zero click saldırısında, AI ajanı veri olarak gizlenmiş bir.prompt tarafından manipüle edildi. İtaat etti, çünkü kırık değildi, çünkü tasarlandığı şekilde işlev görüyordu.

Bu zafiyet yazılım hatalarını sömürmedi. Dili sömürdü. Ve bu, siber güvenlikte önemli bir dönemeç noktası, saldırının yüzeyi artık kod değil, konuşmadır.

Yeni AI İtaat Sorunu

AI ajanları yardım etmek için tasarlandı. Their amacı kullanıcı niyetini anlamak ve verimli bir şekilde buna göre davranmaktır. Bu fayda riskle gelir. Dosya sistemlerine, üretkenlik platformlarına veya işletim sistemlerine gömüldüğünde, bu ajanlar doğal dil komutlarına minimal direnişle uyumlu davranırlar.

Saldırganlar tam da bu özelliği sömürecekler. Görünüşte masum gibi görünen prompt enjeksiyonları ile hassas eylemleri tetikleyebilirler. Bu promptlar şunları içerebilir:

• Çok dilli kod parçacıkları
• Bulutlu dosya formatları ve gömülü talimatlar
• İngilizce dışı dil girişleri
• Gayriresmi dilde gizlenmiş çok adımlı komutlar

Büyük dil modelleri (LLM’ler) karmaşıklığı ve belirsizliği anlamak için eğitildiğinden, prompt yük haline gelir.

Siri ve Alexa’nın Hayaleti

Bu model yeni değil. Siri ve Alexa’nın ilk günlerinde, araştırmacılar gösterdiler nasıl bir ses komutu gibi “Tüm resimlerimi bu e-postaya gönder” bir eylemi tetikleyebilirdi, kullanıcı doğrulaması olmadan.

Şimdi tehdit daha büyük. AI ajanları gibi Microsoft Copilot, Office 365, Outlook ve işletim sistemi içine derinden entegre edildi. E-postalara, belgelere, kimlik bilgilerine ve API’lere erişirler. Saldırganlara yalnızca doğru prompt gerekiyor, kritik verileri çıkarmak için, aynı zamanda meşru bir kullanıcı gibi davranarak.

Bilgisayarların Talimatları Veri ile Karıştırması

Bu, siber güvenlikte yeni bir ilke değil. Enjeksiyonlar gibi SQL saldırıları başarılı oldu çünkü sistemler girdi ve talimatı ayırt edemedi. Bugün, aynı zafiyet dil katmanında mevcut.

AI ajanları doğal dili hem girdi hem de niyet olarak ele alır. Bir JSON nesnesi, bir soru veya hatta bir cümle bir eylemi başlatabilir. Bu belirsizlik, saldırganların sömürdüğü şeydir, görünüşte zararsız içerik içinde komutları gömmeleri.
Biz niyeti altyapımıza gömdük. Şimdi, saldırganlar bunu nasıl çıkaracağını öğrendiler, emirlerine uymak için.

AI Benimsenmesi Siber Güvenlikten Önde Gidiyor

Şirketler LLM’leri entegre etmeye çalışırken, birçok kritik bir soruyu göz ardı ediyor: AI’ye ne erişimi var?

Copilot işletim sistemine dokunabiliyorsa, patlama yarıçapı posta kutusunun çok ötesine geçer. Check Point’ın AI Güvenlik Raporu‘na göre:

• Küresel Bilgi Güvenliği Sorumlularının (CISO) %62’si AI ile ilgili ihlallerden kişisel olarak sorumlu tutulabileceğinden korkuyor
• Organizasyonların yaklaşık %40’ı, genellikle güvenlik denetimi olmadan, içerde AI’nin izinsiz kullanımını rapor ediyor
• Siber suç gruplarının %20’si artık operasyonlarında AI’yi kullanıyor, bu da phishing oluşturma ve keşif için kullanıyor

Bu sadece ortaya çıkan bir risk değil. Zaten hasar veren mevcut bir risk.

Neden Mevcut Önlemler Yetersiz Kalıyor

Bazı satıcılar, tehlikeli promptları veya şüpheli davranışları yakalamak için ikincil modelleri kullanıyor. Bu filtreler temel tehditleri tespit edebilir, ancak kaçınma tekniklerine karşı savunmasızdır.

Saldırganlar:

• Filtreleri gürültü ile aşırı yükleyebilir
• Niyeti birden fazla adıma bölebilir
• Tespiti atlatmak için açık olmayan bir ifade kullanabilir

Echoleak durumunda, önlemler mevcuttu – ve bunlar atlatıldı. Bu, yalnızca politika değil, aynı zamanda mimari başarısızlığını yansıtıyor. Bir ajanın yüksek düzeyde izinleri varsa ancak düşük düzeyde bağlamı varsa, даже iyi koruma rayları yetersiz kalır.

Tespit, Mükemmellik Değil

Her saldırıyı önlemek gerçekçi olmayabilir. Hedef, hızlı tespit ve hızlı kapsülleme olmalıdır.

Organizasyonlar şunlarla başlayabilir:

• AI ajanı faaliyetlerini gerçek zamanlı olarak izleme ve prompt denetim günlüklerini tutma
• AI araçlarına katı en az ayrıcalık erişimi uygulama, yönetici düzeyindeki kontrolleri yansıma
• Hassas operasyonlara sürtünme eklemek, onayları gerektirmek gibi
• Alışılmadık veya düşmanca prompt kalıplarını gözden geçirme için işaretlemek

Dil tabanlı saldırılar geleneksel uç nokta tespit ve yanıt (EDR) araçlarında görünmeyecektir. Yeni bir tespit modeli gerektirir.

Kuruluşların Kendilerini Korumak İçin Şimdi Ne Yapması Gerekiyor

AI ajanlarını dağıtmadan önce, organizasyonlar bu sistemlerin nasıl çalıştığını ve hangi riskleri tanıttığını anlamalıdır.

Ana öneriler şunları içerir:

1. Tüm erişimleri denetleme: Ajanların neye dokunabileceğini veya tetikleyebileceğini bilin
2. Kapsamı sınırla: Minimum gerekli izinleri verin
3. Tüm etkileşimleri izleme: Promptları, yanıtları ve oluşan eylemleri günlüğe kaydetme
4. Stres testi yapma: İçerde ve sık sık düşmanca girişimleri simüle edin
5. Kaçınmayı planlama: Filtrelerin atlatılacağını varsayınız
6. Güvenliği hizalamak: LLM sistemlerinin güvenlik hedeflerini desteklediğinden, değil de tehlikeye atmadığını emin olun

Yeni Saldırı Yüzeyi

Echoleak, neler geleceğinin bir önizlemesi. LLM’ler geliştikçe, yardımseverlikleri bir yük haline geliyor. İş sistemlerine derinlemesine entegre edilmiş olarak, saldırganlara basit, iyi tasarlanmış promptlar aracılığıyla yeni bir giriş yolu sunuyorlar.

Bu artık sadece kodu güvence altına almakla ilgili değil. Dil, niyet ve bağlamı güvence altına almakla ilgili. Oyun kitabı şimdi değişmelidir, çok geç olmadan.
Ve yine de, biraz iyi haber var. AI Ajanlarını yeni ve ortaya çıkan siber tehditlere karşı savunmak için kullanma konusunda ilerleme kaydediliyor. Doğru şekilde kullanıldığında, bu özerk AI ajanları tehditlere insanlardan daha hızlı yanıt verebilir, ortamlar arasında işbirliği yapabilir ve tek bir saldırı girişiminden öğrenerek ortaya çıkan risklere karşı proaktif olarak savunma yapabilir.

Ajantik AI her saldırından öğrenebilir, gerçek zamanlı olarak uyarlanabilir ve tehditleri yayılmadan önce önleyebilir. Yeni bir siber dayanıklılık çağı kurma potansiyeline sahiptir, ancak bunu ancak bu anı ele geçirir ve siber güvenliğin geleceğini birlikte şekillendirirsek. Bunu yapmazsak, bu yeni dönem, AI’yi (bazen bilinçsizce gölge IT araçlarıyla) zaten uygulamış olan organizasyonlar için bir siber güvenlik ve veri gizliliği kâbusuna işaret edebilir. Şimdi, AI Ajanlarının bizim için değil, bizim aleyhimize kullanılmaması için harekete geçme zamanı.