Güvenliği Tehdit Eden Sorunlar: AI Ajanları ve İtaat Problemi

LLM tabanlı AI ajanları, yeni bir güvenlik açığı sınıfı tanıtıyor; saldırganlar, dữya içine kötü niyetli komutlar enjekte ediyor ve yardımcı sistemleri bilinçsiz suç ortaklarına dönüştürüyor.

Microsoft Copilot geleneksel anlamda hacklenmedi. İçinde malware, phishing bağlantısı, kötü niyetli kod yoktu. Hiç kimse hiçbir şey tıklamadı veya herhangi birexploit dağıtmadı.

Tehtid aktörü sadece sordu. Microsoft 365 Copilot, tasarlandığı gibi davranarak, emirleri yerine getirdi. Recent Echoleak zero click saldırısında, AI ajanı, veri olarak gizlenmiş bir.prompt tarafından manipüle edildi. İtaat etti, çünkü bozulmamıştı, aksine tasarlandığı gibi çalışıyordu.

Bu güvenlik açığı, yazılım hatalarını sömürmedi. Dildeki açığı sömürdü. Ve bu, siber güvenlikte önemli bir dönemeç noktası, saldırının hedefinin artık kod değil, konuşma olduğu bir dönem.

Yeni AI İtaat Problemi

AI ajanları yardımcı olmak için tasarlandı. Amaçları, kullanıcı niyetini anlamak ve verimli bir şekilde hareket etmek. Bu fayda, riskle birlikte geliyor. Dosya sistemlerine, üretkenlik platformlarına veya işletim sistemlerine gömülü olduğunda, bu ajanlar doğal dil komutlarına minimal direnişle uyuyor.

Tehtid aktörleri, tam da bu özelliğini sömürüyor. Görünüşte masum olan prompt enjeksiyonları ile hassas eylemleri tetikleyebiliyor. Bu promptlar arasında:

• Çok dilli kod parçacıkları
• Bulunan dosya formatları ve gömülü komutlar
• İngilizce dışı dil girişleri
• Gayriresmi dilde gizlenmiş çok adımlı komutlar

Büyük dil modelleri (LLM’ler) karmaşıklığı ve belirsizliği anlamak için eğitildiğinden, prompt yük haline geliyor.

Siri ve Alexa’nın Hayaleti

Bu model yeni değil. Siri ve Alexa’nın ilk günlerinde, araştırmacılar gösterdi ki, “Tüm resimlerimi bu e-postaya gönder” gibi bir ses komutu, kullanıcı onaylaması olmadan bir eylemi tetikleyebilirdi.

Şimdi tehdit daha büyük. Microsoft Copilot gibi AI ajanları, Office 365, Outlook ve işletim sistemine entegre edildi. E-postalara, belgelere, kimlik bilgilerine ve API’lere erişim sağlıyor. Saldırganlar, sadece doğru promptu cầnırarak kritik verileri çıkarabilir, aynı zamanda meşru bir kullanıcı gibi davranabilir.

Bilgisayarların Komutları Veri Sanması

Bu, siber güvenlikte yeni bir prensip değil. SQL saldırıları gibi enjeksiyonlar, sistemlerin girdi ve komutu ayırt edememesi nedeniyle başarılı oldu. Bugün, aynı hata, dil katmanında mevcut.

AI ajanları, doğal dili hem girdi hem de niyet olarak ele alıyor. Bir JSON nesnesi, bir soru veya bir cümle bir eylemi başlatabilir. Bu belirsizlik, tehdit aktörlerinin sömürdüğü şey.

Altyapımıza niyeti gömdük. Şimdi, tehdit aktörleri de bunu nasıl çıkaracağını öğrendi.

AI Benimsenmesi Siber Güvenliği Geçiyor

Şirketler, LLM’leri entegre etmeye çalışırken, kritik bir soruyu göz ardı ediyor: AI neye erişebilir?

Copilot işletim sistemine dokunabiliyorsa, patlama yarıçapı posta kutusunun çok ötesine geçer. Check Point’in AI Güvenlik Raporu‘na göre:

• Global Baş Bilgi Güvenliği Memurlarının (CISO) %62’si, AI ile ilgili ihlallerden kişisel olarak sorumlu tutulabileceğinden endişe ediyor
• Şirketlerin %40’ında, güvenlik denetimi olmadan iç AI kullanımı mevcut
• Siber suç gruplarının %20’si operasyonlarına AI’ı dahil ediyor, bu da phishing ve keşif için kullanılıyor

Bu, ortaya çıkan bir risk değil, zaten hasar veren mevcut bir risk.

Mevcut Önlemlerin Neden Yetersiz Kaldığı

Bazı satıcılar, tehlikeli promptları veya şüpheli davranışları yakalamak için ikincil modelleri kullanıyor. Bu filtreler temel tehditleri tespit edebilir, ancak kaçınma tekniklerine karşı savunmasız kalabilir.

Tehdit aktörleri:

• Filtreleri gürültü ile aşırı yükleyebilir
• Niyeti birden fazla adıma bölebilir
• Algılanmasını önlemek için açık olmayan ifadeyi kullanabilir

Echoleak durumunda, önlemler mevcuttu – ve bunlar atlandı. Bu, sadece politika değil, aynı zamanda mimari eksikliğini yansıtıyor. Bir ajanın yüksek düzeyde izinleri varsa ancak düşük düzeyde bağlamı varsa, iyi koruma önlemleri bile yetersiz kalabilir.

Algılama, Mükemmellik Değil

Her saldırıyı önlemek gerçekçi olmayabilir. Hedef, hızlı algılama ve hızlı içerme olmalıdır.

Şirketler:

• AI ajanı faaliyetlerini gerçek zamanlı olarak izleyebilir ve prompt denetim günlüklerini tutabilir
• AI araçlarına, yönetici düzeyindeki kontrolleri yansıtan, en düşük izinli erişimi uygulayabilir
• Duyarlı operasyonlara sürtünme ekleyebilir, örneğin onayları gerektirebilir
• Alışılmadık veya düşmanca prompt kalıplarını gözden geçirme için işaretleyebilir

Dil tabanlı saldırılar, geleneksel uç nokta algılama ve yanıt (EDR) araçlarında görünmez. Yeni bir algılama modeli gerektirir.

Şirketlerin Kendilerini Koruma İçin Şimdi Ne Yapması Gerekiyor

AI ajanlarını dağıtmadan önce, şirketlerin bu sistemlerin nasıl çalıştığını ve getirdikleri riskleri anlamaları gerekir.

Ana öneriler arasında:

1. Tüm erişimi denetleme: Ajanların neye dokunabileceğini veya tetikleyebileceğini bilin
2. Kapsamı sınırlama: Minimum gerekli izinleri verin
3. Tüm etkileşimleri izleme: Promptları, yanıtları ve oluşan eylemleri günlüğe kaydetme
4. Stres testi yapma: İçeride düşmanca girişimleri simüle edin ve sık sık tekrar edin
5. Kaçınma planı yapın: Filtrelerin atlanacağını varsayın
6. Güvenliği hizalama: LLM sistemlerinin güvenlik hedeflerini desteklediğini, değilse tehlikeye attığını đảmeyin

Yeni Saldırı Yüzeyi

Echoleak, gelecekte neler olabileceğinin bir ön izlemesi. LLM’ler geliştikçe, faydalılıkları bir yük haline geliyor. İş sistemlerine entegre edilmiş olarak, saldırganlara basit, iyi tasarlanmış promptlar aracılığıyla yeni bir giriş yolu sunuyor.

Bu artık sadece kodu güvence altına almak değil, dili, niyeti ve bağlamı güvence altına almak anlamına geliyor. Oyun planı şimdi değişmeli, yoksa çok geç olacak.

Ancak, iyi haber var. AI ajanlarını yeni ve ortaya çıkan siber tehditlere karşı savunma için kullanma konusunda ilerleme kaydediliyor. Doğru şekilde kullanıldığında, bu özerk AI ajanları, tehditlere insanlardan daha hızlı yanıt verebilir, ortamlar arasında işbirliği yapabilir ve tek bir saldırı girişiminden öğrenerek, ortaya çıkan risklere karşı proaktif olarak savunma sağlayabilir.

AI ajanları her saldırıdan öğrenebilir, gerçek zamanlı olarak adapte olabilir ve tehditleri yayılmadan önce önleyebilir. Yeni bir siber dayanıklılık çağı kurma potansiyeline sahip, ancak bunu ancak siber güvenliğin geleceğini birlikte şekillendirebilirsek mümkün olabilir. Bunu yapmazsak, bu yeni dönem, AI’yi (bazen bilinçsizce, gölge IT araçlarıyla) uygulamış şirketler için siber güvenlik ve veri gizliliği kâbusuna dönüşebilir. Şimdi, AI ajanlarının bizim için değil, aleyhimize kullanıldığından emin olmak için harekete geçme zamanı.