AI Ajanları Zeki Oluyor ve Saldırı Yüzeyi Büyüyor

AI ajanları, sizin adınıza toplantılar düzenlediğinde, kodları çalıştırdığında ve web’de gezindiğinde, siber güvenlik konuşması değişti. Yavaşça değil, bir gecede.

Önceden sınırlı, öngörülebilir bir yazılım sistemi, şimdi araçlar ve API’ler arasında neden olan, planlayan ve eylemler gerçekleştiren bir şeye dönüştü. Bir yıl önce var olmadığını bilmediği araçlar ve API’ler arasında.

Bu gerçekten heyecan verici ve aynı zamanda gerçekten korkutucu, çünkü otonomluğun getirdiği saldırı yüzeyi devasa ve çoğu organizasyon sadece AI ajanlarını altyapilerine sokmanın ne anlama geldiğini anlamaya başlıyor .

Chatbot’lardan Operatörlere

AI’nın ilk vaadi basitti: bir soru sor, bir cevap al. Bu, hala çoğu tüketici etkileşimi için doğru, ancak şirket içi dağıtımlarda artık böyle değil. Bugün ajanlar, kimlik bilgileri, API anahtarları ve veri silme, oluşturma ve not ekleme yetenekleri ile donatılmış durumda, ayrıca gerçek sistemlerde gerçek eylemler gerçekleştirebiliyorlar.

Değişim hızlı oldu. İki yıldan kısa bir süre içinde, AI ajanları metin üreticilerden, sorunsuz, çok ajanlı kurulumlara izin vermeye başladı. E-postaları okuyorlar, iş akışlarını tetikliyorlar, veritabanlarını sorguluyorlar ve bazı durumlarda altında bulunan diğer ajanları yönetiyorlar. Bu düzeyde erişim previously bir insan müdahalesi ve uzun bir satın alma sürecini gerektiriyordu. Şimdi ise bir yapılandırma dosyası ve birkaç API çağrısı ile gerçekleşiyor.

Daha Fazla Erişim, Daha Fazla Maruz Kalma

Geleneksel yazılım saldırıları somewhat öngörülebilir bir profile sahiptir. Bilinen bir giriş noktası, bilinen bir zafiyet, bilinen bir yama vardır. AI ajanları bu modeli bozuyorlar, çünkü tasarımı gereği dinamiklerdir. Statik bir kod yolunu izlemezler. Sonraki adımda ne yapacaklarına karar verirler, bu da davranışlarının öngörülmelerinin ve sonrasında denetlenmelerinin çok daha zor olduğu anlamına gelir.

Bu öngörülemezlik, iş yapmak için faydalıdır. Aynı zamanda sistemi sömüren biri için de bir avantajdır. Bir ajan, görevin ortasında, dış bir API’yi çağırmaya veya üçüncü taraf bir aracı çekmeye karar verebilir, bu da savunulacak temiz bir sınıra sahip olmayı imkansız kılar.

Güvenlik ekipleri, bilinen yüzeyleri korumaya ve Kubernetes maliyetlerini izlemeye alışkındır. Ajanlar yeni yüzeyler ve sömürüleri keşfeder, kimse bunları gerçek zamanlı olarak haritalamıyor. Birisi kimlik bilgilerini ele geçirmek ve tüm AI “organizmanızın” kontrolünü bir hamlede ele geçirmek için beklemeye gerek kalmadan.

Prompt Enjeksiyonu, Yeni SQL Enjeksiyonudur

Güvenlik araştırmacılarının tekrar tekrar döndüğü bir saldırı vektörü varsa, o da prompt enjeksiyonudur. Fikir basittir: bir saldırgan, bir ajanın aldığı talimatları manipüle eder, bunun yerine bir kod açığını sömüren bir saldırı gerçekleştirir. Bir web sayfasına, bir belgeye veya hatta bir e-postaya gömülü olan kötü niyetli bir talimat, ajanın sonraki adımlarını değiştirebilir.

Bu özellikle keskin çünkü ajanlar genellikle tam olarak dediklerine uyuyorlar. Web’den, kullanıcı mesajlarından, üçüncü taraf araçlardan içerik işliyorlar. Bu içeriklerin herhangi biri bir enjeksiyon yüzeyi olabilir. Bir ajan, bir saldırıya uğramış bir belgeyi okur ve sonra onun içeriğine dayanarak API çağrıları yaparsa, ele geçirilmiştir ve muhtemelen hiçbir zincirleme neden-sonuç ilişkisini açık bir şekilde kaydedemez.

Buradaki savunmalar gerçek, ancak eksik. Ajan eylemlerini kumanda yaparak, belirli bağlamlarda bir ajanın çağırabileceği araçları kısıtlayarak ve yüksek riskli iş akışlarına insan denetim noktaları ekleyerek risk azaltılabilir. Ancak risk tamamen ortadan kaldırılamaz. Ve çoğu organizasyon henüz temel önlemleri uygulamaya başlamadı.

Çok Ajanlı Sistemlerin İçindeki Güven Sorunu

Çok ajanlı sistemler, kolayca küçümsenebilecek bir karmaşıklık katmanı getirir. Bir ajan diğerlerini koordine ettiğinde, bir güven hiyerarşisi devreye girer. Koordinatör talimatları aşağıya iletir, alt ajanlar bunları izler. Eğer bu koordinatör tehlikeye girerse, altındaki tüm ajanlar da etkili bir şekilde tehlikeye girer ve patlama yarıçapı çok hızlı bir şekilde büyür.

Ajanlara genellikle ihtiyaç duyduklarından daha fazla erişim izni verilmesi de bir sorun. Ajanlara, bunları dần dần iyileştirmekten daha kolay olduğu için genellikle geniş izinler verilir. Bir araştırma ajanına, üretim veritabanına yazma erişimi gerekmez.

Bir zamanlama ajanına, mali kayıtlara erişim gerekmez. Elbette, her şeyi iç içe görmek rahatlatıcı gelebilir, ancak bu riskli bir yaklaşım ve geri dönülmez faydalar elde etmek için çok risklidir. Ancak uygulamada çizgiler bulanıklaşır ve teoride iyi çalışan minimal izin prensipleri, teslimatı hızlandırmak için sessizce terk edilir.

Burada Makul Güvenlik Nasıl Görünür?

AI ajanlarının dağıtımlarını güvende tutmak için tek bir çözüm yoktur. Bu, katmanlı bir sorun ve katmanlı bir yanıta ihtiyaç vardır. Güvenliği iyi yapan organizasyonlar genellikle erişim kontrolleriyle başlar: her ajana dar bir kapsam tanımlar ve duyarlı sistemlere veya dış hizmetlere dokunan herhangi bir eyleme inceleme adımları ekler.

İzlenebilirlik, önleme kadar önemlidir. Bir ajan beklenmedik bir şey yaparsa, ekiplerin, ajanın aldığı talimatların, çağırdığı araçların ve döndürdüğü sonuçların tam bir kaydına ihtiyacı vardır. Çoğu günlüğe kaydedilme kurulumu, bu düzeyde ayrıntı ile tasarlanmamıştır ve bunu sonradan geri yüklemek zorlu olabilir. İlk başta kurmak, sürtüşmeye değer.

Düşman testi de yeterince kullanılmıyor. Ajanları kırmızı takım olarak test etmek, özellikle kötü niyetli talimatları enjekte etmeye çalışmak ve ne olacağını görmek, statik kod incelemesinin asla yakalayamayacağı zayıflıkları ortaya çıkarır. Rahatsız edici olmakla birlikte, bu sistemleri sömürebilecek olanlar zaten bunu yapıyorlar. Onlardan önce davranmak, tek mantıklı hamle.

Son Düşünceler

AI ajanları, organizasyonların nasıl çalıştığına daha büyük bir katkıda bulunacak ve bu değişim zaten godtürüyor. Güvenlik konuşması, hızlı bir şekilde yetişmelidir. Riskler gerçek, saldırı vektörleri yeni ve onlara karşı koyma için zaman daralıyor.

Otonom AI sistemleri için tehdit ortamını anlamak artık isteğe bağlı değil. Güvenlik ve mühendislik ekipleri için şu anda yapabilecekleri en önemli şeylerden biri ve bunu doğru yapma saatleri zaten başladı.