Yapay zekâ ajanları akıllanırken saldırı yüzeyleri de büyüyor

Yapay zekâ ajanları sizin adınıza toplantılar planlamaya, kod çalıştırmaya ve internette gezinmeye başladığı anda siber güvenlik tartışması değişti. Yavaş yavaş değil, bir gecede.

Önceden sınırları belli, öngörülebilir bir yazılım sistemi olan şey, bir yıl önce varlıklarından neredeyse haberdar olmadığı araçları ve API’leri kullanarak akıl yürüten, plan yapan ve harekete geçen bir sisteme dönüştü.

Bu gerçekten heyecan verici, aynı zamanda gerçekten ürkütücü. Çünkü bu özerkliğin beraberinde getirdiği saldırı yüzeyi devasa ve çoğu kuruluş, ajanları altyapısına almanın ne anlama geldiğini ancak yeni yeni anlamaya başlıyor.

Sohbet botlarından eyleme geçen ajanlara

Yapay zekânın ilk vaadi basitti: bir soru sor, bir yanıt al. Çoğu tüketici etkileşiminde bu hâlâ geçerli, ancak kurumsal kullanımlarda durum artık farklı. Bugünün ajanlarına kimlik bilgileri, API anahtarları ve verileri silme, oluşturma ve açıklama notları ekleme yetkileri veriliyor. Ayrıca gerçek sonuçlar doğuran sistemlerde fiilen işlem yapabiliyorlar.

Bu değişim hızlı gerçekleşti. İki yıldan kısa bir sürede yapay zekâ ajanları, metin üreten araçlar olmaktan çıkıp sorunsuz işleyen çok ajanlı sistemler çalıştırmamızı sağlayan araçlara dönüştü. E-postaları okuyor, iş akışlarını tetikliyor, veritabanlarını sorguluyor ve bazı durumlarda altlarındaki diğer ajanları yönetiyorlar. Bu erişim düzeyi eskiden uzun bir satın alma süreci ve insanın sürece katılımını gerektiriyordu. Şimdi bir yapılandırma dosyası ve birkaç API çağrısı yeterli.

Daha fazla erişim, daha fazla maruziyet

Geleneksel yazılım saldırıları bir ölçüde öngörülebilir bir profile sahiptir. Bilinen bir giriş noktası, bilinen bir açık ve bilinen bir yama vardır. Yapay zekâ ajanları, tasarımları gereği dinamik oldukları için bu modeli bozar. Statik bir kod yolunu izlemezler. Sonraki adımda ne yapacaklarına ilişkin akıl yürütürler. Bu da davranışlarının öngörülmesini zorlaştırır ve sonradan denetlenmesini çok daha zor hâle getirir.

Bu öngörülemezlik, işlerin yapılması açısından yararlıdır. Sistemin açıklarından yararlanmaya çalışanlar için de bir avantajdır. Bir ajan, görevin ortasında harici bir API’yi çağırmaya veya üçüncü taraf bir aracı kullanmaya karar verebildiğinde, savunulacak net bir çevre sınırı kalmaz.

Güvenlik ekipleri bilinen yüzeyleri korumaya ve Kubernetes maliyetlerini izlemeye alışkındır. Ajanlar sürekli yeni saldırı yüzeyleri ve açıklardan yararlanma yöntemleri keşfeder; kimse bunların gerçek zamanlı haritasını çıkarmamaktadır. Siz farkına varmadan biri kimlik bilgilerini ele geçirip tek hamlede tüm yapay zekâ “organizmanızın” kontrolünü alabilir.

Prompt enjeksiyonu, yeni SQL enjeksiyonudur

Güvenlik araştırmacılarının sürekli geri döndüğü bir saldırı vektörü varsa o da prompt enjeksiyonudur. Fikir basittir: saldırgan, bir kod açığından yararlanmak yerine ajanın girdileri aracılığıyla aldığı talimatları değiştirir. Bir web sayfasına gömülü kötü niyetli bir talimat ya da bir belgeye veya hatta bir e-postaya gömülü benzer bir talimat, ajanın sonraki eylemlerinin yönünü değiştirebilir.

Bunu özellikle tehlikeli kılan, ajanların çoğu zaman tam olarak kendilerine söyleneni yapmasıdır. Web’den, kullanıcı mesajlarından ve üçüncü taraf araçlardan gelen içeriği işlerler. Bu içeriğin herhangi biri olası bir enjeksiyon yüzeyi olabilir. Ele geçirilmiş bir belgeyi okuyup içeriğine dayanarak API çağrıları yapan bir ajan da ele geçirilmiştir ve muhtemelen neden-sonuç zincirini açıkça ortaya koyan hiçbir kayıt tutmayacaktır.

Buradaki savunmalar gerçektir, ancak eksiktir. Ajan eylemlerini yalıtılmış bir ortamda çalıştırmak, belirli bağlamlarda çağırabileceği araçları sınırlamak ve önemli sonuçlar doğuran iş akışlarına insan kontrol noktaları eklemek riski azaltır. Ortadan kaldırmaz. Çoğu kuruluş henüz en temel önlemleri bile uygulamamıştır.

Çok ajanlı sistemlerde güven sorunu

Çok ajanlı sistemler, kolayca hafife alınabilecek bir karmaşıklık katmanı getirir. Bir ajan diğer birkaç ajanı koordine ettiğinde bir güven hiyerarşisi oluşur. Koordinatör talimatları aşağıya iletir, alt ajanlar da bunlara uyar. Koordinatör ele geçirilirse altındaki her ajan da fiilen ele geçirilmiş olur ve etki alanı çok hızlı büyür.

Bir başka sorun da gereğinden fazla yetki verilmesidir. Ajanlara çoğu zaman ihtiyaçlarından fazla erişim sağlanır; çünkü başlangıçta geniş izinler vermek, bu izinleri aşamalı olarak iyileştirmekten kolaydır. Bir araştırma ajanının üretim veritabanına yazma erişimine ihtiyacı yoktur.

Toplantı planlayan bir ajanın mali kayıtlara erişmesi gerekmez. Elbette her şeyin birbirine bağlı olması güven verici hissettirebilir, ancak risk, faydaların azalmadan sürmesini sağlayamayacak kadar büyüktür. Uygulamada sınırlar bulanıklaşır ve teoride iyi işleyen asgari yetki ilkeleri, ürünü piyasaya çıkarma telaşı içinde sessizce terk edilir.

Burada makul güvenlik nasıl görünür?

Ajanların kullanımını güvenli hâle getiren tek bir çözüm yoktur. Bu, katmanlı bir sorundur ve katmanlı bir yanıt gerektirir. Bunu iyi yapan kuruluşlar genellikle erişim kontrolleriyle başlar: her ajana açıkça tanımlanmış, dar bir kapsam verir ve hassas sistemleri ya da harici hizmetleri ilgilendiren her eyleme inceleme adımları eklerler.

Gözlemlenebilirlik, önleme kadar önemlidir. Bir ajan beklenmedik bir şey yaparsa ekipler, hangi talimatları aldığına ilişkin tam bir iz kaydına ihtiyaç duyar; hangi araçları çağırdığı ve hangi sonuçları döndürdüğü de bu kayıtta yer almalıdır. Çoğu günlükleme sistemi bu ayrıntı düzeyi düşünülerek kurulmamıştır ve bunu sonradan eklemek zahmetlidir. Başlangıçta sisteme dâhil etmek, getirdiği zorluklara değer.

Saldırganın bakış açısından testler de yeterince kullanılmıyor. Ajanlara red team testleri uygulamak, özellikle kötü niyetli talimatlar enjekte etmeye çalışıp neler olduğunu izlemek, statik kod incelemesinin asla yakalayamayacağı açıkları ortaya çıkarır. Düşünmesi rahatsız edici olsa da sonunda bu sistemlerin açıklarından yararlanmaya çalışacak kişiler bu testleri zaten yapıyor. Onlardan önce davranmak, tek mantıklı adımdır.

Son düşünceler

Yapay zekâ ajanları kuruluşların çalışma biçiminde daha büyük bir rol oynayacak ve bu değişim çoktan hız kazandı. Güvenlik tartışmasının buna yetişmesi gerekiyor, üstelik hızla. Riskler gerçek, saldırı vektörleri yeni ve önlerine geçmek için kalan zaman daralıyor.

Otonom yapay zekâ sistemlerine yönelik tehdit ortamını anlamak artık isteğe bağlı değil. Güvenlik ve mühendislik ekiplerinin şu anda yapabileceği en önemli işlerden biri bu ve bunu doğru yapmak için zaman çoktan işlemeye başladı.