Sohbet Botu Güvenlik Önlemlerinin Yanlış Güvenlik Sınırı Olduğu

Kurumsal AI, kavram kanıtlama aşamasının çok ötesine geçti. Kuruluşların %23’ü zaten ajantik AI sistemlerini irgendir yerde ölçeklendiriyor ve %62’si en azından AI ajanları ile deneysel çalışıyor. Bunlar araştırma projeleri değil. Bunlar üretim dağıtımları, kod depolarına, müşteri verilerine, dahili API’lere ve operasyonel altyapıya dokunan iş akışlarına gömülmüş durumda.

Endüstrinin bu büyümeye verdiği yanıt, büyük ölçüde bir ajanın canlıya geçmeden önce neler olduğu üzerine odaklandı. Satıcılar ve araştırmacılar, öncül güvenlik önlemlerine enerji harcadılar: ölçeklendirme politikalarını yayınlamak, temel modelleri güçlendirmek, girişleri filtrelemek, AI tedarik zincirini güvence altına almak ve eğitim zamanında hizalamayı zorlamak. Büyük AI sağlayıcıları, önemli yatırımlar yaptı geliştiriciye yönelik güvenlik araçlarına, merkezi bir varsayımı pekiştirerek: model ve girişleri kontrol ediliyorsa, aşağı akış riski içerilebilir.

Bu bir makul içgüdü, ancak giderek artan bir şekilde eksik bir içgüdü.

Prompt Güvenlik Sınırı Değil

Model arayüzünde çalışan güvenlik önlemleri, principalmente uygulama kodunu, model yapılandırmasını ve altta yatan altyapıyı kontrol eden ekiplere yarar sağlar. Savunuculara, inşa etmedikleri ve değiştiremedikleri AI sistemlerini güvence altına almakla görevli olanlara çok daha az koruma sağlar. Bu, önemli bir kör nokta ve saldırganlar already bunu buldu.

OpenAI’nin son tehdit istihbarat raporu tam olarak bu dinamiği belgeliyor. Tehdit aktörleri, üretim ortamlarında ChatGPT ve benzeri araçları aktif olarak kötüye kullanıyor, yeni saldırı teknikleri icat etmek yerine, AI’ı mevcut iş akışlarına entegre ederek daha hızlı hareket ediyorlar. Keşif daha verimli hale geliyor. Sosyal mühendislik ölçekleniyor. Kötü amaçlı yazılım geliştirme hızlanıyor. Saldırı yüzeyi temelde değişmedi; sömürünün hızı ve hacmi değişti.

Daha da önemli olan, saldırganların bu araçlara karşı tepki göstermesi. OpenAI, tehdit aktörlerinin rapidement promt’larını değiştirerek, alt düzey varyasyonları ön cephe kontrollerini atlatmak için döndürerek temeldeki niyeti koruduklarını gözlemledi. Bu, güvenlik uygulayıcılarının daha önce gördüğü bir model. Statik savunmalar, ister imza tabanlı antivirüs ister girdi filtreleme olsun, kural güncellemelerinden daha hızlı迴る adverslere karşı duramaz.

Güvenlik önlemlerinin, model arayüzünde çalıştığı sürece, saldırganların eylemlerini kontrol edemeyeceği gerçeğinin farkında olmak önemlidir. AI sistemlerinin güvenliğini sağlamak için, güvenlik önlemlerinin, modelin kendisi yerine, ajanların davranışlarını izlemeye odaklanması gerekir. Bu, AI sistemlerinin güvenliğini sağlamak için daha etkili bir yaklaşım olacaktır.