Sırların Olmadığı Zorunluluk: Neden Geleneksel Güvenlik Modelleri AI Ajanları Kodu Dokunladığında Bozulur

Nisan 2023’te,  Samsung, mühendislerinin ChatGPT’ye duyarlı bilgileri sızdırdığını keşfetti. Ancak bu kazaydı. Şimdi, o kod depolarının, insanların göremeyeceği ancak AI tarafından işlenebilecek şekilde, kasıtlı olarak yerleştirilmiş talimatlar içerdiğini hayal edin; bu talimatlar, yalnızca kodu değil, AI’nin erişebileceği tüm API anahtarlarını, veritabanı kimlik bilgilerini ve hizmet tokenlerini çıkarmak üzere tasarlandı. Bu hipotetik değil. Guvenlik araştırmacıları already demonstrated bu “görünmez talimat” saldırılarının işe yaradığını gösterdi. Soru, bunun olacağı değil, ne zaman olacağıdır.

Artık Var Olmayan Sınır

Onlarca yıldır, güvenlik için temel bir varsayım üzerine inşa ettik: kod, kod ve veridir. SQL enjeksiyon, sorguları parametreleştirmeyi öğretti. Cross-site scripting, çıktıları kaçıştırmayı öğretti. Programların yaptığı şeylerle kullanıcıların girdiği şeyler arasında duvarlar inşa etmeyi öğrendik.

AI ajanlarıyla, bu sınır buharlaştı.

Tahmin edilebilir yollar izleyen deterministik yazılımların aksine, Büyük Dil Modelleri, meşru geliştirici talimatları ve kötü niyetli girdiler arasında ayrım yapamayan olasılıksal kara kutulardır. Bir saldırgan, bir AI kod asistanına bir.prompt verdiğinde, yalnızca veri sağlamıyor; uygulamayı uçtan uca yeniden programlıyor. Girdi, programın kendisi haline geliyor.

Bu, uygulama güvenliği hakkında bildiğimiz her şeyden temel bir kopuşu temsil ediyor. Geleneksel sözdizimi tabanlı güvenlik duvarları, DROP TABLE veya etiketleri gibi kötü niyetli kalıpları arayanlar, doğal dil saldırılarına tamamen başarısız oluyor. Araştırmacılar, “anlamsal ikame” tekniklerini gösterdi; bir.prompt’ta “API anahtarları”nı “elma” ile değiştirmek, saldırganların filtreleri tamamen atlamasına izin veriyor. Niyet, zararsız bir sohbet olarak gizlendiğinde, nasıl bir güvenlik duvarı oluşturursunuz?

Hiçbir Şey Yapmadan Gerçekleşen Saldırı

Güvenlik ekiplerinin çoğunun anlamadığı şey şudur: prompt enjeksiyonu, bir kullanıcının bir şeyler yazmasını gerektirmez. Bunlar genellikle hiç tıklama yapmayan saldırılar. Bir AI aracının, rutin bir görev için bir kod deposunu taraması, bir çekme isteğini gözden geçirmesi veya API belgelerini okuması, insan etkileşimi olmadan bir saldırıya neden olabilir.

Araştırmacıların already proventechniques dayandığı senaryoyu düşünün: Bir kötü niyetli aktör, bir açık kaynak kütüphanesinin belgelerindeki HTML yorumlarında görünmez talimatlar yerleştirir. GitHub Copilot, Amazon CodeWhisperer veya herhangi bir kurumsal kod asistanı gibi her bir AI asistanı, potansiyel bir kimlik bilgisi hasatçısına dönüşür. Bir tek compromir library, binlerce maruz kalan geliştirme ortamı anlamına gelebilir.

Tehlike, LLM itself değil; ona verdiğimiz yetkidir. Bu modelleri araçlarla ve API’lerle entegre ettiğimiz, verilere erişimine, kodu çalıştırmasına ve sırlara erişmesine izin verdiğimiz anda, yardımcı asistanları mükemmel saldırı vektörlerine dönüştürdük. Risk, modelin zekasıyla değil, bağlantılılığıyla ölçeklenir.

Neden Mevcut Yaklaşım Mahkum

Endüstri, şu anda “hizalama” modelleri ve daha iyi prompt güvenlik duvarları oluşturmaya odaklanmış durumda. OpenAI daha fazla koruma ekliyor. Anthropic, anayasal AI’ye odaklanıyor. Herkes, kandırılamayan modeller oluşturmaya çalışıyor.

Bu, kaybedilen bir savaştır.

Bir AI, faydalı olmak için yeterince akıllıysa, kandırılmak için yeterince akıllıdır. “Temizleme tuzağı”na düşüyoruz: daha iyi girdi filtrelemesinin bizi kurtaracağı varsayımı. Ancak saldırılar, HTML yorumlarında görünmez metin olarak, belgelerin derinliklerinde veya hayal bile edemeyeceğimiz şekillerde gizlenebilir. Bağlamı anladığınız şeyi temizleyemezsiniz ve bağlam, LLM’leri güçlü yapan şeydir.

Endüstri, bir gerçeği kabul etmek zorundadır: prompt enjeksiyonu başarılı olacaktır. Soru, ne zaman başarılı olacağıdır.

İhtiyacımız Olan Mimarisi Değişikliği

Şu anda “yama aşamasındayız”, aceleyle girdi filtreleri ve doğrulama kuralları ekliyoruz. Ancak, SQL enjeksiyonunun önlenmesi için parametreli sorgulara ihtiyacımız olduğunu, daha iyi dize kaçışından daha iyi olduğunu öğrendiğimiz gibi, AI güvenliği için mimari bir çözüme ihtiyacımız var.

Cevap, sistemleri inşa etme şeklimizi yeniden düşünmeyi gerektiren basit bir ilkeye dayanır: AI ajanlarının asla kullandıkları sırlara sahip olmamalıdır.

Bu, daha iyi kimlik bilgisi yönetimi veya geliştirilmiş kasa çözümleri hakkında değil; AI ajanlarını, parolalara ihtiyaç duyan kullanıcılar yerine benzersiz, doğrulanabilir kimlik olarak tanımlamaktır. Bir AI aracının, bir korumalı kaynağı erişmesi gerektiğinde:

1. Doğrulanabilir kimliği (depolanmış bir sır değil) kullanarak kimlik doğrulaması

2. Yalnızca o belirli görev için geçerli olan anında kimlik bilgileri alması

3. Bu kimlik bilgilerinin otomatik olarak saniyeler veya dakikalar içinde sona ermesi

4. Asla uzun süreli sırları depolamaması veya “görmemesi”

Birkaç yaklaşım ortaya çıkıyor. AWS IAM rolleri için hizmet hesapları, Google’ın İş Yükü Kimliği, HashiCorp Vault’ın dinamik sırları ve Akeyless’ın Sıfır Güvenli Sağlama gibi özel çözümler, bu sırsız geleceğe işaret ediyor. Uygulama ayrıntıları farklılık gösterse de, ilke aynı kalıyor: AI’nin çalmak için sırları yoksa, prompt enjeksiyonu önemli ölçüde daha küçük bir tehdit haline geliyor.

2027 Geliştirme Ortamı

Üç yıl içinde, .env dosyası AI destekli geliştirmede ölü olacak. Çevre değişkenlerinde uzun süreli API anahtarları, şifrelerin düz metin olarak görüldüğü daha naif bir zamanın utandırıcı bir kalıntısı olarak görülecek.

Bunun yerine, her AI aracının, katı ayrıcalık ayrımı altında çalışacağından emin olunacak. Varsayılan olarak salt okunur erişim. Eylem beyaz listesi standart. Kumanda edilmiş yürütme ortamları, bir uyum gereksinimi olarak. AI’nin ne düşündüğü üzerinde kontrol etmeye çalışmak yerine, AI’nin ne yapabileceğini kontrol etmeye odaklanacağız.

Bu, yalnızca bir teknik evrim değil; aynı zamanda güvenlik modellerinde temel bir değişim. “Güven ve doğrula”dan “asla güvenme, her zaman doğrula ve tehlikeyi varsay”ya geçiyoruz. AI’nin günlük olarak potansiyel olarak kötü niyetli girdileri işlediği junior geliştirici olduğunda, en az ayrıcalık ilkesi, tartışılmaz hale geliyor.

Karşılaştığımız Seçim

Yazılım geliştirmeye AI’nin entegrasyonu kaçınılmaz ve büyük ölçüde faydalı. GitHub, geliştiricilerin Copilot’u kullandığını, görevleri %55 daha hızlı tamamladığını bildiriyor. Verimlilik kazanımları gerçek ve rekabet etmek isteyen hiçbir organizasyon bunları göz ardı edemez.

Ancak, bir yol ayrımındayız. Mevcut yolda devam edebilir, daha fazla koruma ekleyebilir, daha iyi filtreler oluşturabilir ve AI ajanlarının kandırılamayacağına umut bağlayabiliriz. Veya tehdidin temel doğasını kabul edebilir ve buna göre güvenlik mimarimizi yeniden inşa edebiliriz.

Samsung olayı, bir uyarı ateşiydi. Bir sonraki ihlal kazara olmayacak ve bir şirkete özgü不会. AI ajanları daha fazla yetenek kazandıkça ve daha fazla sisteme erişadıkça, potansiyel etki üssel olarak artıyor.

Her bir BT güvenlik sorumlusu, mühendislik lideri ve geliştiricinin sorusu basittir: Prompt enjeksiyonu, ortamınızda başarılı olduğunda (ve olacak), saldıran ne bulacak? Uzun süreli kimlik bilgilerinin hazinesini mi yoksa sırları çalmak için hiçbir şeyi olmayan, ancak tehlikeye açık bir AI aracını mı bulacak?

Şimdi aldığımız karar, AI’nin yazılım geliştirmenin en büyük hızlandırıcısı mı yoksa yarattığımız en büyük zafiyet mi olacağına karar verecek. Güvenli, sırsız AI sistemlerini inşa etmek için teknoloji bugün mevcut. Soru, saldırganların bizi zorlayacağından önce bunu uygulayacağımız.

OWASP, prompt enjeksiyonunu LLM uygulamaları için #1 risk olarak already identified. NIST, sıfır güven mimarileri hakkında rehberlik geliştiriyor. Çerçeveler mevcut. Tek soru, uygulama hızı ile saldırı evrimi arasındaki fark.