Düşünce Liderleri
Gizli bilgi barındırmayan sistemlerin gerekliliği: AI ajanları koda eriştiğinde geleneksel güvenlik modelleri neden başarısız olur?

Öne çıkan noktalarYapay zeka ajanları, istem enjeksiyonu saldırılarını etkisiz hale getirmek için sırlar…
Daha fazla göster
- Yapay zeka ajanları, istem enjeksiyonu saldırılarını etkisiz hale getirmek için sırlar olmadan çalışmalıdır.
- Geleneksel güvenlik filtreleri, yapay zekanın talimatları veriden ayırt edememesi nedeniyle başarısız olur.
- İstem enjeksiyonu, yapay zeka bağlantısıyla ölçeklenen sıfır tıklamalı bir tehdittir.
Nisan 2023’te, Samsung, mühendislerinin ChatGPT’ye hassas bilgiler sızdırdığını keşfetti. Ancak bu kazara oldu. Şimdi, bu kod depolarının kasıtlı olarak yerleştirilmiş talimatlar içerdiğini hayal edin, bunlar insanlara görünmez ancak AI tarafından işlenir ve yalnızca kodu değil, AI’nin erişebildiği her API anahtarını, veritabanı kimlik bilgisini ve hizmet belirtecini çıkarmak üzere tasarlanmıştır. Bu hipotetik değildir. Güvenlik araştırmacıları bu “görünmez talimat” saldırılarının işe yaradığını zaten kanıtladı. Soru bunun olup olmayacağı değil, ne zaman olacağıdır.
Artık Var Olmayan Sınır
Onlarca yıldır, güvenlik için temel bir varsayıma dayanarak inşa ettik: kod, kod, ve veri, veridir. SQL enjeksiyon, sorguları parametreleştirmeyi öğretti bize. Cross-site scripting, çıktıları kaçıştırmayı öğretti. Programların yaptığı şeylerle kullanıcıların girdiği şeyler arasında duvarlar inşa ettik.
AI ajanları ile bu sınır buharlaştı.
Öngörülebilir yollar izleyen deterministik yazılımların aksine, büyük dil modelleri olasılıksal kara kutulardır ve meşru geliştirici talimatları ile kötü niyetli girdileri ayırt edemez. Bir saldırgan, bir AI kod asistanına bir prompt verdiğinde, sadece veri sağlamıyor; uygulamayı anında yeniden programlıyor. Girdi, program kendisi haline geliyor.
Bu, uygulama güvenliği hakkında bildiğimiz her şeyden fundamental bir kopuşu temsil ediyor. Geleneksel sözdizimi tabanlı güvenlik duvarları, DROP TABLE veya <script> etiketleri gibi kötü niyetli kalıpları arıyor, ancak doğal dil saldırılarına tamamen başarısız oluyor. Araştırmacılar, “anlamsal ikame” tekniklerini gösterdi; bir prompt’ta “API anahtarları”nı “elma” ile değiştirmek, filtreleri tamamen atlatmayı sağlıyor. Niyeti, zararsız bir sohbet olarak gizlendiğinde nasıl güvenlik duvarı kurarsınız?
Kimsenin Tartışmadığı Sıfır Tıklama Gerçekliği
Güvenlik ekiplerinin çoğu, şunu anlamıyor: bir prompt enjeksiyonu, bir kullanıcının bir şeyler yazmasını gerektirmez. Bunlar genellikle tıklama gerektirmeyen açıklardan yararlanma saldırılarıdır. Bir AI aracı, sadece rutin bir görev için kod deposunu tarıyor, bir çekme isteğini gözden geçiriyor veya API belgelerini okuyor ve bu, herhangi bir insan etkileşimi olmadan bir saldırıyı tetikleyebilir.
Araştırmacıların zaten kanıtladığı tekniklere dayalı bir senaryo düşünün: Bir kötü niyetli aktör, popüler bir açık kaynak kütüphanesinin belgelerindeki HTML yorumlarına görünmez talimatlar yerleştirir. GitHub Copilot, Amazon CodeWhisperer veya herhangi bir kurumsal kod asistanı gibi her AI asistanı, potansiyel bir kimlik bilgisi hasatçısı haline gelir. Bir kütüphane tehlikeye girdiğinde, binlerce geliştirme ortamı tehlikeye girebilir.
Tehlike LLM’nin kendisi değil, ona verdiğimiz hareket etme yetkisidir. Bu modelleri araçlarla ve API’lerle entegre ettiğimiz, veri çekmelerine, kod çalıştırmalarına ve gizli bilgilere erişmelerine izin verdiğimiz anda, yararlı asistanları mükemmel saldırı vektörlerine dönüştürdük. Risk, modelin zekasıyla değil, bağlantısıyla ölçeklenir.
Neden Mevcut Yaklaşım Mahkum
Endüstri şu anda “hizalama” modelleri ve daha iyi prompt güvenlik duvarları inşa etmeye odaklanmış durumda. OpenAI daha fazla koruma önlemi ekliyor. Anthropic, anayasal AI’ye odaklanıyor. Herkes, kandırılamayan modeller inşa etmeye çalışıyor.
Bu, bir kaybedilen savaş.
Bir AI, faydalı olmak için yeterince zeki ise, aldatılmak için de yeterince zeki. “Temizleme tuzağı”na düşüyoruz: daha iyi girdi filtrelemesinin bizi kurtaracağına inanarak. Ancak saldırılar, HTML yorumlarında görünmez metin olarak, belgelerin derinlerinde gömülü olarak veya hayal bile edemeyeceğimiz şekillerde gizlenebilir. Bağlam içinde anlayamadığımız girdiyi temizleyemeyiz; LLM’leri güçlü kılan şey de tam olarak bu bağlamdır.
Sektör zor bir gerçeği kabul etmek zorunda: prompt enjeksiyonu başarılı olacak. Soru, başarılı olduğunda ne olacağıdır.
İhtiyacımız Olan Mimarideki Değişim
Şu anda “yama” aşamasındayız, aceleyle girdi filtreleri ve doğrulama kuralları ekliyoruz. Ancak SQL enjeksiyonunu önlemenin daha iyi dize kaçışlama yerine parametreli sorgular gerektirdiğini sonunda öğrenmemiz gibi, AI güvenliği için de mimari bir çözüme ihtiyacımız var.
Cevap, sistemleri inşa etme şeklimizi yeniden düşünmeyi gerektiren basit bir ilkeye dayanıyor: AI ajanları, kullandıkları gizli bilgilere asla sahip olmamalıdır.
Bu, daha iyi kimlik bilgisi yönetiminden veya geliştirilmiş kasa çözümlerinden bahsetmiyor. AI ajanlarını, parolalara ihtiyaç duyan kullanıcılar yerine benzersiz, doğrulanabilir kimlikler olarak tanımlamaktan bahsediyor. Bir AI ajanı korunan bir kaynağa erişmek istediğinde:
-
Doğrulanabilir kimliğiyle (depolanmış bir gizli değil) kimlik doğrulaması yapmalı
-
Belirli bir görev için geçerli olan sadece o anda kimlik bilgileri almalı
-
Bu kimlik bilgilerinin otomatik olarak saniyeler veya dakikalar içinde sona ermesi sağlanmalı
-
Uzun süreli gizli bilgileri asla saklamamalı veya “görmemeli”
Çeşitli yaklaşımlar ortaya çıkıyor. Hizmet hesapları için AWS IAM rolleri, Google’ın Workload Identity, HashiCorp Vault’ın dinamik gizlileri ve Akeyless’ın Zero Trust Provisioning çözümü gibi özel çözümler, bu gizli bilgi barındırmayan geleceğe doğru işaret ediyor. Uygulama detayları değişse de prensip aynı: AI’nin çalınabilecek gizli bilgisi yoksa, bir prompt enjeksiyonu çok daha küçük bir tehdit haline gelir.
2027 Geliştirme Ortamı
Üç yıl içinde, .env dosyası AI destekli geliştirmede ölü olacak. Ortam değişkenlerinde tutulan uzun ömürlü API anahtarları, bugün düz metin parolalara baktığımız gibi, daha naif bir zamanın utandırıcı bir kalıntısı olarak görülecek.
Bunun yerine, her AI aracı, sıkı ayrıcalık ayrımına tabi olarak çalışacak. Varsayılan olarak salt okunur erişim. Eylem beyaz listesi standart. Sandbox ile yalıtılmış yürütme ortamları, uyumluluk gereksinimi olarak görülecek. AI’nin ne düşündüğünü kontrol etmeye çalışmak yerine, AI’nin ne yapabileceğini kontrol etmeye odaklanacağız.
Bu, yalnızca teknik bir evrim değil; güven modellerinde temel bir değişim. “Güven fakat doğrula”dan “asla güvenme, her zaman doğrula ve sistemin ele geçirildiğini varsay”ya geçiyoruz. En az ayrıcalık ilkesi, uzun süredir vaaz edildi ama nadiren uygulandı, AI’nin günlük olarak potansiyel olarak kötü niyetli binlerce girdiyi işlediği bir ortamda kaçınılmaz hale geliyor.
Karşılaştığımız Seçim
AI’nin yazılım geliştirmeye entegrasyonu kaçınılmazdır ve büyük ölçüde yararlıdır. GitHub, Copilot kullanan geliştiricilerin görevleri %55 daha hızlı tamamladığını bildiriyor. Verimlilik kazanımları gerçektir ve rekabetçi kalmak isteyen hiçbir kuruluş bunları görmezden gelemez.
Ancak, bir yol ayrımındayız. Mevcut yolu takip etmeye devam edebiliriz, daha fazla koruma önlemi ekleyerek, daha iyi filtreler inşa ederek, AI ajanlarının kandırılamayacağına umut bağlayarak. Veya, tehdidin temel doğasını kabul edebiliriz ve güvenlik mimarimizi buna göre yeniden inşa edebiliriz.
Samsung olayı, bir uyarı atışıydı. Bir sonraki ihlal kazara olmayacak ve bir şirkete özgü kalmayacak. AI ajanları daha fazla yetenek kazandıkça ve daha fazla sistemi erişime açtıkça, potansiyel etki üssel olarak büyüyor.
Her CISO, mühendislik lideri ve geliştirici için soru basit: Ortamınızda prompt enjeksiyonu başarılı olduğunda, ki olacak, saldırgan ne bulacak? Uzun ömürlü kimlik bilgilerinden oluşan bir hazine mi, yoksa ele geçirilmesine rağmen çalınabilecek hiçbir gizli bilgisi olmayan bir AI ajanı mı?
Şimdi aldığımız karar, AI’nin yazılım geliştirmenin en büyük hızlandırıcısı mı yoksa en büyük zafiyeti mi olacağına karar verecek. Güvenli, gizli bilgi barındırmayan AI sistemleri inşa etme teknolojisi bugün mevcut. Soru, saldırganlar bizi zorlamadan önce bunu uygulayıp uygulamayacağımızdır.
OWASP, bir prompt enjeksiyonunu LLM uygulamalarına yönelik Top 10 listesinde 1. risk olarak belirledi. NIST, sıfır güven mimarileri hakkında rehberlik geliştiriyor. Çerçeveler mevcut. Tek soru, uygulama hızı mı, saldırı evrimi mi?
Bio: Refael Angel, Akeyless şirketinin Kurucu Ortağı ve CTO’sudur. Şirketin patentli Zero-Trust şifreleme teknolojisini geliştirdi. Uzman bir yazılım mühendisi ve derin uzmanlığa sahip kriptografi ve bulut güvenliği uzmanı olan Refael, daha önce Intuit’ (INTU ) in İsrail’deki Ar-Ge merkezinde Kıdemli Yazılım Mühendisi olarak çalıştı. Burada, kamu bulut ortamlarında şifreleme anahtarlarını yönetmek için sistemler inşa etti ve makine kimlik doğrulama hizmetleri tasarladı. Kudüs Teknoloji Koleji’nden 19 yaşında Bilgisayar Bilimi lisansını tamamladı.












