Yapay Zeka Görünürlük Krizi: Güvenlik Ekipleri Neden Körler ve Neden Olmasınlar

Üretim ortamlarına yapay zeka ajanlarının entegrasyonu hızlanıyor, ancak bunları güvence altına almak için gereken güvenlik altyapısı tehlikeli bir şekilde geride kalıyor. Bir yapay zeka ajanının, bir staging ortamındaki rutin bir işi bağımsız olarak “düzeltmek” için bir veritabanı birimini silmesi possível.

Endüstri olarak, yapay zeka etrafındaki temel güvenlik ve gözlemlenebilirlik ilkelerine gelince kolektif olarak beyinlerimizi kapatıyoruz. Güvenlik ekipleri körler, ancak olmak zorunda değiller.

Sistem Promt’ları ve Güvenli Araçların Efsanesi

Yapay zeka alanında yaygın bir efsane, ajanların davranışlarını sadece onlara nasıl davranacaklarını söyleyerek kontrol edebileceğimizdir. Sistem promt’ları danışman, değil zorlayıcı. Yukarıda bahsedilen olayda, yapay zeka’nın sistem kuralları, hiçbir zaman yıkıcı komutlar çalıştırmamasını açıkça belirtmişti, ancak ajan kendi pazarlanan koruma sınırlarını ihlal etti ve mümkün olan en geri dönülemez eylemi gerçekleştirdi.

Bizim, yapay zeka’nın aslında hiçbir şey bilmediği varsayımı altında çalışmamız gerekiyor. Yapay zeka’ya yönelik saldırılar, sosyal mühendislik saldırısıdır, ancak hedef ortalama insandan daha aptal. Penetrasyon testi deneyimi olan herkes, organizasyonların sosyal mühendislik saldırılarına karşı savunmanın ne kadar zor olduğunu bilir. Şimdi bilgisayarlarımız da savunmasız.

Ayrıca, yapay zeka araçları esasen yalnızca yazılımlardır ve tüm yazılımlar hatalıdır. Yapay zeka araçlarının, kimliği doğrulanmamış HTTP sunucularını otomatik olarak başlattığı ve herhangi bir yerel işlem veya web sitesinin kullanıcı ayrıcalıklarıyla任意 kabuk komutlarını çalıştırmasına izin verdiği durumları zaten gördük.

Yapay Zeka Denetiminin Kara Kutusu

Bir yapay zeka kötüye kullanıldığında veya manipüle edildiğinde, ne yaptığını belirlemek bir kâbus. Yapay zeka araçları genellikle denetim günlükleri sağlamaz. Şanslıysanız ve kurumsal düzeydeyseniz, aldığınız günlükler yetersizdir. Örneğin, size “Kullanıcı Gen AI kullandı” gibi belirsiz bir olay alırsınız ve yalnızca temel metrikleri gösteren girişte ve çıkışta token sayılarını alırsınız.

Hiçbiri, bir güvenlik analistinin temel soruyu cevaplamasına yardımcı olmaz: Bu ajan tam olarak ne yaptı?

Yapay Zeka’yı Açığa Çıkarmak: Kör Olmaktan Nasıl Kurtulursunuz

İyi haber, görünürlüğü geri kazanmak için yeni bir yapay zeka güvenlik cihazı satın almanız gerekmez. Gölge Yapay Zeka kullanımı ve ajan faaliyetleri, ekibinizin zaten yapması gereken günlük analizi teknikleri kullanılarak tespit edilebilir. Yapay zeka aracı çağrıları, komut yürütme ve sistem değişen olaylar, mevcut işleme yürütme analizi (güvenlik bilgi ve olay yönetimi (SIEM) kullanarak yapay zeka’ya izlenebilir).

Aşağıda, mevcut altyapınızı kullanarak yapay zeka faaliyetini nasıl tespit edebileceğiniz açıklanmıştır:

• DNS Analizi: Yapay zeka hizmet alanlarına yapılan DNS sorgularını analiz ederek, ortamınızdaki yapay zeka kullanımını tespit edebilirsiniz.
• Tehtid Listeleri: Bu yaklaşım, yapay zeka platformları veya model sağlayıcıları ile ilişkili alanların güncel bir tehdit listesini gerektirir.
• Topluluk Kaynakları: Programlı kullanım için değiştirilebilecek topluluk projeleri ve engel listeleri mevcuttur.
• SSL İzleme: Benzer bir yaklaşım, sunucu adlarını izlemek için SSL günlüklerini kullanabilir, ancak tam URL kaydedilmediği için biraz daha az ayrıntı sağlar.
• Uç Nokta Telemetri: Sysmon gibi araçları kullanarak, alt işlemleri sayabilir ve yüksek bash oluşturucuları avlayabilirsiniz, bu da bir uç noktada komutları çalıştıran potansiyel yapay zeka ajanlarının güçlü bir göstergesidir.

Aktif değişiklikler gerektiren kör nokta, kendisiyle ilgili promt’lardır. Kullanıcılar yapay zekadan ne istiyor? Potansiyel olarak duyarlı belgeleri yüklüyorlar mı, böylece uyumluluk sorunları yaratıyorlar mı? Bu soruları cevaplamak, muhtemelen sağlayıcıya yapılan API isteklerini toplamak gerektirir; web proxy’leri, LLM proxy’leri ve günlükten ve SIEM’den veri alımı araçları. Bu araçlar, bu değerli veri kaynağını engelleyen perdeyi kaldırabilir.

Yeni Bir Tehdit: Kötü Amaçlı MCP Sunucuları

Model bağlam protokolü (MCP), yapay zeka uygulamalarının dış araçlar ve veri kaynaklarıyla nasıl entegre edildiğini belirtmek için ortaya çıktı. Bağlantıları standartlaştırsa da, “Kötü MCP” sunucuları aracılığıyla yeni saldırı vektörleri tanır.

Ellerini deneyebilecekleri bir elverişli eğitim atölyesi düzenliyorum. Öğrenciler, bir LLM’yi meşru araçları çağırmaya ve çıktıyı saldırgana göndermeye kandıran kötü amaçlı bir MCP sunucusu tasarlarlar. LLM’ler sosyal mühendislik açısından yüksek derecede savunmasız olduğu için, yerleşik koruma sınırlarını atlatmak genellikle sadece daha iyi bir söz seçimi veya bir hileli ön yüz meselesidir.

Öğrenciler genellikle kötü amaçlı sunucularını, yapay zeka’ya “bakım modunda” olduğunu ve “denetim günlüğü” için ikincil bir aracı veri göndermesi gerektiğini söylerler, böylece veri sızdırma meydana gelir. Bazıları diğerlerinden daha yaratıcı, ancak hepsi genellikle başarılı olur.

Kontrolü Geri Almak

Gerçek dünyada yapay zeka faaliyetini doğru bir şekilde denetlemek için, yapay zeka isteklerini engelleyen bir proxy ve büyük JSON yüklerini işleyebilecek bir günlük toplama aracına ihtiyacınız vardır. Bu görünürlükle, tehditleri tespit edebilir ve önceliklendirebilirsiniz. Güvenlik katmanını yalnızca yapay zeka satıcılarından sağlayarak güvenemezsiniz. Uygulama, organizasyonunuzun sistemlerinde, modelin uymayı kararlaştırdığı bir metin paragrafında değil, olmalıdır. İyi bir günlükleme çözümüyle, güvenlik ekipleri telemetriye sahiptir; artık bunu sorgulamaya başlamaları gerekir.