Hallüsinasyon Kontrolü: LLM’lerin Güvenlik Süreçlerinin Bir Parçası Olarak Dağıtılmasının Yararları ve Riskleri

Büyük Dil Modelleri (LLM’ler) geniş veri miktarlarında eğitilebilir ve güvenlik operasyonları ekiplerini daha akıllı hale getirebilir. LLM’ler, yanıt, denetimler, duruş yönetimi ve daha fazlası konusunda öneriler ve rehberlik sağlar. Çoğu güvenlik ekibi, iş akışlarındaki manuel emeği azaltmak için LLM’leri deneysel olarak kullanıyor veya kullanıyor. Bu, hem sıradan hem de karmaşık görevler için olabilir.

Örneğin, bir LLM, bir çalışana, paylaştığı belgenin propriyetery olup olmadığını sordu ve yanıtı işleme ve güvenlik uzmanına bir öneri ile yanıtlayabilir. Bir LLM ayrıca, açık kaynak modüllerdeki tedarik zinciri saldırılarını arama taleplerini çevirebilir ve belirli koşullara odaklanmış ajanlar oluşturabilir – geniş olarak kullanılan kütüphanelere yeni katkıda bulunanlar, uygun olmayan kod kalıpları – ve her ajan bu özel koşul için hazırlanabilir.

Bununla birlikte, bu güçlü AI sistemleri, güvenlik ekiplerinin karşılaştığı diğer risklerden farklı önemli riskler taşır. Güvenlik LLM’lerini güçlendirerek modeller,.prompt enjeksiyonu veya veri zehirlenmesi yoluyla tehlikeye atılabilir. Yeterli insan rehberliği olmadan sürekli geri bildirim döngüleri ve makine öğrenimi algoritmaları, kötü aktörlerin kontrolleri araştırmalarına ve sonra kötü hedeflenmiş yanıtları indüklemelerine izin verebilir. LLM’ler, sınırlı alanlarda bile, halüsinasyonlara eğilimlidir. En iyi LLM’ler bile, cevabı bilmediklerinde uydurur.

Güvenlik süreçleri ve LLM kullanımına ilişkin AI politikaları, bu sistemlerin siber güvenlik operasyonları ve araştırmalar boyunca daha yaygın hale gelmesiyle daha kritik hale gelecek. Bu süreçlerin uyumlu olmasının, ölçüldüğünün ve yönetim sistemlerinde hesaplandığının garantilenmesi, CISO’ların yeni talimatlar gibi Siber Güvenlik Çerçevesi 2.0’yi karşılamak için yeterli GRC (Yönetişim, Risk ve Uygunluk) kapsamını sağlamalarına kanıtlayacaktır.

Siber Güvenlikte LLM’lerin Büyük Vaadi

CISO’lar ve ekipleri, yükselen yeni siber saldırı dalgasıyla sürekli olarak mücadele ediyor. Qualys’e göre, 2023 yılında bildirilen CVE’lerin sayısı 26,447 yeni bir rekor ile vurdu. Bu, 2013’ten bu yana 5 katından fazla.

Bu zorluk, ortalama bir organizasyonun saldırı yüzeyi her geçen yıl büyüdükçe daha da zor hale geldi. AppSec ekipleri, daha fazla yazılım uygulamasını güvence altına almak ve izlemek zorundadır. Bulut bilişim, API’ler, çoklu bulut ve sanallaştırma teknolojileri ek karmaşıklık ekledi. Modern CI/CD araçları ve süreçleri ile uygulama ekipleri, daha fazla kodu, daha hızlı ve daha sık gönderebilir. Mikro hizmetler, monolitik uygulamaları birçok API ve saldırı yüzeyine böldü ve ayrıca dış hizmetlerle veya müşteri cihazlarıyla iletişim için küresel güvenlik duvarlarında daha fazla delik açtı.

Gelişmiş LLM’ler, siber güvenlik ekiplerinin iş yükünü azaltma ve yeteneklerini iyileştirme konusunda büyük vaat ediyor. AI destekli kodlama araçları, yazılım geliştirmeye weit olarak nüfuz etti. Github araştırması, geliştiricilerin %92’sinin kod önerisi ve tamamlama için AI araçlarını kullandığını veya kullanmış olduğunu buldu. Bu “kaptan” araçlarının çoğu, bazı güvenlik yeteneklerine sahiptir. Aslında, programatik disiplinler, nispeten ikili sonuçlar (kod ya birim testlerini geçer ya da geçmez) ile, LLM’ler için uygunlardır. Kod taraması ve yazılım geliştirme için CI/CD pipeline’ın ötesinde, AI, siber güvenlik ekipleri için birkaç başka şekilde değerli olabilir:

• İyileştirilmiş Analiz: LLM’ler, güvenlik verilerini (günlükler, uyarılar, tehdit istihbaratı) büyük miktarlarda işleyerek, insanlara görünmeyen kalıpları ve korelasyonları tanımlayabilir. Bu, dil, saat ve birçok boyut boyunca yapılabilir. Güvenlik ekipleri için yeni fırsatlar açar. LLM’ler, uyarı yığınını neredeyse gerçek zamanlı olarak yakabilir ve en ciddi olabilecek olanları işaretleyebilir. Takviye öğrenimi yoluyla, analiz zamanla iyileştirilmelidir.
• Otomasyon: LLM’ler, normalde sözlü geri bildirim gerektiren güvenlik ekibi görevlerini otomatikleştirebilir. Örneğin, bir güvenlik ekibi bir IoC aldığında ve bir uç noktanın sahibine gerçekten bir cihaza giriş yapıp yapılmadığını veya normal çalışma bölgelerinin dışında olup olmadığını sormaya ihtiyaç duyduğunda, LLM bu basit işlemleri gerçekleştirebilir ve ardından gerektiğinde sorular, bağlantılar veya talimatlar takip edebilir. Bu, bir IT veya güvenlik ekibi üyesinin kendisi tarafından gerçekleştirilmesi gereken bir etkileşimdi. LLM’ler ayrıca daha gelişmiş işlevler sağlayabilir. Örneğin, bir Microsoft Copilot for Security, olay analiz raporları üretebilir ve karmaşık malware kodunu doğal dil açıklamalarına çevirebilir.
• Sürekli Öğrenme ve Ayarlama: Güvenlik politikaları ve anlama için önceki makine öğrenimi sistemlerinden farklı olarak, LLM’ler, insan değerlendirmelerini işleme ve daha yeni veri havuzlarından öğrenerek uçta öğrenebilir. Aslında, aynı temel model kullanarak, siber güvenlik LLM’leri, farklı ekiplerin, iş akışlarının veya bölgesel veya dikey özel görevlerinin ihtiyaçlarına göre ayarlanabilir. Bu, tüm sistemin, değişikliklerin tüm arayüzlere hızlı bir şekilde yayıldığı, aynı modelin zekasına anında sahip olacağı anlamına gelir.

Siber Güvenlikte LLM’lerin Riski

Kısa bir geçmişe sahip yeni bir teknoloji olarak, LLM’ler ciddi riskler taşır. Daha da kötüsü, bu risklerin tam kapsamını anlamak zor çünkü LLM çıkışları %100 öngörülebilir veya programatik değildir. Örneğin, LLM’ler “halüsinasyon” yapabilir ve yanıtları uydurabilir veya soruları yanlış cevaplayabilir, hayal ürünü veriler temelinde. Siber güvenlik kullanım örnekleri için LLM’leri benimmeden önce, aşağıdaki potansiyel riskleri dikkate almak gerekir:

• Prompt Enjeksiyonu: Saldırganlar, aldatıcı veya zararlı çıkışlar üretmek için özel olarak tasarlanmış kötü niyetli promtlar oluşturabilir. Bu tür bir saldırı, LLM’nin aldığı promtlara dayalı olarak içerik oluşturma eğilimini sömürebilir. Siber güvenlik kullanım örneklerinde, prompt enjeksiyonu, bir insider saldırısı veya yetkisiz bir kullanıcı tarafından gerçekleştirilen bir saldırı olarak en riskli olabilir ve bu, sistem çıkışlarını değiştirmek için promtları kullanabilir. Bu, diğer sistem kullanıcıları için yanlış veya geçersiz çıkışlar üretebilir.
• Veri Zehirlenmesi: LLM’lerin güvenilebileceği eğitim verisi, kasıtlı olarak bozulabilir ve karar verme süreçlerini tehlikeye atabilir. Siber güvenlik ortamlarında, organizasyonlar muhtemelen araç sağlayıcıları tarafından eğitilen modelleri kullanıyor, veri zehirlenmesi, modelin belirli müşteri ve kullanım örneği için ayarlanması sırasında meydana gelebilir. Burada risk, yetkisiz bir kullanıcının eğitim sürecini bozmak için – örneğin, bozulmuş günlük dosyaları – kötü veri eklemesidir. Yetkili bir kullanıcı da bunu istemeden yapabilir. Sonuç, kötü veri temelinde LLM çıkışları olacaktır.
• Halüsinasyonlar: Daha önce de bahsedildiği gibi, LLM’ler, promtları yanlış anlama veya temel veri hataları nedeniyle gerçeğe aykırı, mantıksız veya hatta kötü niyetli yanıtlar üretebilir. Siber güvenlik kullanım örneklerinde, halüsinasyonlar, tehdit istihbaratı, zafiyet triyajı ve düzeltme ve daha fazlasını engelleyen kritik hatalara neden olabilir. Siber güvenlik, kritik bir faaliyet olduğundan, LLM’lerin bu bağlamlarda halüsinasyonları yönetme ve önleme standartlarına uyması zorunludur.

AI sistemleri daha yetenekli hale geldikçe, bilgi güvenliği dağıtımları hızla genişliyor. Açık olmak gerekirse, birçok siber güvenlik şirketi, dinamik filtreleme için kalıp eşleştirmeyi ve makine öğrenimini uzun süredir kullanıyor. Nesnel AI çağındaki yenilik, mevcut iş akışları ve veri havuzları üzerine bir zeka katmanı sağlayan etkileşimli LLM’lerdir; bu, siber güvenlik ekiplerinin verimliliğini artırma ve yeteneklerini geliştirme amacını taşır. Diğer bir deyişle, GenAI, güvenlik mühendislerine, daha az çaba ve aynı kaynaklarla daha fazla şey yapma ve daha iyi performans ve hızlandırılmış süreçler elde etme yardımcı olabilir.