Hallüsinasyon Kontrolü: LLM’lerin Güvenlik Süreçlerinin Bir Parçası Olarak Dağıtılmasının Yararları ve Riskleri

Büyük Dil Modelleri (LLM’ler) geniş veri miktarlarıyla eğitilebilir ve güvenlik operasyonları ekiplerini daha akıllı hale getirebilir. LLM’ler, yanıt, denetimler, duruş yönetimi ve daha fazlası için öneriler ve rehberlik sağlar. Çoğu güvenlik ekibi, iş akışlarındaki manuel emeği azaltmak için LLM’leri deneysel olarak kullanıyor veya kullanıyor. Bu, hem sıradan hem de karmaşık görevler için geçerli olabilir.

Örneğin, bir LLM, bir çalışana bir belgeyi paylaşıp paylaşmadığını soran bir e-posta gönderebilir ve cevabı bir güvenlik uzmanına öneri ile işleyebilir. Bir LLM ayrıca, açık kaynak modüllerdeki tedarik zinciri saldırılarını aramak için talepleri çevirme ve belirli koşullara odaklanan ajanları oluşturma görevi ile görevlendirilebilir — geniş olarak kullanılan kütüphanelere yeni katkıda bulunanlar, yanlış kod kalıpları — her ajan bu özel koşul için hazırlanır.

Bununla birlikte, bu güçlü AI sistemleri, güvenlik ekiplerinin karşılaştığı diğer risklerden farklı önemli riskler taşır. Güvenlik LLM’lerini güçlendirerek modeller,.prompt enjeksiyonu veya veri zehirlenmesi yoluyla tehlikeye düşebilir. Yeterli insan rehberliği olmadan sürekli geri bildirim döngüleri ve makine öğrenimi algoritmaları, kötü aktörlerin kontrolleri araştırmamasına ve sonra kötü hedeflenmiş yanıtları tetiklemesine izin verebilir. LLM’ler, sınırlı alanlarda bile, hayal güçlerine sahip olabilir. En iyi LLM’ler bile, cevabı bilmediklerinde uydurur.

Güvenlik süreçleri ve LLM kullanımına ilişkin AI politikaları, bu sistemlerin siber güvenlik operasyonları ve araştırmaları boyunca daha yaygın hale gelmesiyle daha kritik hale gelecek. Bu süreçlerin uyulduğunu, yönetişim sistemlerinde ölçüldüğünü ve hesaplandığını sağlamak, CISO’ların yeni yönetmeliklere uymak için yeterli GRC (Yönetişim, Risk ve Uygunluk) kapsamını sağlamalarına yardımcı olacaktır.

LLM’lerin Siber Güvenlikteki Büyük Vaadi

CISO’lar ve ekipleri, yükselen yeni siber saldırı dalgasıyla sürekli olarak başa çıkmaya çalışıyor. Qualys’e göre, 2023 yılında bildirilen CVE’lerin sayısı 26.447 yeni bir rekor ile vurdu. Bu, 2013’ten bu yana %5’ten fazla artış gösteriyor.

Bu zorluk, ortalama bir organizasyonun saldırı yüzeyi her geçen yıl büyüdükçe daha da zor hale geldi. Uygulama güvenliği ekipleri, daha fazla yazılım uygulamasını güvence altına almak ve izlemek zorundadır. Bulut bilişim, API’ler, çoklu bulut ve sanallaştırma teknolojileri ek karmaşıklık ekledi. Modern CI/CD araçları ve süreçleri ile uygulama ekipleri, daha fazla kodu, daha hızlı ve daha sık gönderebilir. Mikro hizmetler, monolitik uygulamaları birçok API’ye ve saldırı yüzeyine böldü ve ayrıca dış hizmetlerle veya müşteri cihazlarıyla iletişimi için global güvenlik duvarlarında daha fazla delik açtı.

Gelişmiş LLM’ler, güvenlik ekiplerinin iş yükünü azaltma ve yeteneklerini iyileştirme konusunda büyük vaat ediyor. AI destekli kodlama araçları, yazılım geliştirmeye yaygın olarak nüfuz etti. Github araştırması, geliştiricilerin %92’sinin kod önerisi ve tamamlama için AI araçlarını kullandığını veya kullanmış olduğunu buldu. Bu “copilot” araçlarının çoğu, bazı güvenlik özellikleri vardır. Aslında, programatik disiplinler, nispeten ikili sonuçlara sahiptir (kod ya birim testlerini geçer ya da geçmez) ve LLM’ler için uygundur. Kod taraması, yazılım geliştirme ve CI/CD pipeline’da além, AI, güvenlik ekipleri için birkaç başka şekilde değerli olabilir:

• Geliştirilmiş Analiz: LLM’ler, güvenlik verilerini (günlükler, uyarılar, tehdit istihbaratı) işleyerek, insanlara görünmeyen kalıpları ve korelasyonları belirleyebilir. Bu, diller, saatler ve birçok boyut boyunca yapılabilir. Güvenlik ekipleri için yeni fırsatlar sunar. LLM’ler, uyarı yığınını neredeyse gerçek zamanlı olarak işleyebilir, en ciddi olanları işaretleyebilir. Takviye öğrenimi ile analiz, zamanla gelişmelidir.
• Otomasyon: LLM’ler, güvenlik ekiplerinin genellikle sohbet gerektiren görevlerini otomatikleştirebilir. Örneğin, bir güvenlik ekibi bir IoC aldığında ve bir uç noktanın sahibine, gerçekten bir cihaza giriş yapıp yapılmadığını veya normal çalışma alanlarının dışında olup olmadığını sormak isterse, LLM bu basit operasyonları gerçekleştirebilir ve ardından gerektiğinde sorular, bağlantılar veya talimatlar ile takip edebilir. Bu,以前 bir IT veya güvenlik ekibi üyesinin kendisi tarafından gerçekleştirilen bir etkileşimdi. LLM’ler ayrıca daha gelişmiş işlevler sağlayabilir. Örneğin, bir Microsoft Copilot for Security, olay analizi raporları üretebilir ve karmaşık malware kodunu doğal dil açıklamalarına çevirebilir.
• Sürekli Öğrenme ve Ayarlanma: Önceki güvenlik politikaları ve anlama için makine öğrenimi sistemlerinden farklı olarak, LLM’ler, insan derecelendirmelerini yutan ve daha yeni veri havuzlarında retune ederek uçta öğrenebilir. Aslında, aynı temel model kullanılarak, siber güvenlik LLM’leri, farklı ekiplerin ve ihtiyaçlarının, iş akışlarının veya bölgesel veya dikey özel görevlerin ihtiyaçlarına göre ayarlanabilir. Bu, tüm sistemin anında model kadar akıllı olabileceği ve değişikliklerin tüm arayüzlerde hızlı bir şekilde yayılacağı anlamına gelir.

LLM’lerin Siber Güvenlikteki Riski

Kısa bir geçmişe sahip yeni bir teknoloji olarak, LLM’ler ciddi riskler taşır. Daha da kötüsü, bu risklerin tam kapsamını anlamak zorlu çünkü LLM çıkışları %100 öngörülebilir veya programatik değildir. Örneğin, LLM’ler “hayal gücü”ne sahip olabilir ve yanlış veya eksik cevaplar verebilir, hayal ürünü veriler temelinde. Siber güvenlik kullanım örnekleri için LLM’leri benimmeden önce, aşağıdaki potansiyel riskleri dikkate almak gerekir:

• Prompt Enjeksiyonu: Saldırganlar, aldatıcı veya zararlı çıkışlar üretmek için özel olarak tasarlanmış kötü niyetli promtlar oluşturabilir. Bu saldırı, LLM’nin aldığı promtlara dayalı içerik oluşturma eğilimini sömürebilir. Siber güvenlik kullanım örneklerinde, prompt enjeksiyonu, bir insider saldırısı veya yetkisiz bir kullanıcı tarafından gerçekleştirilebilecek en riskli saldırı olarak ortaya çıkabilir. Bu, sistem çıkışlarını kalıcı olarak değiştirmek için promtları kullanarak model davranışınıManipüle edebilir. Bu, diğer sistem kullanıcıları için yanlış veya geçersiz çıkışlar üretebilir.
• Veri Zehirlenmesi: LLM’lerin güvendiği eğitim verisi, kasıtlı olarak bozulabilir ve karar verme süreçlerini tehlikeye atabilir. Siber güvenlik ortamlarında, organizasyonlar muhtemelen araç sağlayıcıları tarafından eğitilen modelleri kullanıyor. Veri zehirlenmesi, modelin özel müşteri ve kullanım durumu için ayarlanması sırasında meydana gelebilir. Burada risk, yetkisiz bir kullanıcının kötü veri — örneğin, bozulmuş günlük dosyaları — eklemesi ve eğitim sürecini bozmaktır. Yetkili bir kullanıcı da bunu istemeden yapabilir. Sonuç, kötü veri temelinde LLM çıkışları olacaktır.
• Hayal Gücü: Önce de bahsedildiği gibi, LLM’ler, promt veya temel veri hatalarının yanlış anlaşılmasından dolayı, gerçeğe aykırı, mantıksız veya hatta kötü niyetli yanıtlar üretebilir. Siber güvenlik kullanım örneklerinde, hayal gücü, tehdit istihbaratı, zafiyet triyajı ve düzeltme ve daha fazlasında kritik hatalara neden olabilir. Siber güvenlik, kritik bir faaliyet olduğu için, LLM’lerin bu bağlamda hayal gücünü yönetme ve önleme standartlarına uyması zorunludur.

AI sistemleri daha yetenekli hale geldikçe, bilgi güvenliği dağıtımları hızla genişliyor. Açık olmak gerekirse, birçok siber güvenlik şirketi, dinamik filtreleme için uzun süredir kalıp eşleştirmeyi ve makine öğrenimini kullanıyor. Yeni olan, var olan iş akışları ve veri havuzları üzerine bir zeka katmanı sağlayan etkileşimli LLM’lerdir. Bu, güvenlik ekiplerinin verimliliğini artırma ve yeteneklerini iyileştirme amacını taşıyor. Diğer bir deyişle, GenAI, güvenlik mühendislerine, daha az çaba ile ve aynı kaynaklarla, daha iyi performans ve hızlandırılmış süreçler sunarak daha fazla şey yapma imkanı sunabilir.