Düşünce Liderleri

Güvenilir AI SOC Ajanlarını Misyon-Kritik SOC Aktiviteleriyle Güvenmek

mm
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin

Büyük dil modelleri (LLM’ler) ve AI ajanları, birçok alanda, özellikle de siber güvenlik alanında önemli bir etkiye sahip. Potansiyelleri sınırsız. Ancak, LLM’lerin iş kararlarının alındığı core iş akışlarına entegre edildiği yerlerde, özellikle gizlilik ve veri doğruluğu konusunda birçok sorun ortaya çıktı. AI ajanlarına güvenebilir miyiz?

Siber güvenlik ve Güvenlik Operasyon Merkezleri (SOC’ler) konusunda, hızlı bir cevap verebiliriz: Evet, SOC’lerde uygun kontroller ve önlemler ile AI ajanları güvenli bir şekilde üretim ortamlarında çalıştırılabilir ve insan SOC analistleriyle birlikte önemli değer katabilir.

AI Siber Güvenlik zorlukları

Standalone LLM’ler, beberapa temel sorunlara sahiptir, Örneğin halüsinasyonlar, veri zehirlenmesi ve prompt enjeksiyonu. Bu sorunlar, otonom bir SOC’de ciddi sorunlara neden olabilir, Örneğin:

Sınırlı Veri Yanlış Sonuçlara Neden Olur – AI ajanları, işlerini iyi yapmak için çevrelerinden tüm ilgili bilgileri benötir – en az insan güvenlik analistlerinin sahip olduğu kadar veri ve ideal olarak daha fazla. Yetersiz veri, AI ajanlarının yanlış varsayımlar yapmasına neden olur ve bu varsayımlar investigación runs arasında farklılık gösterebilir. Güvenlik endişeleri veya bütçe nedenleriyle veri erişimini sınırlarsanız, doğruluk konusunda bir düşüş bekleyebilirsiniz.

Tutarsız Sonuçlar – AI ajanları, topladıkları verilere dayanarak kararlar verip görevleri gerçekleştirmelidir. Tipik ortamlardaki güvenlik verilerinin hacmi nedeniyle, bir dengeli yaklaşım için örnekleme yaklaşımı kullanılır. Investigation’lar birden fazla kez çalıştırıldığında, sonuçlar, belirlenen şiddet ve önerilen eylemler arasında farklılıklar olabilir. Bu, bir tolerans limiti içinde olduğu sürece normaldir ve aynı uyarıya bakan iki farklı insan analisti arasında da xảyabilir.

Kararların Şeffaflığı, veya “Kara Kutu” Sorunu – Bazı AI ajanları, şeffaf olmayan sistemler olarak çalışır. Bu AI tarafından üretilen SOC sonuçları ilk bakışta çok etkileyici görünebilir, ancak önemli iş kararları için AI SOC’nin önerilen eylemlere neden karar verdiğini anlamak gerekir. Bu, AI’nin intrinsic bir sınırlaması değildir, çünkü bazı AI ajanları şeffaflık konusunda büyük çaba sarf eder. AI ajanlarını, taahhütten önce bir Proof of Value’de тщательно doğrulamak önerilir.

AI Siber Güvenlik Nasıl İyileştirildi

AI tarafından yönlendirilen siber güvenlik yaklaşımları, ilk ortaya çıktıklarından bu yana önemli ilerlemeler kaydettiler. Aşağıdakileri dikkate alın:

Örnekleme Kullanarak Konsensus Tutarsızlığı Azaltır – Karar veya sonuçlardaki tutarsızlıklar, farklı yapılandırmalara (örneğin, farklı modeller ve sıcaklıklar) sahip birden fazla AI ajanını kullanarak verilerin yorumlanmasını sağlayarak etkili bir şekilde giderilebilir.

Örnekleme, organizasyonların farklı AI modellerinin nerede aynı fikirde olduklarını ve nerede ayrıldıklarını anlamalarına olanak tanır. Böylece, tüm modellerin aynı fikirde olduğu bilgilere güvenmek ve farklılıkların olduğu bilgilere güvenmemek, tutarsızlığı önemli ölçüde azaltabilir.

(BBOX.BO )

Ancak, farklı AI modellerinin aynı fikirde olmadıkları bilgilere de değer verilmesi önemlidir, çünkü bunlar belirsizliği ve daha iyi verilere veya girdilere olan ihtiyacı gösterir. Bu tutarsız bilgiler, organizasyonların önemli kararlar almak için hangi verilere öncelik vereceğini belirlemelerine yardımcı olabilir.

Soruşturma Çalısmaları ile standardize Edilen İşlemler – Birden fazla AI SOC soruşturmasının tutarlı olmayan sonuçlara neden olmasının ana nedenlerinden biri, sadece toplanan verilerin değil, aynı zamanda AI ajanı tarafından oluşturulan veya değiştirilen hipotezlerin değişmesidir. Belirli kategoriler için yüksek düzeyde standardize edilmiş bir soruşturma kılavuzu oluşturmak, ajanların daha tutarlı hipotezler oluşturmasına ve genel sonuç tutarlılığını iyileştirmesine yardımcı olur. Bu, yeni bir yaklaşım değildir – çoğu insan SOC analisti zaten tutarlı soruşturmalar sağlamak için standardize edilmiş işlemlere güveniyor. AI ajanları da aynı şekilde SOP’ları kullanabilir.

İzlenebilir Deliller Kara Kutuyu Açıklar – AI SOC, destekleyici deliller düşünülerek tasarlanmalıdır. AI ajanının her kararı ve hipotezi, destekleyici bilgilerle, neden izleriyle ve bu nedenleri doğrulayan ham günlüklerle desteklenmelidir.

Güvenilir AI Siber Güvenlik

AI ajanları, siber güvenlikte tehditlerin tespit edilmesini, triajını ve yanıtını hızlandırabilir, ancak aynı zamanda tutarsız sonuçlar, şeffaf olmayan kararlar ve veri kalitesi duyarlılığı gibi gerçek riskleri de getirir. Misyon-kritik ortamlarda güven gerektirir ve delillere dayalı nedenler, yapılandırılmış SOP’lar, çoklu ajan örnekleme ve veri bütünlüğü, prompt enjeksiyonu ve adım ve bütçe sınırları için guardrails gerektirir.

Bu kritik düzeltmeler, modern AI güdümlü güvenlik operasyonlarının karmaşıklığını ele alan gelişmiş LLM AI ajanı yaklaşımlarıyla ele alınabilir. Örneğin, bazı gelişmiş LLM yaklaşımları, kolektif zekayı kullanmak için farklı AI modellerinin işbirliği yapmasını sağlayan gelişmiş çoklu ajan örnekleme kullanır. Bu, tutarlılığı ve güvenilirliği her operasyonda sürdüren yapılandırılmış ve net soruşturma kılavuzlarını sağlar.

Sonuç olarak, kararların izlenebilirliği, her karar, öneri ve otomatik eylemin güvenlik ekipleri tarafından denetlenip anlaşıldığından, şeffaflığı sağlar ve paydaşlarla güven oluşturur. Bu temel öğeleri uygulayarak ve veri kalitesi, güvenlik ve operasyonel guardrails için güçlü kontroller sağlayarak, gelişmiş LLM AI ajanı yaklaşımları, SOC’lerin sadece güvenilir ve şeffaf değil, aynı zamanda üretim ortamları ve en kritik faaliyetler için hazır sonuçlar elde etmesini sağlar.

Ambuj Kumar, Simbian'in kurucu ortak ve CEO'sudur, misyonu AI ile güvenlik sorunlarını çözmek olan bir Gen AI güvenlik şirketidir. Ambuj, 30'dan fazla patenti olan kriptografi alanında tanınmış bir liderdir ve birden fazla başarılı startup vardır. Ambuj, aynı zamanda Cryptography Research Inc.'de baş mimar olarak görev yaptı ve şirketin milyonlarca cihaza her yıl giren birçok güvenlik teknolojisini geliştirdi. Önceden, dünyanın en gelişmiş bilgisayar çiplerini tasarlayan ve dünyanın en hızlı bellek kontrolörünü içeren NVIDIA için çalıştı.