Czy agenci AI są wystarczająco godni zaufania dla mojego biznesu?

Duże modele językowe (LLM) i agenci AI mają znaczący wpływ na wiele dziedzin, w tym bezpieczeństwo cybernetyczne. Nie ma granic, jeśli chodzi o ich potencjał. Jednak w praktyce, gdy LLM są integrowane z kluczowymi procesami podejmowania decyzji biznesowych, pojawia się wiele problemów, zwłaszcza dotyczących prywatności i dokładności danych. Pozostaje pytanie: Czy agenci AI są wystarczająco godni zaufania dla mojego biznesu?

Jeśli chodzi o bezpieczeństwo cybernetyczne i Centra Operacji Bezpieczeństwa (SOC), szybka odpowiedź, jaką słyszeliśmy przez całą karierę, brzmi: Tak, z odpowiednimi mechanizmami kontroli i środkami ograniczania ryzyka w SOC, agenci AI mogą być pomyślnie i bezpiecznie wdrożeni w środowiskach produkcyjnych, gdzie dodają znaczącą wartość, współpracując z ludzkimi analitykami SOC.

Wyzwania związane z bezpieczeństwem cybernetycznym AI

Gotowe LLM używane jako samodzielne rozwiązanie mają kilka podstawowych problemów, takich jak halucynacje, zatrucie danych i wstrzyknięcie promptu. Te niedoskonałości mogą powodować poważne trudności w autonomicznym SOC, w tym:

Ograniczona ilość danych powodująca niedokładne werdykty – Agenci AI potrzebują wszystkich istotnych informacji ze środowiska, aby dobrze wykonywać swoją pracę – przynajmniej tyle danych, ile mają ludzcy analitycy bezpieczeństwa, a najlepiej więcej. Niewystarczająca ilość danych powoduje, że agenci AI podejmują fałszywe założenia, które mogą się różnić w zależności od przebiegu dochodzenia. Jeśli ograniczysz dostęp do danych ze względów bezpieczeństwa lub ograniczysz, ile może zrobić AI ze względów budżetowych, spodziewaj się, że dokładność spadnie.

Niespójne werdykty – Agenci AI muszą podejmować decyzje i wykonywać zadania na podstawie zebranych danych. Ze względu na ogromną ilość danych bezpieczeństwa w typowych środowiskach często stosuje się podejście oparte na próbkach, aby uzyskać równowagę między dokładnością a budżetem. Podczas wielokrotnego uruchamiania dochodzeń mogą pojawić się różnice w werdykcie, określonym stopniu powagi zdarzenia i zalecanych działaniach. Jest to normalne, o ile różnica mieści się w granicach tolerancji, i zdarza się również, gdy dwóch różnych analityków ludzkich patrzy na ten sam alert.

Nieprzejrzyste rozumowanie, czyli problem „czarnej skrzynki (BBOX.BO ) ” – Niektórzy agenci AI działają jako nieprzezroczyste systemy. Te wyniki AI SOC mogą wyglądać bardzo imponująco na początku, ale dla ważnych decyzji biznesowych musisz zrozumieć, co doprowadziło AI SOC do zalecenia określonych działań. Nie jest to jednak wewnętrzne ograniczenie AI, ponieważ niektórzy agenci AI podejmują znaczne wysiłki na rzecz przejrzystości. Zaleca się dokładne zweryfikowanie agentów AI w ramach testu wartości rozwiązania (Proof of Value) przed decyzją o wdrożeniu.

Jak poprawiło się wykorzystanie AI w cyberbezpieczeństwie

Podejścia do bezpieczeństwa cybernetycznego oparte na AI poczyniły znaczące postępy w kierunku poprawy od momentu ich wprowadzenia. Rozważ następujące:

Konsensus przy użyciu próbek łagodzi niespójność – Niespójności w decyzjach lub wynikach mogą być skutecznie złagodzone dzięki wykorzystaniu wielu agentów AI z różnymi konfiguracjami (np. różnymi modelami z różnymi ustawieniami temperatury) do interpretacji danych zebranych podczas wcześniejszych działań agentów.

Użycie próbek pozwala organizacjom zrozumieć, gdzie różne modele AI są zgodne, a gdzie się różnią. W związku z tym, polegając na informacjach, gdzie wszystkie modele są zgodne, a informacjom, co do których się różnią, przypisując mniejszą wagę, można znacznie złagodzić niespójność.

Ważne jest, aby zauważyć, że informacje, w których agenci próbkowania się nie zgadzają, są również cenne, ponieważ identyfikują niepewność i potrzebę lepszych danych lub danych wejściowych. Te niespójne informacje mogą pomóc organizacjom w ustalaniu priorytetu dostępu do niezbędnych danych w celu podjęcia lepszych decyzji.

Spójne procedury dzięki przewodnikom dochodzeniowym – Jednym z głównych powodów, dla których wiele przebiegów dochodzenia AI SOC prowadzi do niespójnych wyników, jest zmienność nie tylko zebranych danych, ale także hipotez utworzonych lub zmodyfikowanych podczas dochodzenia AI. Opracowanie ogólnego przewodnika dochodzeniowego opartego na standardowych procedurach operacyjnych (SOP) dla określonych kategorii pomaga agentom tworzyć bardziej spójne hipotezy i poprawia ogólną spójność wyników. To nie jest nowatorskie podejście – większość ludzkich analityków SOC już teraz polega na SOP, aby zapewnić skuteczne i spójne dochodzenia. Agenci AI mogą korzystać z SOP w ten sam sposób.

Dowody, których pochodzenie można prześledzić demistyfikują “czarną skrzynkę” – Zgodnie z dobrą praktyką SOC oparty na AI powinien być zaprojektowany od podstaw z myślą o dowodach wspierających. Każda decyzja podjęta przez agenta i każda sformułowana przez niego hipoteza muszą być poparte informacjami uzasadniającymi, w tym śladami rozumowania i surowymi danymi z dzienników, które potwierdzają to rozumowanie.

Godna zaufania AI w cyberbezpieczeństwie

Agenci AI mogą przyspieszyć wykrywanie, triage i odpowiedź na zagrożenia w bezpieczeństwie cybernetycznym, ale również wprowadzają prawdziwe ryzyka – w tym niespójne wyniki, nieprzezroczyste decyzje i wrażliwość na jakość danych. Zaufanie do użycia w środowiskach krytycznych dla misji wymaga rozumowania popartego dowodami, w tym śladów i surowych artefaktów; ustrukturyzowanych SOP, aby zmniejszyć zmienność; wieloagentowego próbkowania, aby oddzielić konsensus od niepewności; i zabezpieczeń integralności danych, ochrony przed wstrzyknięciem promptu oraz limitów liczby kroków i budżetu.

Wszystkie te kluczowe usprawnienia można wdrożyć za pomocą zaawansowanych podejść opartych na agentach AI z LLM, zaprojektowanych do radzenia sobie ze złożonością nowoczesnych operacji bezpieczeństwa wspieranych przez AI. Na przykład niektóre zaawansowane podejścia LLM wykorzystują zaawansowane wieloagentowe próbkowanie, aby umożliwić organizacjom wykorzystanie zbiorowej inteligencji różnych modeli AI, które współpracują w celu osiągnięcia konsensusu, minimalizowania niespójności i wskazywania obszarów niepewności. Ich ustrukturyzowane i przejrzyste przewodniki dochodzenia zapewniają, że kroki analizy są zgodne z najlepszymi praktykami i ustandaryzowanymi procedurami, napędzając spójność i niezawodność w każdej operacji.

Możliwość prześledzenia decyzji od początku do końca pozwala audytować i zrozumieć każdy werdykt, rekomendację i zautomatyzowane działanie. Zapewnia zespołom bezpieczeństwa pełną przejrzystość, a zarazem buduje zaufanie interesariuszy. Poprzez integrowanie tych kluczowych elementów – i wdrażanie solidnych kontroli jakości danych w promptach, bezpieczeństwa i zabezpieczeń operacyjnych – zaawansowane podejścia oparte na agentach AI z LLM umożliwiają SOC osiągnięcie wyników, które nie tylko są niezawodne i przejrzyste, ale także gotowe do wykorzystania produkcyjnego w rzeczywistych środowiskach i przy najbardziej krytycznych działaniach.