Kontrola halucynacji: korzyści i ryzyka wdrożenia modeli językowych w procesach bezpieczeństwa

Duże modele językowe (LLM) szkolone na ogromnych ilościach danych mogą sprawić, że zespoły operacji bezpieczeństwa będą bardziej inteligentne. LLM zapewniają sugestie i wskazówki dotyczące odpowiedzi, audytów, zarządzania postawą i innych kwestii. Większość zespołów bezpieczeństwa eksperymentuje z LLM lub je wykorzystuje, aby zmniejszyć ręczne zadania w procesach. Może to dotyczyć zarówno zadań rutynowych, jak i złożonych.

Na przykład, LLM może wysłać wiadomość e-mail do pracownika, aby sprawdzić, czy miał na celu udostępnić dokument, który jest własnością firmy, i przetworzyć odpowiedź z rekomendacją dla specjalisty ds. bezpieczeństwa. LLM może również zostać wykorzystany do tłumaczenia wniosków dotyczących ataków na łańcuch dostaw w module open source i uruchomienia agentów skoncentrowanych na określonych warunkach — nowych współautorach popularnych bibliotek, nieprawidłowych wzorcach kodu — z każdym agentem przygotowanym do tego konkretnego warunku.

Jednakże, te potężne systemy AI niosą ze sobą znaczne ryzyka, które różnią się od innych ryzyk, z którymi mierzą się zespoły bezpieczeństwa. Modele napędzające LLM mogą być naruszone poprzez wstrzyknięcie podpowiedzi lub zatrucie danych. Ciągłe pętle sprzężenia zwrotnego i algorytmy uczenia maszynowego bez wystarczającej kontroli ludzkiej mogą pozwolić na ataki i wywołać nieprawidłowo ukierunkowane odpowiedzi. LLM są skłonne do halucynacji, nawet w ograniczonych dziedzinach. Nawet najlepsze LLM wymyślają rzeczy, gdy nie znają odpowiedzi.

Procesy bezpieczeństwa i polityki AI dotyczące wykorzystania LLM i procesów będą coraz bardziej istotne, gdy te systemy staną się bardziej powszechne w operacjach bezpieczeństwa i badaniach. Upewnienie się, że te procesy są przestrzegane i mierzone, oraz że są uwzględnione w systemach zarządzania, będzie kluczowe dla zapewnienia, że CISO mogą zapewnić odpowiednią ochronę, ryzyko i zgodność, aby spełnić nowe wymagania, takie jak Ramy Bezpieczeństwa Cybernetycznego 2.0.

Ogromna obietnica LLM w cyberbezpieczeństwie

CISO i ich zespoły ciągle walczą, aby nadążyć za rosnącą falą nowych ataków cybernetycznych. Według Qualys, liczba CVE zgłoszonych w 2023 roku osiągnęła nowy rekord 26 447. To oznacza wzrost o ponad 5-krotność w porównaniu z 2013 rokiem.

To wyzwanie stało się jeszcze bardziej uciążliwe, gdy powierzchnia ataku średniej organizacji rosła z każdym rokiem. Zespoły AppSec muszą zabezpieczać i monitorować o wiele więcej aplikacji oprogramowania. Chmura obliczeniowa, API, technologie wielochmurowe i wirtualizacji dodały dodatkową złożoność. Z nowoczesnymi narzędziami i procesami CI/CD, zespoły aplikacji mogą dostarczać więcej kodu, szybciej i częściej. Mikrousługi rozbiły monolityczne aplikacje na wiele API i powierzchni ataku, oraz wytworzyły wiele dziur w globalnych firewallach do komunikacji z zewnętrznymi usługami lub urządzeniami klientów.

Zaawansowane LLM obiecują znacznie zmniejszyć obciążenie zespołów bezpieczeństwa cybernetycznego i poprawić ich możliwości. Narzędzia kodowania AI szeroko przeniknęły do rozwoju oprogramowania. Badania Github wykazały, że 92% deweloperów używa lub używało narzędzi AI do sugestii i uzupełniania kodu. Większość z tych „kompilotów” ma pewne możliwości bezpieczeństwa. W rzeczywistości, dyscypliny programistyczne z relatywnie binarnymi wynikami, takie jak kodowanie (kod albo przechodzi, albo nie przechodzi testy jednostkowe), są dobrze przystosowane do LLM. Poza skanowaniem kodu dla rozwoju oprogramowania i w pipeline CI/CD, AI mogą być przydatne dla zespołów bezpieczeństwa w kilku innych sposób:

• Wzmocniona analiza: LLM mogą przetwarzać ogromne ilości danych bezpieczeństwa (logi, alerty, wywiad), aby zidentyfikować wzorce i korelacje niewidoczne dla ludzi. Mogą to robić w wielu językach, przez całą dobę, i w wielu wymiarach jednocześnie. Otwiera to nowe możliwości dla zespołów bezpieczeństwa. LLM mogą szybko rozpoznać alerty, które są najbardziej prawdopodobne, aby były poważne. Dzięki uczeniu wzmocnionemu, analiza powinna się poprawiać z czasem.
• Automatyzacja: LLM mogą zautomatyzować zadania zespołów bezpieczeństwa, które normalnie wymagają rozmów. Na przykład, gdy zespół bezpieczeństwa otrzymuje IoC i musi zapytać właściciela punktu końcowego, czy rzeczywiście zalogował się do urządzenia lub czy znajduje się poza swoimi normalnymi strefami pracy, LLM może wykonać te proste operacje, a następnie kontynuować z pytaniami i linkami lub instrukcjami. To wcześniej było interakcją, którą musiał prowadzić członek zespołu IT lub bezpieczeństwa. LLM mogą również zapewnić bardziej zaawansowaną funkcjonalność. Na przykład, Microsoft Copilot dla bezpieczeństwa może generować raporty analizy incydentów i tłumaczyć złożony kod malware na opisy w języku naturalnym.
• Ciągłe uczenie i dostosowywanie: W przeciwieństwie do poprzednich systemów uczenia maszynowego dla polityk bezpieczeństwa i zrozumienia, LLM mogą uczyć się na bieżąco, poprzez spożycie ocen ludzkich swojej odpowiedzi i dostosowywanie się do nowych pul danych, które mogą nie być zawarte w wewnętrznych plikach logów. W rzeczywistości, używając tego samego podstawowego modelu, LLM dla bezpieczeństwa cybernetycznego mogą być dostosowane do różnych zespołów i ich potrzeb, procesów lub regionalnych lub branżowych zadań. To oznacza również, że cały system może być tak inteligentny, jak model, z szybkim propagowaniem zmian we wszystkich interfejsach.

Ryzyko LLM dla bezpieczeństwa cybernetycznego

Jako nowa technologia z krótkim rekordem, LLM niosą ze sobą poważne ryzyka. Co gorsza, zrozumienie pełnego zakresu tych ryzyk jest trudne, ponieważ dane wyjściowe LLM nie są 100% przewidywalne ani programowe. Na przykład, LLM mogą „halucynować” i wymyślać odpowiedzi lub odpowiadać nieprawidłowo, opierając się na wyimaginowanych danych. Przed przyjęciem LLM do przypadków użycia bezpieczeństwa cybernetycznego, należy wziąć pod uwagę potencjalne ryzyka, w tym:

• Wstrzyknięcie podpowiedzi: Atakujący mogą tworzyć złe podpowiedzi, aby wytworzyć mylące lub szkodliwe dane wyjściowe. Ten rodzaj ataku może wykorzystywać tendencję LLM do generowania treści na podstawie otrzymanych podpowiedzi. W przypadkach użycia bezpieczeństwa cybernetycznego, wstrzyknięcie podpowiedzi może być najbardziej ryzykowne jako forma ataku wewnętrznego lub ataku przez nieautoryzowanego użytkownika, który używa podpowiedzi, aby trwale zmienić dane wyjściowe systemu, zniekształcając zachowanie modelu. To może wytworzyć nieprawidłowe lub nieważne dane wyjściowe dla innych użytkowników systemu.
• Zatrucie danych: Dane szkoleniowe, na których opierają się LLM, mogą być celowo skażone, co może skompromitować ich podejmowanie decyzji. W przypadkach bezpieczeństwa cybernetycznego, gdzie organizacje prawdopodobnie używają modeli szkolonych przez dostawców narzędzi, zatrucie danych może wystąpić podczas dostosowywania modelu do konkretnego klienta i przypadku użycia. Ryzyko tutaj może polegać na tym, że nieautoryzowany użytkownik doda złe dane — na przykład, uszkodzone pliki logów — aby podważyć proces szkolenia. Użytkownik autoryzowany również może to zrobić nieumyślnie. Wynikiem będą dane wyjściowe LLM oparte na złych danych.
• Halucynacje: Jak wcześniej wspomniano, LLM mogą generować faktograficznie nieprawidłowe, nie logiczne lub nawet szkodliwe odpowiedzi z powodu niezrozumienia podpowiedzi lub wadliwych danych. W przypadkach bezpieczeństwa cybernetycznego, halucynacje mogą skutkować krytycznymi błędami, które mogą sparaliżować wywiad zagrożeń, triage i usuwanie luk w zabezpieczeniach oraz wiele innych. Ponieważ bezpieczeństwo cybernetyczne jest działaniem o krytycznym znaczeniu, LLM muszą spełniać wyższe standardy zarządzania i prewencji halucynacji w tych kontekstach.

Gdy systemy AI stają się coraz bardziej zaawansowane, ich wdrożenia w bezpieczeństwie informacji rozwijają się szybko. Aby być jasnym, wiele firm bezpieczeństwa cybernetycznego od dawna używa dopasowywania wzorców i uczenia maszynowego do dynamicznego filtrowania. To, co nowe w erze AI generatywnej, to interaktywne LLM, które zapewniają warstwę inteligencji ponad istniejącymi procesami i pulami danych, idealnie poprawiając wydajność i rozszerzając możliwości zespołów bezpieczeństwa cybernetycznego. Innymi słowy, GenAI może pomóc inżynierom bezpieczeństwa robić więcej z mniejszym wysiłkiem i tymi samymi zasobami, co skutkuje lepszą wydajnością i przyspieszonymi procesami.