Kontrola Halucynacji: Korzyści i Ryzyka Wdrożenia LLM jako Części Procesów Bezpieczeństwa

Large Language Models (LLM) wyszkolone na ogromnych ilościach danych mogą sprawić, że zespoły operacji bezpieczeństwa będą bardziej inteligentne. LLM zapewniają sugestie i wskazówki dotyczące odpowiedzi, audytów, zarządzania postawą i więcej. Większość zespołów bezpieczeństwa eksperymentuje lub używa LLM, aby zmniejszyć ręczne zadania w procesach pracy. Może to dotyczyć zarówno zadań nudnych, jak i złożonych.

Na przykład, LLM może wysłać zapytanie do pracownika za pośrednictwem poczty e-mail, czy miał on zamiar udostępnić dokument, który był własnością firmy, i przetworzyć odpowiedź z zaleceniem dla specjalisty ds. bezpieczeństwa. LLM może również zostać wykorzystany do tłumaczenia wniosków w celu wyszukania ataków łańcucha dostaw w modułach open source i uruchomienia agentów skoncentrowanych na określonych warunkach — nowych współpracowników w szeroko używanych bibliotekach, niewłaściwych wzorców kodu — z każdym agentem przygotowanym do tego konkretnego warunku.

Jednak te potężne systemy AI niosą ze sobą znaczne ryzyka, które różnią się od innych ryzyk, z którymi mierzą się zespoły bezpieczeństwa. Modele napędzające LLM bezpieczeństwa mogą zostać naruszone za pomocą wstrzyknięcia podpowiedzi lub zatrucia danych. Ciągłe pętle sprzężenia zwrotnego i algorytmy uczenia maszynowego bez wystarczającej ludzkiej kontroli mogą pozwolić na niepożądane działania i wywołać źle ukierunkowane odpowiedzi. LLM są podatne na halucynacje, nawet w ograniczonych dziedzinach. Nawet najlepsze LLM wymyślają rzeczy, gdy nie znają odpowiedzi.

Procesy bezpieczeństwa i polityki AI dotyczące korzystania z LLM i procesów pracy staną się coraz bardziej krytyczne, gdy te systemy staną się bardziej powszechne w operacjach bezpieczeństwa i badaniach. Upewnienie się, że te procesy są przestrzegane i mierzone oraz uwzględnione w systemach zarządzania, okazać się kluczowe dla zapewnienia, że CISO mogą zapewnić wystarczającą ochronę GRC (Governance, Risk and Compliance), aby spełnić nowe wymagania, takie jak Cybersecurity Framework 2.0.

Ogromna Obietnica LLM w Cyberbezpieczeństwie

CISO i ich zespoły ciągle walczą, aby nadążyć za rosnącą falą nowych ataków cybernetycznych. Według Qualys, liczba CVE zgłoszonych w 2023 roku osiągnęła nowy rekord 26 447. To oznacza wzrost o ponad 5-krotność w porównaniu z 2013 rokiem.

To wyzwanie stało się jeszcze bardziej uciążliwe, ponieważ powierzchnia ataku przeciętnej organizacji rośnie z każdym mijającym rokiem. Zespoły AppSec muszą zabezpieczyć i monitorować wiele więcej aplikacji oprogramowania. Chmura obliczeniowa, API, technologie wielochmurowe i wirtualizacji dodały dodatkową złożoność. Z nowoczesnymi narzędziami i procesami CI/CD, zespoły aplikacji mogą wysyłać więcej kodu, szybciej i częściej. Mikrousługi rozbiły monolityczne aplikacje na wiele API i powierzchni ataku oraz wybiły wiele więcej dziur w globalnych zapórach sieciowych do komunikacji z zewnętrznymi usługami lub urządzeniami klientów.

Zaawansowane LLM mają ogromny potencjał, aby zmniejszyć obciążenie pracy zespołów cyberbezpieczeństwa i poprawić ich możliwości. Narzędzia kodowania AI zostały powszechnie wprowadzone w rozwoju oprogramowania. Badania Github wykazały, że 92% deweloperów używa lub używało narzędzi AI do sugestii i uzupełniania kodu. Większość z tych „kolegów” ma pewne możliwości bezpieczeństwa. W rzeczywistości, dyscypliny programistyczne o względnie binarnych wynikach, takie jak kodowanie (kod albo przechodzi, albo nie przechodzi testy jednostkowe), są dobrze przystosowane do LLM. Poza skanowaniem kodu dla rozwoju oprogramowania i w potoku CI/CD, AI mogą być wartościowe dla zespołów cyberbezpieczeństwa na kilka innych sposobów:

• Wzmocniona Analiza: LLM mogą przetwarzać ogromne ilości danych bezpieczeństwa (dzienniki, alerty, wywiad wywiadowczy), aby zidentyfikować wzorce i korelacje niewidoczne dla ludzi. Mogą to robić w kilku językach, przez całą dobę, i w wielu wymiarach jednocześnie. Otwiera to nowe możliwości dla zespołów bezpieczeństwa. LLM mogą szybko rozpracować stos alertów, wskazując te, które są najbardziej prawdopodobne, aby były poważne. Dzięki uczeniu wzmocnionemu analiza powinna się poprawiać z czasem.
• Automatyzacja: LLM mogą zautomatyzować zadania zespołu bezpieczeństwa, które normalnie wymagają rozmów i odpowiedzi. Na przykład, gdy zespół bezpieczeństwa otrzymuje IoC i musi zapytać właściciela urządzenia, czy rzeczywiście zalogował się do urządzenia, czy znajduje się poza swoimi strefami pracy, LLM może wykonać te proste operacje, a następnie kontynuować pytania i łącza lub instrukcje. To wcześniej było interakcją, którą musiał prowadzić członek zespołu IT lub bezpieczeństwa. LLM mogą również zapewnić bardziej zaawansowaną funkcjonalność. Na przykład, Microsoft Copilot dla Bezpieczeństwa może generować raporty analizy incydentów i tłumaczyć złożony kod malware na opisy w języku naturalnym.
• Ciągłe Uczenie i Dostosowywanie: W przeciwieństwie do poprzednich systemów uczenia maszynowego dla polityk i zrozumienia bezpieczeństwa, LLM mogą uczyć się na bieżąco, konsumując ludzkie oceny swojej odpowiedzi i dostosowując się do nowych pul danych, które mogą nie być zawarte w plikach dziennika wewnętrznego. W rzeczywistości, używając tego samego podstawowego modelu, LLM bezpieczeństwa mogą być dostosowane do różnych zespołów i ich potrzeb, procesów pracy lub regionalnych lub branżowych zadań. Oznacza to, że cały system może być natychmiast tak inteligentny, jak model, z zmianami, które szybko rozprzestrzeniają się na wszystkie interfejsy.

Ryzyko LLM dla Cyberbezpieczeństwa

Jako nowa technologia z krótkim rekordem, LLM mają poważne ryzyka. Co gorsza, zrozumienie pełnego zakresu tych ryzyk jest trudne, ponieważ dane wyjściowe LLM nie są w 100% przewidywalne ani programowe. Na przykład, LLM mogą „halucynować” i wymyślać odpowiedzi lub odpowiadać nieprawidłowo, opierając się na wyimaginowanych danych. Przed przyjęciem LLM do przypadków użycia cyberbezpieczeństwa, należy wziąć pod uwagę potencjalne ryzyka, w tym:

• Wstrzyknięcie Podpowiedzi: Atakujący mogą tworzyć złowrogie podpowiedzi, aby wytworzyć mylące lub szkodliwe dane wyjściowe. Ten rodzaj ataku może wykorzystywać tendencję LLM do generowania treści na podstawie otrzymanych podpowiedzi. W przypadkach użycia cyberbezpieczeństwa wstrzyknięcie podpowiedzi może być najbardziej ryzykowne jako forma ataku wewnętrznego lub ataku przez nieuprawnionego użytkownika, który używa podpowiedzi, aby trwale zmienić dane wyjściowe systemu, zniekształcając zachowanie modelu. Może to generować nieprawidłowe lub nieważne dane wyjściowe dla innych użytkowników systemu.
• Zatrucie Danych: Dane szkoleniowe, na których polegają LLM, mogą zostać celowo skażone, kompromitując ich podejmowanie decyzji. W środowiskach cyberbezpieczeństwa, gdzie organizacje prawdopodobnie używają modeli szkolonych przez dostawców narzędzi, zatrucie danych może wystąpić podczas dostosowywania modelu do konkretnego klienta i przypadku użycia. Ryzyko tutaj może polegać na tym, że nieuprawniony użytkownik doda złe dane — na przykład, uszkodzone pliki dziennika — aby podważyć proces szkolenia. Uprawniony użytkownik również może to zrobić nieumyślnie. Wynikiem będą dane wyjściowe LLM oparte na złych danych.
• Halucynacje: Jak wcześniej wspomniano, LLM mogą generować faktograficznie nieprawidłowe, niewłaściwe lub nawet szkodliwe odpowiedzi z powodu niezrozumienia podpowiedzi lub wadliwych danych. W przypadkach użycia cyberbezpieczeństwa halucynacje mogą skutkować krytycznymi błędami, które paraliżują wywiad wywiadowczy, triage i usuwanie luk w zabezpieczeniach oraz więcej. Ponieważ cyberbezpieczeństwo jest działalnością o znaczeniu krytycznym, LLM muszą spełniać wyższy standard zarządzania i zapobiegania halucynacjom w tych kontekstach.

Podczas gdy systemy AI stają się bardziej zaawansowane, ich wdrożenia w zakresie bezpieczeństwa informacji rozwijają się szybko. Aby być jasnym, wiele firm bezpieczeństwa od dawna używa dopasowywania wzorców i uczenia maszynowego do dynamicznego filtrowania. To, co jest nowe w erze generatywnej AI, to interaktywne LLM, które zapewniają warstwę inteligencji ponad istniejącymi procesami pracy i pulami danych, idealnie poprawiając wydajność i rozszerzając możliwości zespołów cyberbezpieczeństwa. Innymi słowy, GenAI może pomóc inżynierom bezpieczeństwa osiągnąć więcej z mniejszym wysiłkiem i tymi samymi zasobami, dając lepsze wyniki i przyspieszając procesy.