Redefiniowanie autorytetu w C‑Suite: Co naprawdę wymaga budowania relacji z AI

Spędziłem 25 lat po stronie kupującego w operacjach bezpieczeństwa i nigdy nie traciłem snu z powodu reguły zapory. Jednak straciłem sen przez AI. Tradycyjna automatyzacja, niezależnie od tego, jak skomplikowana, podąża za logiką, którą można prześledzić. W tej niespotykanej skali agentowej AI systemy są zaufane do podejmowania decyzji, które inżynierowie nie zawsze potrafią w pełni wyjaśnić – właśnie brak przejrzystości jest powodem, dla którego tak wielu CISO stoi w miejscu.

97% liderów bezpieczeństwa jest przekonanych, że AI może obsługiwać triage, jednak tylko 35% faktycznie używa jej w tym zakresie. Ten punkt zwrotny to problem zaufania, a zaufanie można rozwiązać jedynie tak, jak zawsze – poprzez strukturę, dowody i czas.

Widzisz automatyzację, ale czy możesz zaufać AI?

Dzięki tradycyjnej automatyzacji praktycy mogą z pewnością wiedzieć, co się stanie, zanim to nastąpi. Ta przejrzystość jest powodem, dla którego zespoły SOC spędziły dekadę budując zaufanie do zautomatyzowanych przepływów pracy bez większych wewnętrznych debat, jednak AI o charakterze agentowym złamała schemat, wprowadzając warstwę wyuczonego osądu – system, który waży kontekst, podejmuje prognozy i dochodzi do wniosków w procesie, który nie zawsze jest w pełni czytelny, nawet dla osób, które go stworzyły.

Tylko 21% organizacji twierdzi, że posiada dojrzały model zarządzania dla agentowej AI, mimo że 74% spodziewa się używać agentów AI przynajmniej „umiarkowanie” do 2027 roku. Gdy praktycy bezpieczeństwa nie są w stanie przejrzyście wyjaśnić tego typu „black box AI”, jest to dowód na trudności w zarządzaniu narzędziami AI. Nie wynika to z niewłaściwego zabezpieczania narzędzi, lecz z faktu, że wewnętrzne działanie narzędzia AI opiera się na osądzie, a nie na schemacie blokowym.

W salach zarządu liderzy oceniają AI tak, jak ocenialiby automatyzację, pytając „czy mogę zobaczyć logikę”, zamiast pytać „jak zdobyć zaufanie do decydenta, którego logika się rozwija?”. Większość CISO prawdopodobnie już zna odpowiedź, ale wyzwaniem jest jej praktyczne zastosowanie.

Traktowanie AI jak zatrudnienie o wysokim ryzyku

Pomyśl o wdrożeniu nowego starszego analityka. CISO nie przekazałby nowemu analitykowi kluczy do środowiska produkcyjnego pierwszego dnia, bez względu na to, jak imponujące jest jego CV. Zaczęliby go od zadań niskiego ryzyka, obserwowali, jak radzi sobie z niejasnościami, i stopniowo zwiększali jego uprawnienia w miarę zdobywania zaufania. AI zasługuje na takie samo wdrożenie, oparte na dowodach i budujące zaufanie w czasie.

Już widzieliśmy, jak skutki przejawiają się w praktyce, gdy autonomiczny agent Meta AI wywołał incydent bezpieczeństwa obejmujący całą firmę po podjęciu działania bez zatwierdzenia przez człowieka, narażając wrażliwe dane firmy i użytkowników na nieuprawnionych pracowników przez około dwie godziny, zanim problem został opanowany. Główną przyczyną był brak nadzoru człowieka w pętli decyzyjnej, w miejscu, gdzie wymagana była wyraźna zgoda. To właśnie taki tryb awarii mają zapobiegać sztywne bariery ochronne, co przypomina, że dyscyplina zakresu jest ważniejsza niż zaawansowanie modelu.

AI zasługuje na taką samą uwagę, a możemy myśleć o tym jako o rampie opartej na dowodach:

• Zrozum logikę decyzyjną przed wdrożeniem. Nie musisz widzieć każdego wagi w modelu, ale musisz wiedzieć, na jakich danych opiera się rozumowanie, jakie wyniki optymalizuje i gdzie prawdopodobnie znajdują się jego ślepe punkty.
• Ustaw sztywne bariery ochronne już pierwszego dnia. Określ dokładnie, na co system może działać samodzielnie, a co wymaga interwencji człowieka. Wąski zakres jest fundamentem, na którym buduje się zaufanie.
• Rozszerzaj granice tylko w miarę gromadzenia dowodów. Każda prawidłowa decyzja jest punktem danych, a każda pomyłka również. Poszerzaj zakres proporcjonalnie do historii sukcesów, a nie do entuzjazmu dostawcy czy cykli budżetowych.

Stosowanie tych zasad jako protokołu pomoże rozwiać obawy CISO, w tym zapobiec działaniu autonomicznego systemu poza punktem, w którym ktokolwiek rzeczywiście zweryfikowałby, że zasługuje na zaufanie.

Model Trójwarstwowy: Gdzie AI Zasługuje na Swoje Miejsce

SANS’ Secure AI Blueprint przedstawia strukturę zarządzania opartą na trzech torach: ochronie AI, wykorzystaniu AI i zarządzaniu AI, obejmując sześć kategorii kontroli, w tym dostęp, dane, wdrożenie, wnioskowanie, monitorowanie i bezpieczeństwo modelu. To przydatny punkt wyjścia, a aby zrobić kolejny krok, warto uporządkować tę relację, dzieląc SOC na trzy warstwy, aby rozwiązać problem zaufania do AI.

1. Wynik. To warstwa, w której tkwi ryzyko biznesowe. Co organizacja uważa za akceptowalny rezultat? Jaka jest tolerancja na fałszywe negatywy w porównaniu do fałszywych pozytywów? To decyzja ludzka, koniec dyskusji. Żaden model nie ma głosu w tym, na co organizacja jest gotowa zaryzykować.
2. Osąd. To miejsce, w którym ustala się priorytety i podejmuje kompromisy w warunkach niejasności. Czy ten alert powinien być eskalowany od razu, czy odczekany na więcej kontekstu? Czy ta anomalia jest warta przerwania czyjejś nocy? Osąd może być wspierany przez AI i coraz częściej powinien tak być, ale ostateczna władza pozostaje w rękach człowieka. To warstwa, do której większość organizacji ma pokusę przekazać kontrolę zbyt wcześnie, i to właśnie ona ich spali, jeśli tak zrobią.
3. Wykonanie. To warstwa, w której AI powinna wykonywać najcięższą pracę, i to z prędkością, której żaden zespół ludzki nie może dorównać. Wzbogacanie alertu, korelowanie sygnałów wśród kilkunastu narzędzi, tworzenie akcji ograniczających, uruchamianie scenariusza po zatwierdzeniu ścieżki przez człowieka lub zaufaną warstwę osądu. Prędkość maszyny, deterministyczna po uruchomieniu, bez ego.

Rozwijanie partnerstwa, a nie tylko zarządzanie narzędziem

Gdy relacja AI w SOC jest budowana jako partnerstwo, a nie jako nadzór nad narzędziem, CISO mogą zacząć postrzegać AI jako rozwijającego się współpracownika, co prowadzi do fundamentalnej zmiany w sposobie, w jaki CISO spędzają swój czas.

SOC, które potrafią zrównoważyć tę relację, to te z najbardziej zdyscyplinowanym procesem budowania zaufania. Ta dyscyplina pozwala operacji bezpieczeństwa skalować się z prędkością maszyny na warstwie wykonania, nie tracąc przy tym ludzkiego osądu, którego decyzje na poziomie wyniku nadal wymagają i zawsze będą wymagały.

Minęła już era postrzegania AI jako błyszczącego nowego narzędzia, które ma zachwycić zarządy. Możliwości i potencjał AI zdobyły autorytet, aby być traktowanym tak, jak wszyscy w SOC zawsze traktowali zaawansowane technologie – decyzją po decyzji, zweryfikowaną.