Przemyślenie odporności AI: Dlaczego nadszedł czas, aby porzucić model ‘Ustaw i zapomnij’

Według niedawnego badania Gallupa obserwuje się trend rosnącego przyjmowania AI, gdy ponad połowa pracujących dorosłych twierdzi, że używa tej technologii przynajmniej kilka razy w roku. Te dane są jedynie wskazówką szybkiego przyjmowania AI w środowiskach przedsiębiorstw. Choć wielu liderów firm zaczął kwestionować zwrot z inwestycji w AI, nie powstrzymało to organizacji od wykorzystywania technologii do usprawniania ręcznych zadań i maksymalizacji wydajności.

W miarę jak przyjmowanie rośnie, organizacje mogą być skłonne ignorować szkodliwe błędy w automatyzowanych przepływach pracy. Postrzegają AI jako rozwiązanie gotowe do użycia, które wymaga od zespołów IT jedynie ustawienia technologii, uruchomienia jej i „zapomnienia” o jej istnieniu. Niektóre zespoły bezpieczeństwa starają się przeciwstawić takiemu myśleniu, tworząc podręczniki automatyzacji mające promować bezpieczne i pewne użycie AI. Jednak nawet najlepsze zespoły IT i bezpieczeństwa zostawiają niewiele miejsca na korekty w tych podręcznikach. W rezultacie przedsiębiorstwa nie są w stanie bezpiecznie rozwijać się razem z AI, tak jak technologia sama się rozwija.

W miarę jak przedsiębiorstwa przyznają AI większe uprawnienia w krytycznych procesach biznesowych, zwinność operacyjna musi stać się nowym wymogiem współczesnych organizacji. Aby stało się to powszechną praktyką, liderzy bezpieczeństwa przedsiębiorstw muszą porzucić podejście „ustaw i zapomnij” i projektować pod kątem odporności.

Zrozumienie paradoksu automatyzacji

Automatyzacja oparta na AI przynosi ogromne zyski wydajności w wielu funkcjach przedsiębiorstwa. Weźmy na przykład cyberbezpieczeństwo. Narzędzia AI pozwalają analitykom wykonywać dodatkowe kroki, na które nigdy nie mieli czasu w przeciążonych i przytłoczonych centrach operacji bezpieczeństwa. Obejmuje to takie zadania jak priorytetyzacja alertów, przegląd zdarzeń, wykrywanie zagrożeń, weryfikacja krzyżowa oraz uzyskanie drugiej opinii. W przeciwieństwie do niektórych liderów wyższego szczebla, CISO pozostają generalnie optymistyczni co do wartości, jaką AI przyniesie w przyszłości. Według danych z „The CISO Report: From Risk to Resilience in the AI Era” 83 % CISO uważa, że automatyzacja jest inwestycją, która najprawdopodobniej przewyższy oczekiwania.

Pomimo tych korzyści, istnieje paradoks. Ten sam raport podkreśla sceptycyzm CISO wobec AI, obawiających się konsekwencji autonomicznych błędów. 83 % CISO ocenia wpływ halucynacji, takich jak pominięte alerty czy fałszywe alarmy, jako największy problem związany z AI agentycznym. Istnieją wystarczające dowody potwierdzające te obawy. Jedna z dużych linii lotniczych została pociągnięta do odpowiedzialności prawnej i zobowiązana do wypłaty odszkodowań po tym, jak jej chatbot obsługi klienta „zhalucynował” politykę zwrotu opłaty za bilet pogrzebowy. Firma zajmująca się wywiadem zagrożeń stoi w obliczu problemów prawnych, ponieważ podobno wydała raport łączący startup z hakerami z obcego państwa. Gdy AI popełnia błędy, konsekwencje mogą wykraczać poza systemy wewnętrzne, wpływając zarówno na kapitał, jak i reputację.

Problem przestarzałych podręczników

Podręczniki bezpieczeństwa skoncentrowane na AI stanowią podstawę udanej i bezpiecznej adopcji AI. Problemy pojawiają się jednak, gdy te podręczniki nigdy się nie zmieniają. Zagrożenia, infrastruktura IT i środowiska biznesowe nieustannie się rozwijają. AI umożliwia aktorom zagrożeń skalowanie ataków, a rosnące i coraz bardziej złożone środowiska IT utrudniają wykrywanie. Jednocześnie, gdy firmy powierają AI większą odpowiedzialność, konsekwencje błędów stają się bardziej poważne.

Jeśli wszystkie te czynniki będą się dalej rozwijać, logika automatyzacji musi ewoluować razem z nimi. Zamrożone podręczniki automatyzacji uniemożliwiają to. Zostawiają zespoły bezpieczeństwa w sytuacji, że muszą stawiać czoła bieżącym problemom przy użyciu przestarzałej logiki. Czasami taki scenariusz może zakończyć się gorzej niż brak jakiegokolwiek podręcznika.

• Testowane nieustannie w oparciu o najnowsze informacje o zagrożeniach
• Aktualizowane po wystąpieniu rzeczywistych incydentów
• Wycofywane, gdy przestają być skuteczne lub użyteczne

To podejście jest zgodne z wytycznymi Agencji Bezpieczeństwa Cybernetycznego i Infrastruktury (CISA) oraz innych światowych agencji ds. cyberbezpieczeństwa, które promują ciągłe monitorowanie systemów AI oraz stałą interwencję człowieka.

Wdrażanie formuły odporności

Era AI wymaga od przedsiębiorstw odejścia od podejścia, w którym AI jest postrzegane jako jednorazowe rozwiązanie lub po prostu „przyklejanie” automatyzacji do istniejących przypadków użycia. Zamiast tego organizacje muszą budować kulturę odporności, która pozwala zarówno personelowi IT, jak i systemom wzmacniać to, co AI robi dobrze — oraz reagować efektywnie, gdy technologia popełnia błąd.

Trójstopniowa praktyczna formuła może pomóc w wprowadzeniu tej odporności do działań automatycznych.

• Pewność: Dla każdego zautomatyzowanego przepływu pracy zespoły powinny zadać sobie pytanie: Jak bardzo jesteśmy pewni wyzwalacza, który zainicjował automatyczną odpowiedź?
• Odwracalność: Czy działanie jest odwracalne? Jeśli tak, jak szybko i bezpiecznie możemy to zrobić?
• Zasięg skutków: Jak daleko sięgają konsekwencje, jeśli błąd się rozprzestrzeni, i jak krytyczny dla biznesu jest dotknięty zasób?

Odpowiednie narzędzia do obserwowalności i monitoringu są kluczowe, aby odpowiedzieć na te pytania. Zespoły powinny wykorzystać zintegrowaną platformę obserwowalności i zarządzania danymi, aby w pełni rozumieć, w którym miejscu środowiska IT może wystąpić automatyczna reakcja, które inne zasoby ona wpływa oraz jakie są związane z tym konsekwencje biznesowe. Regularne przeprowadzanie tego ćwiczenia pozwoli zespołom bezpieczeństwa utrzymywać aktualne podręczniki AI. Co więcej, umożliwi właściwe praktyki „człowiek w pętli”, ponieważ zespoły IT będą wiedziały, gdzie i jak interweniować, aby zapobiec nieprawidłowym działaniom automatycznym, które mogłyby mieć rozległe i kosztowne skutki.

Ustaw i zapomnij – już nie

Ważne jest, aby współczesny CISO i liderzy IT zdawali sobie sprawę, że odpowiedzialność za zachowanie AI spoczywa na nich. Im więcej AI ingeruje w kluczowe zadania przedsiębiorstwa, tym większy ciężar spoczywa na dyrektorach ds. cyberbezpieczeństwa. Dobrą zasadą, którą warto zapamiętać, jest: „Automatyzacja zmienia tego, kto naciska przycisk. Nie zmienia tego, kto jest odpowiedzialny za naciśnięcie przycisku”.

Ryzyko i odpowiedzialność współczesnego CISO są zbyt wysokie, aby utrzymywać podręczniki typu „ustaw i zapomnij”. Zamiast tego odporność musi być zarówno praktyką, jak i kulturą, która przenika całe przedsiębiorstwo i pozwala mu odbić się po błędzie AI. Gdy zespoły włączą ciągłe monitorowanie, odwracalność, ograniczanie oraz ludzką odpowiedzialność do podręcznika automatyzacji, przedsiębiorstwa mogą zapobiec przekształceniu automatycznej decyzji w problem na skalę całej firmy.