Incydenty AI stają się kryzysami operacyjnymi. Musimy traktować je w ten sposób.

Przez ostatnie kilka lat, większość organizacji mówiła o ryzyku AI w języku zarządzania.

Czy model jest dokładny? Czy jest sprawiedliwy? Czy dane są zatwierdzone? Czy przestrzegamy nowych regulacji? To są ważne pytania, ale nie są one jedynymi pytaniami. Bardziej pilne pytanie brzmi: co się dzieje, gdy coś pójdzie nie tak?

Co się dzieje, gdy agent AI podejmuje działanie, które nie było przeznaczone? Co się dzieje, gdy model ujawnia wrażliwe dane? Co się dzieje, gdy zahipnotyzowana odpowiedź tworzy ekspozycję prawną, lub zautomatyzowana decyzja wpływa na klienta, pracownika, pacjenta lub partnera w sposób, który nie może być łatwo cofnięty?

I może najpraktyczniej: gdzie organizacja idzie, aby skoordynować odpowiedź? To jest zmiana, która teraz się dokonuje. Ryzyko AI staje się kwestią operacyjnej wytrzymałości, a nie tylko kwestią zarządzania.

AI przechodzi z eksperymentów do działającej machiny przedsiębiorstwa. Jest wbudowywany w obsługę klienta, rozwój oprogramowania, operacje finansowe, przepływy pracy medycznej, zatrudnianie, przetwarzanie roszczeń, łańcuchy dostaw i automatyzację wewnętrzną. Im bardziej AI staje się połączony z biznesem, tym bardziej awarie AI stają się incydentami biznesowymi.

Monitor incydentów AI OECD śledził 596 incydentów AI w styczniu 2026 roku, co oznacza wzrost o 200% w stosunku do roku poprzedniego. Wysiłki takie jak Monitor incydentów AI OECD i baza danych incydentów AI dokumentują negatywne lub szkodliwe skutki związane z systemami AI, aby branża mogła się uczyć z doświadczeń w tym samym sposób, w jaki lotnictwo i cyberbezpieczeństwo robiły to przez lata.

To porównanie jest ważne. Dojrzałe branże pytają, jak zapobiec awariom i jak reagować, gdy awaria występuje.

Incydenty AI nie zachowują się jak tradycyjne błędy oprogramowania

Tradycyjny błąd oprogramowania zwykle ma stosunkowo wyraźną granicę. Coś się psuje, inżynierowie badają, zespół odtwarza problem, łata kod i wysyła poprawkę.

Jednak incydenty AI są bardziej skomplikowane. Mogą być probabilistyczne, przejściowe i wynikać z interakcji między modelem, podpowiedzią, systemem pobierania, wtyczką, agentem, użytkownikiem i procesem biznesowym. Czasami system AI działa dokładnie zgodnie z projektem, ale projekt jest niekompletny dla środowiska, w którym jest używany. To sprawia, że odpowiedź jest bardziej skomplikowana.

Halucynacja w czacie konsumenckim to jeden rodzaj problemu. Halucynacja w przepływie pracy prawnej, finansowej, klinicznej lub HR to inny. Ubiased output w teście jest poważny. Ubiased proces decyzyjny działający na dużą skalę w produkcji jest czymś zupełnie innym. Asystent AI, który tworzy e-mail, to jedna rzecz, ale agent, który może zmieniać uprawnienia, wydawać zwroty, aktualizować rekordy, uruchamiać przepływy pracy lub wykonywać kod, to zupełnie inna kategoria ryzyka.

Repozytorium ryzyka AI MIT ujmuje szeroki zakres ryzyka AI, w tym fałszywą lub mylącą informację, awarie prywatności i bezpieczeństwa, dyskryminację, nadużycie i problemy z bezpieczeństwem systemu. OWASP’s Top 10 for LLM Applications podobnie podkreśla ryzyka, takie jak iniekcja podpowiedzi, ujawnienie informacji wrażliwych, niebezpieczne przetwarzanie danych wyjściowych i nadmierna agencja. To są praktyczne tryby awarii, a nie abstrakcyjne problemy techniczne.

Jeśli agent AI ma zbyt wiele uprawnień, może podejmować działania, których żaden człowiek nie zamierzał. Jeśli iniekcja podpowiedzi powiedzie się, system może ujawnić informacje lub postępować zgodnie z wrogimi instrukcjami. Jeśli wrażliwe dane są ujawnione przez model lub system pobierania, odpowiedź ma implikacje prawne, regulacyjne, klienta i reputacyjne. Dlatego język zarządzania AI może czasem stać się zbyt bierny. Zarządzanie mówi nam, co powinno być prawdą. Odpowiedź na incydent mówi nam, co zrobić, gdy rzeczywistość porusza się szybciej niż polityka.

Odpowiedź będzie międzyfunkcyjna

Jedną z największych lekcji z cyberbezpieczeństwa jest to, że incydenty rzadko pozostają w zespole bezpieczeństwa. Na początku zdarzenie może wyglądać na techniczne. Bardzo szybko angażuje prawników, komunikację, kierownictwo, zgodność, zespoły klientów, radców prawnych, ubezpieczycieli, specjalistów od analizy i czasem zarząd.

Incydenty AI będą podążać tym samym wzorcem.

Wyobraź sobie model, który ujawnia wrażliwe informacje klientów. Zespoły bezpieczeństwa i prywatności muszą zrozumieć, co się stało. Prawnicy muszą ocenić zobowiązania. Komunikacja może musieć przygotować się do klientów, regulatorów lub mediów. Inżynierowie mogą musieć wyłączyć lub cofnąć system. Kierownictwo biznesowe może musieć ważyć ciągłość wobec zawężenia.

Albo wyobraź sobie agenta AI, który zaczyna podejmować niezamierzone działania w systemach przedsiębiorstwa. Zespół techniczny może być w stanie go wyłączyć, ale organizacja nadal musi wiedzieć, co zrobił, kto został dotknięty, jakie decyzje zostały podjęte, czy zobowiązania umowne zostały wywołane i jak ten sam awaria zostanie zapobiegnięta w przyszłości. To nie może być rozwiązane przez zespół AI samodzielnie.

Organizacje powinny budować międzyfunkcyjną pamięć mięśniową przed tym, zanim będą jej potrzebować. To oznacza wyraźne wyzwania, role, prawa decyzyjne, ścieżki komunikacji, dokumentację i ćwiczenia.

W kryzysie koordynacja jest infrastrukturą, a nie tylko umiejętnością miękką.

AI badany nie powinien kontrolować odpowiedzi

Istnieje jeszcze jeden problem, o którym organizacje muszą myśleć znacznie bardziej uważnie. Jeśli system AI podlegający badaniu może uzyskać dostęp do tych samych komunikatów, dokumentów, przepływów pracy lub automatyzacji, które są używane do koordynowania odpowiedzi, organizacja ma problem.

W cyberbezpieczeństwie jest to znany princip. Jeśli ransomware skompromitował sieć korporacyjną, nie koordynujesz odpowiedzi na systemach, które atakujący może odczytać, przerwać lub manipulować. Przechodzisz poza zasięg. Rozdzielasz incydent od odpowiedzi.

Ten sam logika stosuje się do AI.

System AI może nie być zły w ludzkim sensie, ale jeśli może zobaczyć plan odpowiedzi, podsumować spotkanie odpowiedzi, wpłynąć na przepływ pracy, polecić następny krok lub działać w tym samym środowisku, które jest używane do jego zawężenia, wówczas organizacja nie izolowała odpowiedzi.

Staje się to jeszcze bardziej ważne w przypadku agentywnego AI. Bezpieczna ramka AI Google podkreśla ryzyka, takie jak iniekcja podpowiedzi, zatrucie danych i szkodliwe działania, i mapuje je na kontrolę w całym cyklu życia AI. To jest właściwe ramy. Im bardziej systemy AI stają się zdolne do działania w narzędziach, danych i przepływach pracy, tym bardziej organizacje muszą myśleć o bezpieczeństwie modelu i o operacyjnym rozdziale.

Wyobraź sobie to jak śledztwo w sprawie pożaru. Nie chciałbyś, aby sterowanie sprinklerami było połączone z tym samym uszkodzonym systemem, który próbujesz zdiagnozować.

Przygotuj się, ćwicz, odpowiedz, raportuj

Przydatna ramka dla gotowości do incydentu AI to ta sama, która dojrzała w cyberbezpieczeństwie: przygotuj się, ćwicz, odpowiedz, raportuj.

Przygotuj się oznacza definiowanie typów incydentów przed ich wystąpieniem, takich jak uprzedzenie, halucynacja, ujawnienie danych, dryf modelu, iniekcja podpowiedzi, agentywny bieg i nieautoryzowane użycie narzędzi. Każdy z nich wymaga różnych interesariuszy i różnych decyzji.

Dobra książka powinna być oparta na rolach, dostępna i działająca. Prawnicy wiedzą, co muszą zrobić. Inżynierowie wiedzą, co muszą zrobić. Komunikacja wie, kiedy zaangażować się. Zarząd wie, kiedy menedżer będzie eskalował.

Ćwicz oznacza prowadzenie ćwiczeń przy stole. Nie raz w roku jako znacznik, ale często wystarczająco, aby zbudować pamięć mięśniową. Pierwszy raz, kiedy zarząd omawia incydent AI, nie powinien być podczas prawdziwego incydentu AI. Pierwszy raz, kiedy prawnicy, inżynierowie, prywatność, bezpieczeństwo i komunikacja pracują razem nad awarią AI, nie powinno to być, gdy klienci już zadają pytania.

Odpowiedz oznacza koordynowanie zdarzenia na żywo z dyscypliną. Kto jest w pokoju? Jakie fakty są znane? Jakie fakty są nadal niepewne? Jakie decyzje zostały podjęte? Kto je zatwierdził? Co się zmieniło między godziną 12 a godziną 48?

Raportuj oznacza uznanie, że regulacja AI staje się bardziej konkretna. Akt AI UE obejmuje poważne zobowiązania do raportowania incydentów dla dostawców pewnych systemów AI o wysokim ryzyku. Szczegóły będą się różnić w zależności od jurysdykcji, branży i przypadku użycia, ale kierunek jest wyraźny. Incydenty AI będą coraz częściej wymagać uzasadnionego rekordu tego, co się stało, co było znane, jakie działania zostały podjęte i kiedy.

AI może pomóc, ale nie może zastąpić osądu

Istnieje pokusa, aby myśleć, że odpowiedź na incydent AI powinna być w pełni zautomatyzowana. Uważam, że to jest błędne podejście.

AI może pomóc ogromnie. Może podsumować fakty. Może zidentyfikować brakujące informacje. Może porównać incydent z poprzednimi wzorcami. Może sporządzić raporty po incydencie. Może pomóc w mapowaniu zobowiązań regulacyjnych. Może zmniejszyć obciążenie administracyjne, gdy ludzie są pod presją.

Ale w poważnym incydencie ludzie pozostają niezastąpieni.

Ktoś musi zdecydować, czy fakty są wystarczające. Ktoś musi ważyć wpływ na klienta. Ktoś musi zdecydować, czy zatrzymać system. Ktoś musi określić, czy organizacja przekroczyła próg raportowania. Ktoś musi komunikować się z odpowiedzialnością i empatią.

Prawidłowa rola AI w odpowiedzi na incydent nie polega na zastąpieniu zespołu kryzysowego. To daje zespołowi kryzysowemu lepszy kontekst, szybciej.

Ramka zarządzania ryzykiem AI NIST jest przydatna, ponieważ ramuje zarządzanie ryzykiem AI wokół czterech funkcji: zarządzaj, mapuj, mierzę i zarządzaj. Dla odpowiedzi na incydent dodałbym jeden praktyczny rozszerzenie: ćwicz.

Plan, który nie został przetestowany, nie jest naprawdę planem. To teoria.

Zarządy potrzebują książki, również

Ryzyko AI staje się tematem na poziomie zarządu, ale zaangażowanie zarządu nie może się zatrzymać na slajdach nadzorczych. Zarządy muszą zrozumieć swoją rolę przed wystąpieniem kryzysu.

Kiedy zarząd zostanie poinformowany? Jakie decyzje wymagają wkładu zarządu? Jakie informacje dostarczy zarząd? Jak materialność, wpływ na klienta, ekspozycja prawna, zobowiązania regulacyjne i zakłócenie operacyjne będą oceniane?

Wiele organizacji ma książki bezpieczeństwa, prywatności, komunikacji i prawne. Bardzo niewiele ma książki zarządu dla incydentów AI. To lukę, która stanie się bardziej widoczna, gdy systemy AI przechodzą do regulowanych, generujących przychody i obsługujących klientów przepływów pracy. Rola zarządu polega na pomocy organizacji w podejmowaniu lepszych decyzji pod presją, a nie staje się bardziej techniczna.

Godny zaufania AI wymaga operacyjnej wytrzymałości

Istnieje wiele rozmów o godnym zaufania AI. To jest właściwa aspiracja, ale zaufanie nie jest tworzone przez zasady same. Zaufanie jest tworzone, gdy organizacje mogą pokazać, jak się przygotowują, jak wykrywają problemy, jak reagują, jak komunikują się, jak dokumentują decyzje i jak się poprawiają.

Cyberbezpieczeństwo przeszło przez tę samą ewolucję. Organizacje spędziły lata inwestując w prewencję i powinny nadal to robić. Ale dojrzałe organizacje ostatecznie nauczyły się, że prewencja nie jest wystarczająca. Potrzebujesz również wytrzymałości. AI wkracza w tę samą fazę.

Powinniśmy absolutnie budować bezpieczniejsze modele, silniejsze kontrolę, lepsze oceny, lepsze czerwone zespoły i lepsze zarządzanie, ale powinniśmy również zaakceptować, że incydenty będą występować. Modele będą awaryjne, agenci będą się zachowywać w sposób nieoczekiwany, dane będą przeciekać, ludzie będą nadużywać systemów, isuse systems, vendors will make mistakes, and regulations will evolve. The question is whether the organization can respond with speed, coordination, judgment, and accountability when an incident occurs. That is how AI moves from experimentation to dependable infrastructure, and that is how resilience becomes culture.