AI incidenty se stávají operačními krizemi. Musíme je začít řešit jako takové.

V posledních několika letech většina organizací hovoří o riziku AI ve smyslu řízení.

Je model přesný? Je spravedlivý? Je data schválena? Dodržujeme vznikající regulaci? To jsou důležité otázky, ale nejsou jediné otázky. Čím urgentnější otázka je, co se stane, když něco goes wrong?

Co se stane, když AI agent provede akci, kterou neměl nikdy provést? Co se stane, když model unikne citlivá data? Co se stane, když halucinace vytvoří právní expozici, nebo automatizované rozhodnutí ovlivní zákazníka, zaměstnance, pacienta nebo partnera způsobem, který nelze snadno zrušit?

A možná nejpraktičtěji: kam organizace půjde, aby koordinovala odpověď? To je posun, který je nyní na místě. Riziko AI se stává otázkou operační odolnosti, ne pouze otázkou řízení.

AI se přesouvá z experimentů do fungujícího mechanismu podniku. Je začleněn do zákaznické podpory, softwarového vývoje, finančních operací, zdravotnických workflow, náboru, zpracování pojistných událostí, dodavatelských řetězců a interní automatizace. Jakmile se AI stává více propojeným s podnikem, selhání AI se stávají podnikovými incidenty.

Monitor AI incidentů OECD sledoval 596 AI incidentů v lednu 2026, 200% růst oproti stejnému období loňského roku. Úsilí, jako je Monitor AI incidentů OECD a AI Incident Database, dokumentuje negativní nebo škodlivé výsledky spojené s AI systémy, aby průmysl mohl se učit z zkušeností stejně jako letectví a kybernetická bezpečnost dělaly roky.

To je důležité srovnání. Zralé odvětví se ptají, jak zabránit selhání a jak reagovat, když selhání nastane.

AI incidenty se nechovají jako tradiční software chyby

Tradiční software chyba obvykle má relativně jasnou hranici. Něco se rozbije, inženýři zkoumají a tým reprodukuje problém, opraví kód a odesílá opravu.

Nicméně, AI incidenty jsou špinavější. Mohou být pravděpodobnostní, přechodné a vznikají z interakce mezi modelem, promptem, systémem načítání, pluginem, agentem, uživatelem a downstream obchodním procesem. Někdy AI systém funguje přesně podle návrhu, ale návrh je neúplný pro prostředí, ve kterém je používán. To činí odpověď složitější.

Halucinace v spotřebitelském chatbotu je jeden druh problému. Halucinace uvnitř právního, finančního, klinického nebo HR workflow je jiný. Bias v testování je vážný. Bias v rozhodovacím procesu, který běží ve velkém měřítku v produkci, je něco úplně jiného. AI asistent, který vypracovává e-mail, je jedna věc, ale agent, který může měnit oprávnění, vydávat refundace, aktualizovat záznamy, spouštět workflow nebo spouštět kód, je velmi jiný druh rizika.

Repozitář AI rizik MIT zachycuje širokou škálu AI rizik, včetně falešných nebo zavádějících informací, selhání ochrany soukromí a bezpečnosti, diskriminace, zneužití a problémů se systémem. OWASP Top 10 pro LLM aplikace podobně zdůrazňuje rizika, jako je prompt injection, odhalení citlivých informací, nebezpečné zpracování výstupu a nadměrná agentura. Tyto jsou praktické režimy selhání, spíše než abstraktní technické obavy.

Pokud AI agent má příliš mnoho pravomocí, může provést akce, které žádný člověk nezamýšlel. Pokud prompt injection uspěje, systém může odhalit informace nebo následovat nepřátelské instrukce. Pokud citlivá data uniknou prostřednictvím modelu nebo systému načítání, odpověď má právní, regulační, zákaznické a reputační důsledky. To je proč jazyk AI řízení může někdy stát příliš pasivní. Řízení nám říká, co by mělo být pravdivé. Odpověď na incident nám říká, co dělat, když realita se pohybuje rychleji než politika.

Odpověď bude cross-funkční

Jedna z největších lekcí z kybernetické bezpečnosti je, že incidenty zřídka zůstávají uvnitř bezpečnostního týmu. Na začátku, událost může vypadat technicky. Velmi rychle, to zahrnuje právní, komunikační, obchodní vedení, soulad, zákaznické týmy, externí poradenství, pojišťovny, forenzní specialisty a někdy i představenstvo.

AI incidenty budou následovat stejný vzorec.

Představte si model, který odhalí citlivá zákaznická data. Bezpečnostní a soukromí týmy potřebují pochopit, co se stalo. Právní potřebují posoudit závazky. Komunikační mohou potřebovat připravit se na zákazníky, regulátory nebo média. Inženýři mohou potřebovat zakázat nebo vrátit systém. Obchodní lídři mohou potřebovat vážit kontinuitu proti obsahu.

Nebo si představte AI agenta, který začne provádět neúmyslné akce napříč podnikovými systémy. Technický tým může být schopen ho vypnout, ale organizace stále potřebuje vědět, co udělal, kdo byl ovlivněn, jaké rozhodnutí byly učiněny, zda byly spuštěny smluvní závazky a jak bude zabráněno stejnému selhání v budoucnu. To nemůže být vyřešeno pouze AI týmem.

Organizace by měly budovat cross-funkční svalovou paměť, než ji budou potřebovat. To znamená jasná spouštěcí signály, jasná role, jasná práva rozhodování, jasná komunikační cesty, jasná dokumentace a praxe.

V krizi, koordinace je infrastruktura, ne pouze měkká dovednost.

AI, který je vyšetřován, by neměl kontrolovat odpověď

Existuje další problém, o kterém organizace potřebují uvažovat mnohem pečlivěji. Pokud AI systém, který je vyšetřován, může přistupovat ke stejné komunikaci, dokumentům, workflow nebo automatizaci, která se používá pro koordinaci odpovědi, organizace má problém.

V kybernetické bezpečnosti je to známý princip. Pokud ransomware ohrozil firemní síť, nekoordinujete odpověď na systémech, které útočník může číst, rušit nebo manipulovat. Přesouváte se mimo pásmo. Oddělujete incident od odpovědi.

Stejní logika platí pro AI.

AI systém nemusí být zlý ve smyslu lidském, ale pokud může vidět odpověďní plán, shrnout odpověďní setkání, ovlivnit workflow, doporučit další krok nebo fungovat uvnitř stejného prostředí, které se používá pro jeho obsažení, pak organizace nemá真正 izolovanou odpověď.

To se stává ještě důležitějším s agenty AI. Bezpečnostní rámec AI od Googlu zdůrazňuje rizika, jako je prompt injection, data poisoning a rogue akce, a mapuje je na kontrolní prvky napříč AI životním cyklem. To je správné rámování. Jakmile AI systémy se stanou více schopnými jednat napříč nástroji, daty a workflow, organizace potřebují uvažovat o modelové bezpečnosti a o operační separaci.

Myslete si to jako vyšetřování požáru. Nechoďte byste chtěli, aby byly ovládání sprinklerů spojena se stejným poškozeným systémem, který se snažíte diagnostikovat.

Příprava, praxe, odpověď, zpráva

Užitečný rámec pro připravenost AI incidentu je stejný, jako ten, který se stal zralým v kybernetické bezpečnosti: příprava, praxe, odpověď, zpráva.

Příprava znamená definování typů incidentů předtím, než nastanou, jako bias, halucinace, data leakage, model drift, prompt injection, agentic runaway, neautorizované použití nástroje a selhání třetí strany. Každý vyžaduje různé stakeholders a různé rozhodnutí.

Dobrá příručka by neměla být 200-stránkovou dokumentací v složce. Nikdo neotevře stránku 137 během krize. Dobrá příručka je založena na roli, přístupná a akční. Právní ví, co právní potřebuje udělat. Inženýři ví, co inženýři potřebují udělat. Komunikační ví, kdy zapojit. Představenstvo ví, kdy management eskaluje.

Praxe znamená běh stolu. Ne jednou ročně jako zaškrtnutí, ale často dost, aby se vytvořila svalová paměť. První čas, kdy představenstvo diskutuje o AI incidentu, by neměl být během skutečného AI incidentu. První čas, kdy právní, inženýři, soukromí, bezpečnost, komunikační a další týmy procházejí AI selháním společně, by neměl být, když zákazníci již mají otázky.

Odpověď znamená koordinaci živého události s disciplínou. Kdo je v místnosti? Jaké skutečnosti jsou známy? Jaké skutečnosti jsou stále nejisté? Jaká rozhodnutí byla učiněna? Kdo je schválil? Co se změnilo mezi 12. a 48. hodinou?

Zpráva znamená uznání, že AI regulace se stává více konkrétní. EU AI Act zahrnuje vážné incidenty oznamovací povinnosti pro poskytovatele určitých high-risk AI systémů. Podrobnosti se budou lišit podle jurisdikce, odvětví a použití, ale směr je jasný. AI incidenty budou stále více vyžadovat defenzivní záznam o tom, co se stalo, co bylo známo, jaké akce byly provedeny a kdy.

AI může pomoci, ale nemůže nahradit úsudek

Existuje pokušení myslet si, že AI incidentní odpověď by měla být plně automatizovaná. Myslím, že to je špatné rámování.

AI může pomoci enormně. Může shrnout skutečnosti. Může identifikovat chybějící informace. Může porovnat incident s předchozími vzory. Může vypracovat zprávy po akci. Může pomoci mapovat regulační závazky. Může snížit administrativní zátěž, když lidé jsou pod tlakem.

Ale v vážném incidentu, lidé zůstávají nepostradatelní.

Někdo musí rozhodnout, zda skutečnosti jsou dostatečné. Někdo musí vážit zákaznický dopad. Někdo musí rozhodnout, zda pozastavit systém. Někdo musí určit, zda organizace překročila oznamovací práh. Někdo musí komunikovat s odpovědností a empatií.

Správná role AI v incidentní odpovědi není nahradit krizový tým. Je dát krizovému týmu lepší kontext, rychlejší.

NISTův rámec AI rizikového řízení je užitečný, protože rámec AI rizikového řízení kolem čtyř funkcí: řídit, mapovat, měřit a spravovat. Pro incidentní odpověď bych přidál jednu praktickou extenzi: cvičit.

Plán, který nebyl nikdy testován, není opravdu plán. Je to teorie.

Představenstvo potřebuje příručku, také

AI riziko se stává tématem představenstva, ale zapojení představenstva nemůže skončit u dohlížecích slideů. Představenstvo potřebuje pochopit svou roli před krizí.

Kdy bude představenstvo informováno? Jaká rozhodnutí vyžadují vstup představenstva? Jaké informace poskytne management? Jak budou hodnoceny materialita, zákaznický dopad, právní expozice, regulační závazky a provozní přerušení?

Mnoho organizací má bezpečnostní příručky, soukromí příručky, komunikační příručky a právní příručky. Málo z nich má příručku pro AI incidenty. Ta mezera se stane více viditelnou, jakmile AI systémy se stanou regulovanými, generujícími příjem a zákaznicky orientovanými workflow. Role představenstva je pomoci organizaci učinit lepší rozhodnutí pod tlakem, ne stát se více technickým.

Důvěryhodný AI vyžaduje operační odolnost

Existuje mnoho diskusí o důvěryhodném AI. To je správná aspirace, ale důvěra není vytvořena pouze principy. Důvěra je vytvořena, když organizace mohou ukázat, jak se připravují, jak detekují problémy, jak reagují, jak komunikují, jak dokumentují rozhodnutí a jak se zlepšují.

Kybernetická bezpečnost prošla stejnou evolucí. Organizace strávily roky investicemi do prevence a měly by pokračovat. Ale zralé organizace nakonec pochopily, že prevence nestačí. Potřebujete také odolnost. AI vstupuje do stejné fáze.

Měli bychom určitě budovat bezpečnější modely, silnější kontrolní prvky, lepší hodnocení, lepší red-teaming a lepší řízení, ale měli bychom také přijmout, že incidenty nastanou. Modely selžou, agenti se budou chovat neočekávaně, data uniknou, lidé zneužijí systémy, isuse systems, vendors will make mistakes, and regulations will evolve. The question is whether the organization can respond with speed, coordination, judgment, and accountability when an incident occurs. That is how AI moves from experimentation to dependable infrastructure, and that is how resilience becomes culture.