Proč podnikový AI selhává po nasazení – a co s tím dělat

Výstraha: Problém není model

V roce 2023 spustila New York City chatbota MyCity, aby pomohl podnikům navigovat komplexní regulace. Nápad byl jednoduchý: usnadnit přístup k právnímu informace.

V praxi systém produkoval odpovědi, které nebyly pouze špatné, ale i právně zavádějící – od pravidel pro tipy až po diskriminaci v bydlení a platební zákony.

Pozdější audit zjistil, že 71,4 % zpětné vazby uživatelů bylo negativní. Místo toho, aby se řešily základní problémy, odpovědí bylo přidání prohlášení. Chatbot zůstal ve “verzi beta” po více než dva roky, než byl ukončen.

Selhání nebylo technické. Systém se rozpadl v produkci, protože neexistoval mechanismus, který by zajišťoval přesnost, jasnou odpovědnost a možnost zasáhnout, když se věci šly špatně.

To je vzorec za podnikovým AI dnes: technologie funguje, ale organizace nejsou nastaveny tak, aby ji spolehlivě provozovaly, jednou je nasazená.

Od pilotního projektu k produkci: Kde vše selhává

Vytvoření pilotního projektu je poměrně přímočaré – vyberte případ užití, zvolte model, připravte data, najděte sponzora. Provozování systému v produkci je však zcela jiná liga.

Mezera je jako rozdíl mezi skokem do bazénu a skokem z mezosféry, jako to udělal Felix Baumgartner v roce 2012. Stejné základní fyzikální zákony, zcela odlišné podmínky – a velmi odlišné důsledky pro selhání.

V produkci AI vstupuje do skutečných rozhodovacích toků, interaguje se zákazníky a vytváří právní a provozní důsledky. To je místo, kde se začínají objevovat mezery – ne v modelu, ale v tom, jak je řízen.

Evropa to činí viditelnějším než většina regionů. Regulace, jako je evropský zákon o AI, GDPR a NIS2, nezpomalují přijetí – odhalují, zda organizace mohou provozovat systémy AI pod skutečnými omezeními.

V roce 2025 již 55 % velkých evropských podniků používalo AI. Přijetí již probíhá ve velkém měřítku. Výzvou je, co se stane po nasazení.

V té době začínají vyplouvat základní provozní otázky. A často nikdo nemůže odpovědět: Kdo je odpovědný za výstupy AI a autonomní rozhodnutí? Co se stane, když systém chová v neočekávaných způsobech? A kdo bude chytit to, než se škoda dostane do médií?

Odpovědnost spočívá s podnikem, ne s technologií. Chatbot Air Canada poskytl zákazníkovi nesprávné informace o cenách za smuteční přepravy. Zákazník se na to spolehl a později mu byla odepřena refundace. Tribunál rozhodl, že letecká společnost byla odpovědná – chatbot nebyl samostatnou entitou.

Stejný problém, jiný úhel: systém McHire od McDonald’s odhalil citlivé údaje téměř 64 000 uchazečů. Příčinou nebyla sofistikovaná útok – administrátorské přihlášení používalo “admin” a “123456”. Systém vypadal pokročilý. Selhání bylo elementární.

Když přidáte řízení na živý systém, je již příliš pozdě. Nasazení systému je technické rozhodnutí. Provozování jej spolehlivě je organizační rozhodnutí. A to je část, kterou většina podniků podceňuje.

Kdo vlastně vlastní riziko AI? Nikdo.

To je jádro problému a paradoxně nejvíce diskutované. IT řídí infrastrukturu. Právní odbor zajišťuje soulad. Obchodní týmy tlačí případy užití. Ale nikdo nevlastní konečné riziko AI.

To vytváří dva okamžité problémy. Rozhodnutí “jít” se zpomalí – protože nikdo nechce převzít odpovědnost. A rozhodnutí “zastavit” se zpomalí stejně – protože nikdo neví, kdo může.

Data to potvrzují. Méně než 10 % případů užití AI se dostane z pilotního projektu do produkce a většina organizací se potýká s generováním měřitelného obchodního dopadu. Současně mnoho z nich již nasazuje AI – ale podle průzkumu zralosti řízení mělo pouze 7 % dobře strukturované a konzistentně aplikované řízení.

Proč se to děje tak konzistentně? Protože většina rámců a firemních politik definuje, co by se mělo stát – ne kdo je odpovědný, když to skutečně záleží. Když systém začne produkovat nesprávné výstupy v pátek ve 12 hodin, otázka není teoretická. Kdo jedná? A kdo má pravomoc rozhodnout?

To se ještě zhoršuje se škálou. Jeden systém lze řídit neformálně. Když máte třicet, odpovědnost se rozpadá mezi týmy a nikdo nemá úplný přehled.

Commonwealth Bank of Australia poskytuje jasný příklad. Banka nahradila 45 zákaznických služeb AI hlasovými boty, očekávající, že poptávka poklesne. To se nestalo. Hovory se zvýšily, manažeři museli řešit přebytek a banka musela znovu najmout všech 45 zaměstnanců. Když byli zpochybněni, nemohli prokázat, že automatizace snížila pracovní zatížení.

Nikdo neověřil předpoklady před nasazením. Nikdo nevlastnil výsledek, když tyto předpoklady selhaly. To je, co vypadá vakuum odpovědnosti v praxi.

Mít pravidla nestačí. Potřebujete mechanismus

Většina organizací postrádá politiky. Postrádají systémy, které fungují, když něco jde špatně.

Politika definuje, co by se mělo stát. Mechanismus určuje, co skutečně nastane – když model produkuje nesprávné výstupy, když dodavatel změní něco na pozadí nebo když systém začne chovat v neočekávaných způsobech.

Ten rozdíl se stává viditelným v produkci – když se musí učinit rozhodnutí za skutečných podmínek.

Tyto selhání následují konzistentní dynamiku. V každém případě se objevují stejné provozní mezery – pouze v různých formách.

Vlastnictví přichází první

Každý nasazený systém AI potřebuje jasně odpovědného vlastníka – jednu osobu, ne tým nebo oddělení, s pravomocí schválit, pozastavit a ukončit jej.

Bez toho není možné rychlé nasazení ani bezpečné zásahy. Jak je vidět v příkladu Commonwealth Bank, absence jasného vlastnictví vede přímo k provoznímu selhání.

Data a právní jasnost jsou často chybějící

Mnoho systémů je nasazeno bez zdokumentovaných toků dat, ověřené právní základny nebo jasnosti o tom, jaké povinnosti platí, když je systém v produkci.

Italský regulátorův postup proti DeepSeek v roce 2025 ilustruje to jasně. Problém nebyl kvalita modelu – bylo to neschopnost vysvětlit, jak se zpracovávají osobní údaje. Výsledkem byla náhlá přerušení služby pro evropské uživatele.

Testování zřídka odráží skutečné použití

Systémy jsou často vyhodnocovány na scénářích, kde fungují dobře, ale ne na případech, kde by selhání mělo největší význam.

Chatbot MyCity je jasným příkladem. Základní hraniční případy – kolem pracovního práva, diskriminace v bydlení nebo platebních pravidel – nebyly zachyceny před nasazením. Jakmile byly vystaveny skutečným uživatelům, tyto selhání se stala veřejnými okamžitě.

Testování není pouze o výkonu – je o identifikaci, kde systém selhává, než uživatelé, regulátoři nebo novináři.

Zásah je nejasný nebo příliš pomalý

I když jsou problémy viditelné, často neexistuje jasný spouštěč nebo pravomoc pozastavit nebo ukončit systém.

Zillow Offers demonstruje to ve velkém měřítku. Systém používal algoritmus k cenování a nákupu domů. Když se trh ochladil v roce 2021, systém pokračoval v nákupu za nadhodnocené ceny. Neexistoval mechanismus pro detekci posunu včas a neexistoval jasný rozhodovací bod pro ukončení. Výsledkem byly ztráty přesahující 880 milionů dolarů a uzavření celé divize.

Monitorování není vlastnictví

Monitorování je často redukováno na řídicí panely, ale to není to, co brání selháním.

To, co záleží, je definovaná odpovědnost: kdo sleduje signály, co spouští eskalaci a kdo se očekává, že bude jednat.

Deloitte Australia ukazuje, co se stane, když chybí. Vládní zpráva obsahovala halucinované citace a nesprávné právní odkazy, protože nikdo nebyl explicitně odpovědný za ověření výstupů před dodáním. Výsledkem byla částečná refundace a poškození reputace.

Agentic AI: Co přijde, bude ještě těžší

Generativní AI produkuje výstupy. Agentic AI činí akce. To mění riziko úplně.

Místo jedné odpovědi, kterou je třeba vyhodnotit, může jeden příkaz spustit řetězec rozhodnutí napříč systémy – API volání, přístup k datům, transakce, aktualizace – často bez lidského zásahu na každém kroku.

Když něco jde špatně, problém již není přesnost. Je to stopovatelnost. Který krok způsobil problém? Jaká data byla použita? Kdo autorizoval akci? V mnoha případech jsou tyto otázky obtížné zodpovědět dodatečně.

To je místo, kde se stávající mezery stanou kritickými. Nejasné vlastnictví, slabé monitorování a absence zásahu se ne pouze zachovávají – kumulují se. Nesprávná odpověď lze opravit. Nesprávná akce může mít důsledky, než někdo zaznamená.

Rané signály již ukazují tímto směrem. Gartner odhaduje, že více než 40 % projektů agentic AI bude zrušeno do roku 2027 – ne kvůli omezením modelu, ale protože organizace bojují s kontrolou nákladů, rizik a výsledků. To je stejný vzorec, který vidíme u generativního AI po nasazení. Jen s vyššími sázkami.

Regulátoři již reagují na jednoduchý princip: automatizace neodstraňuje odpovědnost. Pro organizace to vytváří jasný dopad: pokud vlastnictví a kontrola nejsou jasná dnes, přechod na agentic systémy problém nevyřeší. Zhorší ho.

Provozujte to – nebo ztratíte

AI již není omezením. Modely jsou široce dostupné, schopné a stále více komoditizované. Skutečný diferenciátor již není, zda organizace může postavit AI – ale zda může spolehlivě provozovat, jednou je nasazený.

To je místo, kde většina selhání nastává – v tom, jak systémy běží, ne v tom, jak jsou postaveny. Organizace, které uspějí, nebudou ty s nejvýkonnějšími modely. Budou to ty s nejjasnějšími provozními strukturami kolem nich.

To lze otestovat přímo. Vezměte si váš nejvýznamnější systém AI a odpovězte na tři otázky:

• Kdo může systém ukončit?
• Jak víte, když systém selhává?
• Co se stane, když systém selhává?

Pokud tyto odpovědi nejsou jasná, systém není připraven pro produkci.

Model může být. Organizace není.