Proč podnikový AI selhává po nasazení – a co s tím dělat

Výstraha: Problém není model

V roce 2023 spustilo město New York chatbota MyCity, aby pomohl firmám navigovat v komplexních regulacích. Nápad byl jednoduchý: usnadnit přístup k právním informacím.

V praxi systém produkoval odpovědi, které nebyly pouze špatné, ale i právně zavádějící – od pravidel pro spropitné až po diskriminaci v bydlení a platební zákony.

Poslední audit později zjistil, že 71,4 % uživatelské zpětné vazby bylo negativní. Místo toho, aby se opravily základní problémy, odpovědí bylo přidání prohlášení. Chatbot zůstal ve “fázi beta” po více než dva roky, než byl ukončen.

Selhání nebylo technické. Systém se rozpadl v produkci, protože neexistoval mechanismus, který by zajišťoval přesnost, jasnou odpovědnost a způsob, jak zasáhnout, když se věci pokazí.

To je vzorec za podnikovým AI dnes: technologie funguje, ale organizace nejsou nastaveny tak, aby ji spolehlivě provozovaly, jakmile je živá.

Od pilotního projektu k produkci: Kde všechno selhává

Vytvoření pilotního projektu je poměrně přímočaré – vyberte případ užití, zvolte model, připravte data, najděte sponzora. Spuštění systému v produkci je úplně jiná liga.

Mezera je jako rozdíl mezi skokem do bazénu a skokem z mezosféry, jako to udělal Felix Baumgartner v roce 2012. Stejné základní fyzikální zákony, úplně odlišné podmínky – a velmi odlišné důsledky selhání.

V produkci AI vstupuje do skutečných toků rozhodování, interaguje se zákazníky a vytváří právní a provozní důsledky. To je místo, kde se začínají objevovat mezery – ne v modelu, ale v tom, jak je řízen.

Evropa to činí viditelnějším dříve než většina regionů. Regulace, jako je evropský zákon o AI, GDPR a NIS2, nezpomalují přijetí – odhalují, zda organizace mohou provozovat systémy AI pod skutečnými omezeními.

V roce 2025 již 55 % velkých evropských podniků používalo AI. Přijetí již probíhá ve velkém měřítku. Výzvou je, co se stane po nasazení.

V té době začínají vyplouvat základní provozní otázky. A často nikdo nemůže odpovědět: Kdo je zodpovědný za výstupy AI a autonomní rozhodnutí? Co se stane, když se systém chová neočekávaně? A kdo zachytí to, než se škoda dostane do médií?

Odpovědnost spočívá u společnosti, ne u technologie. Chatbot Air Canada poskytl zákazníkovi nesprávné informace o cenách za smuteční služby. Zákazník se na nich spolehl a později mu byla odepřena refundace. Tribunál rozhodl, že letecká společnost byla odpovědná – chatbot nebyl samostatnou entitou.

Stejný problém, jiný úhel: systém McHire od McDonald’s odhalil citlivé údaje téměř 64 000 uchazečů. Příčinou nebyl sofistikovaný útok – administrátorské přihlášení používalo “admin” a “123456”. Systém vypadal pokrokově. Selhání bylo elementární.

Když přidáte řízení k živému systému, je již příliš pozdě. Nasazení systému je technické rozhodnutí. Jeho spolehlivý provoz je organizační rozhodnutí. A to je část, kterou většina společností podceňuje.

Kdo vlastně vlastní riziko AI? Nikdo.

To je jádro problému a paradoxně nejméně diskutované. IT řídí infrastrukturu. Právní odbor zajišťuje soulad. Obchodní týmy prosazují případy užití. Ale nikdo nemá celkovou odpovědnost za riziko AI.

To vytváří dva okamžité problémy. Rozhodnutí o “spuštění” se zpomalí – protože nikdo nechce převzít odpovědnost. A rozhodnutí o “zastavení” se zpomalí stejně – protože nikdo neví, kdo může.

Data to potvrzují. Méně než 10 % případů užití AI se dostane z pilotního projektu do produkce a většina organizací zápasí s vytvářením měřitelného obchodního dopadu. Současně mnoho z nich již nasazuje AI – ale podle průzkumu zralosti řízení mělo pouze 7 % dobře strukturované a konzistentně uplatňované řízení.

Proč se to děje tak konzistentně? Protože většina rámců a firemních politik definuje, co by se mělo stát – ne kdo je odpovědný, když to záleží. Když systém začne produkovat nesprávné výstupy v pátek ve 12 hodin, otázka není teoretická. Kdo jedná? A kdo má pravomoc rozhodnout?

To se ještě zhoršuje se škálou. Jeden systém lze řídit neformálně. Když máte třicet, odpovědnost se rozpadá mezi týmy a nikdo nemá úplný přehled.

Commonwealth Bank of Australia poskytuje jasný příklad. Banka nahradila 45 zákaznických služeb AI hlasovými roboty, očekávající, že poptávka poklesne. To se nestalo. Hovory se zvýšily, manažeři museli řešit přebytek a banka musela znovu najmout všechny 45 zaměstnanců. Když byli dotázáni, nemohli prokázat, že automatizace snížila pracovní zatížení.

Nikdo neověřil předpoklady před nasazením. Nikdo neměl odpovědnost za výsledek, když tyto předpoklady selhaly. To je, co vypadá vakuum odpovědnosti v praxi.

Mít pravidla nestačí. Potřebujete mechanismus

Většina organizací postrádá systém, který funguje, když něco jde špatně.

Pravidlo definuje, co by se mělo stát. Mechanismus určuje, co se skutečně stane – když model produkuje nesprávné výstupy, když dodavatel změní něco na pozadí nebo když systém začne chovat neočekávaně.

Ten rozdíl se stává viditelným v produkci – když se musí učinit rozhodnutí za skutečných podmínek.

Tyto selhání následují konzistentní dynamiku. V každém případě se objevují stejné provozní mezery – pouze v různých formách.

Vlastnictví přichází první

Každý nasazený systém AI potřebuje jasně odpovědného vlastníka – jednu osobu, ne tým nebo oddělení, s pravomocí schválit, pozastavit a ukončit jej.

Bez toho není možné rychlé nasazení ani bezpečné zásáhnutí. Jak je vidět v příkladu Commonwealth Bank, absence jasného vlastnictví vede přímo k provoznímu selhání.

Data a právní jasnost jsou často chybějící

Mnohé systémy jsou spuštěny bez zdokumentovaných toků dat, ověřené právní základny nebo jasnosti o tom, jaké povinnosti se vztahují, jakmile je systém v produkci.

Italský regulátorův krok proti DeepSeek v roce 2025 ilustruje to jasně. Problém nebyl kvalita modelu – bylo to neschopnost vysvětlit, jak jsou zpracovávána osobní data. Výsledkem byla náhlá přerušení služby pro evropské uživatele.

Testování zřídka odráží skutečné použití

Systémy jsou často vyhodnocovány na scénářích, ve kterých fungují dobře, ale ne na případech, kde by selhání mělo největší význam.

Chatbot MyCity je jasným příkladem. Základní hraniční případy – kolem pracovního práva, diskriminace v bydlení nebo platebních pravidel – nebyly zachyceny před nasazením. Jakmile byl vystaven skutečným uživatelům, tyto selhání se stala veřejnými okamžitě.

Testování není pouze o výkonu – je o identifikaci, kde systém selhává, než uživatelé, regulátoři nebo novináři.

Zásah je nejasný nebo příliš pomalý

I když jsou problémy viditelné, často neexistuje jasný spouštěč nebo pravomoc pozastavit nebo ukončit systém.

Zillow Offers demonstruje to ve velkém měřítku. Systém používal algoritmus k cenění a nákupu domů. Když se trh ochladil v roce 2021, systém pokračoval v nákupu za nadhodnocené ceny. Neexistoval mechanismus pro detekci posunu včas a neexistoval jasný rozhodovací bod pro jeho zastavení. Výsledkem byly ztráty přesahující 880 milionů dolarů a ukončení celé divize.

Monitorování není vlastnictví

Monitorování je často redukováno na řídicí panely, ale to není to, co brání selháním.

To, co záleží, je definovaná odpovědnost: kdo sleduje signály, co spouští eskalaci a kdo je očekáván, že bude jednat.

Deloitte Australia ukazuje, co se stane, když tomu tak není. Vládní zpráva obsahovala halucinované citace a nesprávné právní odkazy, protože nikdo nebyl výslovně odpovědný za ověření výstupů před doručením. Výsledkem byla částečná refundace a poškození pověsti.

Agentic AI: Co přijde, bude ještě tvrdší

Generativní AI produkuje výstupy. Agentic AI činí akce. To mění riziko úplně.

Místo jedné odpovědi k vyhodnocení je jedna instrukce schopna spustit řetězec rozhodnutí napříč systémy – API volání, přístup k datům, transakce, aktualizace – často bez lidského zásahu na každém kroku.

Když něco jde špatně, problém již není přesnost. Je to stopovatelnost. Který krok způsobil problém? Jaká data byla použita? Kdo autorizoval akci? V mnoha případech jsou tyto otázky obtížné zodpovědět dodatečně.

To je místo, kde se stávající mezery stanou kritickými. Nejasné vlastnictví, slabé monitorování a nedostatek zásahu se ne pouze uchovávají – kumulují se. Nesprávná odpověď lze opravit. Nesprávná akce může vytvořit důsledky, než někdo zaznamená.

Rané signály již ukazují tímto směrem. Gartner odhaduje, že více než 40 % projektů agentic AI bude zrušeno do roku 2027 – ne kvůli omezením modelu, ale protože organizace zápasí s kontrolou nákladů, rizik a výsledků. To je stejný vzorec, který vidíme u generativního AI po nasazení. Jen s vyššími ставkami.

Regulátoři již reagují na jednoduchý princip: automatizace neodstraňuje odpovědnost. Pro organizace to vytváří jasný dopad: pokud vlastnictví a kontrola nejsou jasná dnes, přechod do agentic systémů problém nevyřeší. Zhorší ho.

Provozujte to – nebo ztratíte

AI již není omezením. Modely jsou široce dostupné, schopné a stále více komoditizované. Skutečný diferenciátor již není, zda organizace může postavit AI – ale zda může spolehlivě provozovat, jakmile je živá.

To je místo, kde většina selhání nastává – v tom, jak systémy běží, ne v tom, jak jsou postaveny. Organizace, které uspějí, nebudou ty s nej pokrokovějšími modely. Budou to ty s nejjasnějšími provozními strukturami kolem nich.

To lze otestovat přímo. Vezměte si váš nejdůležitější systém AI a odpovězte na tři otázky:

• Kdo může jej ukončit?
• Jak víte, když selhává?
• Co se stane, když selhává?

Pokud tyto odpovědi nejsou jasné, systém není připraven pro produkci.

Model může být. Organizace není.