Myslitelé

Řízení AI přesahuje samotný model

Zuzana Drotárová
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyVakuum odpovědnosti způsobuje většinu selhání podnikové umělé inteligence, nikoli chyby…
Zobrazit více
  • Vakuum odpovědnosti způsobuje většinu selhání podnikové umělé inteligence, nikoli chyby modelů.
  • Společnost Air Canada byla shledána odpovědnou za nesprávné informace o tarifech pro pozůstalé poskytnuté jejím chatbotem.
  • Agentní umělá inteligence prohloubí stávající mezery v řízení, protože autonomní akce znásobují riziko.

Výstraha: Problém není model

V roce 2023 spustilo město New York chatbota MyCity, aby pomohl podnikům navigovat komplexní regulace. Nápad byl jednoduchý: usnadnit přístup k právním informacím.

V praxi systém produkoval odpovědi, které nebyly pouze špatné, ale i právně zavádějící – od pravidel pro spropitné až po diskriminaci v bydlení a platební zákony.

Pozdější audit zjistil, že 71,4 % zpětné vazby uživatelů bylo negativní. Místo toho, aby se řešily základní problémy, odpovědí bylo přidání prohlášení o vyloučení odpovědnosti. Chatbot zůstal ve “verzi beta” po více než dva roky, než byl ukončen.

Selhání nebylo technické. Systém se rozpadl v produkci, protože neexistoval mechanismus, který by zajišťoval přesnost, jasnou odpovědnost a možnost zasáhnout, když se něco pokazilo.

To je vzorec za podnikovým AI dnes: technologie funguje, ale organizace nejsou nastaveny tak, aby ji spolehlivě provozovaly, jakmile je nasazena.

Od pilotního projektu k produkci: Kde vše selhává

Vytvoření pilotního projektu je poměrně přímočaré – vyberte případ užití, zvolte model, připravte data, najděte sponzora. Provozování systému v produkci je však zcela jiná liga.

Mezera je jako rozdíl mezi skokem do bazénu a skokem ze stratosféry, jako to udělal Felix Baumgartner v roce 2012. Stejné základní fyzikální zákony, zcela odlišné podmínky – a velmi odlišné důsledky pro selhání.

V produkci AI vstupuje do skutečných rozhodovacích toků, interaguje se zákazníky a vytváří právní a provozní důsledky. To je místo, kde se začínají objevovat mezery – ne v modelu, ale v tom, jak je řízen.

V Evropě se to ukazuje dříve než ve většině ostatních regionů. Regulace, jako je evropský zákon o AI, GDPR a NIS2, nezpomalují přijetí – odhalují, zda organizace mohou provozovat systémy AI pod skutečnými omezeními.

V roce 2025 již 55 % velkých podniků v EU používalo AI. Přijetí již probíhá ve velkém měřítku. Výzvou je, co se stane po nasazení.

V té době začínají vyplouvat základní provozní otázky. A často nikdo nemůže odpovědět: Kdo je odpovědný za výstupy AI a autonomní rozhodnutí? Co se stane, když se systém chová neočekávaně? A kdo problém zachytí, než se škoda dostane do médií?

Odpovědnost nese podnik, nikoli technologie. Chatbot Air Canada (AC.TO ) poskytl zákazníkovi nesprávné informace o zvláštních cenách letenek při úmrtí blízkého člověka. Zákazník se na to spolehl a později mu byla odepřena refundace. Tribunál rozhodl, že letecká společnost byla odpovědná – chatbot nebyl samostatnou entitou.

Stejný problém, jiný úhel: systém McHire od McDonald’s odhalil citlivé údaje téměř 64 000 uchazečů. Příčinou nebyl sofistikovaný útok – administrátorské přihlášení používalo “admin” a “123456”. Systém vypadal pokročilý. Selhání bylo elementární.

Když přidáte řízení na živý systém, je již příliš pozdě. Nasazení systému je technické rozhodnutí. Jeho spolehlivé provozování je organizační rozhodnutí. A to je část, kterou většina podniků podceňuje.

Kdo vlastně vlastní riziko AI? Nikdo.

To je jádro problému a paradoxně nejméně diskutované. IT řídí infrastrukturu. Právní odbor zajišťuje soulad. Obchodní týmy tlačí případy užití. Ale nikdo neodpovídá za riziko AI od začátku do konce.

To vytváří dva okamžité problémy. Rozhodnutí “jít” se zpomalí – protože nikdo nechce převzít odpovědnost. A rozhodnutí “zastavit” se zpomalí stejně – protože nikdo neví, kdo může.

Data to potvrzují. Méně než 10 % případů užití AI se dostane z pilotního projektu do produkce a většina organizací se potýká s generováním měřitelného obchodního dopadu. Současně mnoho z nich již nasazuje AI – ale podle průzkumu zralosti řízení mělo pouze 7 % dobře strukturované a konzistentně aplikované řízení.

Proč se to děje tak konzistentně? Protože většina rámců a firemních politik definuje, co by se mělo stát – ne kdo je odpovědný, když to skutečně záleží. Když systém začne produkovat nesprávné výstupy v pátek o půlnoci, otázka není teoretická. Kdo jedná? A kdo má pravomoc rozhodnout?

To se ještě zhoršuje se škálou. Jeden systém lze řídit neformálně. Když máte třicet, odpovědnost se rozpadá mezi týmy a nikdo nemá úplný přehled.

Commonwealth Bank of Australia (CBA.AX ) poskytuje jasný příklad. Banka nahradila 45 pracovníků zákaznických služeb hlasovými boty AI a očekávala, že poptávka poklesne. To se nestalo. Hovory se zvýšily, manažeři museli řešit přebytek a banka musela znovu najmout všech 45 zaměstnanců. Když byli zpochybněni, nemohli prokázat, že automatizace snížila pracovní zatížení.

Nikdo neověřil předpoklady před nasazením. Nikdo nevlastnil výsledek, když tyto předpoklady selhaly. Tak vypadá vakuum odpovědnosti v praxi.

Mít pravidla nestačí. Potřebujete mechanismus

Většině organizací nechybějí pravidla. Chybějí jim systémy, které fungují, když se něco pokazí.

Politika definuje, co by se mělo stát. Mechanismus určuje, co skutečně nastane – když model produkuje nesprávné výstupy, když dodavatel změní něco na pozadí nebo když systém se začne chovat neočekávaně.

Ten rozdíl se stává viditelným v produkci – když se musí učinit rozhodnutí za skutečných podmínek.

Tato selhání následují konzistentní dynamiku. V každém případě se objevují stejné provozní mezery – pouze v různých formách.

Vlastnictví přichází první

Každý nasazený systém AI potřebuje jasně odpovědného vlastníka – jednu osobu, ne tým nebo oddělení, s pravomocí schválit, pozastavit a ukončit jej.

Bez toho není možné rychlé nasazení ani bezpečné zásahy. Jak je vidět v příkladu Commonwealth Bank, absence jasného vlastnictví vede přímo k provoznímu selhání.

V otázkách dat a právních podmínek často chybí jasno

Mnoho systémů je nasazeno bez zdokumentovaných toků dat, ověřené právní základny nebo jasnosti o tom, jaké povinnosti platí, když je systém v produkci.

Postup italského regulátora proti DeepSeek v roce 2025 ilustruje to jasně. Problém nebyl kvalita modelu – byla to neschopnost vysvětlit, jak se zpracovávají osobní údaje. Výsledkem bylo náhlé přerušení služby pro evropské uživatele.

Testování zřídka odráží skutečné použití

Systémy jsou často vyhodnocovány na scénářích, kde fungují dobře, ale ne na případech, kde by selhání mělo největší význam.

Chatbot MyCity je jasným příkladem. Základní hraniční případy – kolem pracovního práva, diskriminace v bydlení nebo platebních pravidel – nebyly zachyceny před nasazením. Jakmile byly vystaveny skutečným uživatelům, tato selhání se stala veřejnými okamžitě.

Testování není pouze o výkonu – jde o odhalení míst, kde systém selhává, dříve než je objeví uživatelé, regulátoři nebo novináři.

Zásah je nejasný nebo příliš pomalý

I když jsou problémy viditelné, často neexistuje jasný spouštěč nebo pravomoc pozastavit nebo ukončit systém.

Zillow Offers demonstruje to ve velkém měřítku. Systém používal algoritmus ke stanovení cen a nákupu domů. Když se trh ochladil v roce 2021, systém pokračoval v nákupu za nadhodnocené ceny. Neexistoval mechanismus pro detekci posunu včas a neexistoval jasný rozhodovací bod pro ukončení. Výsledkem byly ztráty přesahující 880 milionů dolarů a uzavření celé divize.

Monitorování není vlastnictví

Monitorování je často redukováno na řídicí panely, ale to není to, co brání selháním.

To, co záleží, je definovaná odpovědnost: kdo sleduje signály, co spouští eskalaci a kdo se očekává, že bude jednat.

Deloitte Australia ukazuje, co se stane, když chybí. Vládní zpráva obsahovala halucinované citace a nesprávné právní odkazy, protože nikdo nebyl explicitně odpovědný za ověření výstupů před dodáním. Výsledkem byla částečná refundace a poškození reputace.

Agentní AI: Co přijde, bude ještě těžší

Generativní AI produkuje výstupy. Agentní AI provádí akce. To mění riziko úplně.

Místo jedné odpovědi, kterou je třeba vyhodnotit, může jeden příkaz spustit řetězec rozhodnutí napříč systémy – API volání, přístup k datům, transakce, aktualizace – často bez lidského zásahu na každém kroku.

Když něco jde špatně, problém již není přesnost. Je to stopovatelnost. Který krok způsobil problém? Jaká data byla použita? Kdo autorizoval akci? V mnoha případech jsou tyto otázky obtížné zodpovědět dodatečně.

To je místo, kde se stávající mezery stanou kritickými. Nejasné vlastnictví, slabé monitorování a absence zásahu nejen přetrvávají – jejich účinky se kumulují. Nesprávnou odpověď lze opravit. Nesprávná akce může mít důsledky, než si toho někdo všimne.

Rané signály již ukazují tímto směrem. Gartner odhaduje, že více než 40 % projektů agentní AI bude zrušeno do roku 2027 – ne kvůli omezením modelu, ale protože organizace bojují s kontrolou nákladů, rizik a výsledků. To je stejný vzorec, který vidíme u generativního AI po nasazení. Jen s vyššími sázkami.

Regulátoři již reagují na jednoduchý princip: automatizace neodstraňuje odpovědnost. Pro organizace to vytváří jasný dopad: pokud vlastnictví a kontrola nejsou jasná dnes, přechod na agentní systémy problém nevyřeší. Zhorší ho.

Provozujte to – nebo ztratíte

AI již není omezením. Modely jsou široce dostupné, schopné a stále více komoditizované. Skutečný diferenciátor již není, zda organizace může postavit AI – ale zda ji dokáže po nasazení spolehlivě provozovat.

To je místo, kde většina selhání nastává – v tom, jak systémy běží, ne v tom, jak jsou postaveny. Organizace, které uspějí, nebudou ty s nejvýkonnějšími modely. Budou to ty s nejjasnějšími provozními strukturami kolem nich.

To lze otestovat přímo. Vezměte si váš nejvýznamnější systém AI a odpovězte na tři otázky:

  • Kdo může systém ukončit?
  • Jak víte, když systém selhává?
  • Co se stane, když systém selhává?

Pokud tyto odpovědi nejsou jasné, systém není připraven pro produkci.

Model může být. Organizace není.

Zuzana Drotárová vede business analýzu ve společnosti Avenga, kde dohlíží na ~100 analytiků napříč podnikovými programy v CZ & SK. Zaměřuje se na provozní a rozhodovací struktury, které určují, zda podnikové iniciativy, včetně AI, fungují v produkčním provozu.