Když je Model Správný a Proces Špatný

Představte si běžnou situaci ve finančních službách. Tým nasazuje AI pro kontrolu smluv: stovky stránek, opakované klauzule a rutinní práce, která obvykle zaměstnancům trvá dny. Model identifikuje rizika a odkazy na správné odstavce. Ale výstup se nevypočítá.

Ukázalo se, že problém je ve složce smluv, kde jsou vedle sebe umístěny soubory pojmenované contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx a contract_finalfinal_THIS_ONE.docx.

AI vybral nejnověji uložený soubor. Ale ten soubor byl starší verze, kterou někdo náhodou otevřel a automaticky uložil minulý týden.

Model udělal přesně to, co byl navržen. Proces však selhal.

Když Model Není Problém

V mém předchozím článku, jsem argumentoval, že selhání AI často začínají mimo model – ve správě, vlastnictví a rozhodovacích strukturách, které ho obklopují. Ale správa je pouze částí problému. I dobře spravovaný AI systém bude mít potíže, pokud proces pod ním závisí na zastaralých dokumentech, neformálních výjimkách nebo schvalovacích cestách navržených pro mnohem pomalejší tempo práce.

Když AI systém produkuje špatný výsledek, model je obvykle prvním podezřelým. Možná halucinoval, nepochopil úkol nebo obdržel slabý podnět. Ale někdy model udělal přesně to, co měl udělat. Selhání nastalo v procesu, který zásoboval jeho informace nebo v organizaci, která nemohla jednat na základě jeho výstupu.

Nasazení AI odhalí procesní problémy, které vždy existovaly, ale nebyly nikdy viditelné – jako diagnostický nástroj. Odhalí slabiny, které lidé dříve kompenzovali bez přemýšlení: chybějící kontext, nejasné vlastnictví a neformální obcházení, které nebylo nikdy zdokumentováno.

Rychlost Bez Kapacity

AI neonly urychluje výstup. Také urychluje eskalace, žádosti o rozhodnutí a objevování problémů. Model označí anomálii v reálném čase, ne v pátek odpoledne, když někdo konečně najde čas projít si záznamy.

Organizace nejsou nastaveny pro tento tempo. Schvalovací procesy, eskalační cesty, rozhodovací autorita – vše bylo kalibrováno na lidskou rychlost. Když AI produkuje výstupy rychleji, než organizace může absorbovat, mohou nastat tři věci:

• AI čeká na rozhodnutí, což vymaže efektivní zisk.
• Zaměstnanci ignorují jeho výstup a vrátí se k tomu, co věří, že funguje – starému procesu.
• Zaměstnanci tlačí rozhodnutí dopředu bez řádného ověření, protože se cítí pod tlakem, aby udrželi tempo.

Někteří zaměstnanci se vracejí k manuálním kontrolám, protože ty se zdají bezpečnější. Jiní schvalují výsledky, které neměli čas ověřit, protože se cítí pod tlakem, aby udrželi tempo slibované technologií. V obou případech organizace platí za rychlejší výstup bez toho, aby se stala rychlejší při odpovědném rozhodování.

Vlastnictví může být také nejasné. Kdo je zodpovědný za kontrolu označené anomálie, rozhodnutí, zda model je špatný, a eskalaci problému, když je zapojeno několik týmů? Bez jasné odpovědi AI pokračuje v běhu na pozadí, produkuje výstupy, které nikdo真正 nevlastní.

To odráží širší organizační problém. Jak analýza Forbes z konce roku 2025 pozorovala, když technologie mění pracovní postupy rychleji, než organizace může absorbovat, výsledkem není efektivita, ale přetížení. AI může urychlit jednu fázi procesu, ale jeho hodnota stále závisí na tom, zda okolní organizace může absorbovat a jednat na základě toho, co produkuje.

Tiché Znalosti, Které Nikdo Nezapsal

Představte si, že Martin ví, že společnost má smlouvu s dodavatelem, která zahrnuje výjimku pro platby pod 2 000 eur. Bylo to dohodnuto ústně před třemi lety, ale nikdy nebylo zdokumentováno. Když společnost nasazuje AI pro automatizaci schvalování plateb, systém blokuje platbu – správně, podle psané smlouvy.

To je tacitní znalost: organizační znalost, která žije v hlavách lidí, spíše než v systémech. Každá společnost ji má. A většina společností nemá ponětí, kolik jí mají.

AI může použít pouze znalosti, které byly zpřístupněny. Martinova výjimka neexistuje z pohledu systému. Bez tohoto kontextu může jeho rozhodnutí být technicky správné, ale operačně špatné.

McKinsey identifikoval stejnou výzvu v nasazeních agentic AI. Budování efektivní AI agentů vyžaduje, aby společnosti kodifikovaly odborné postupy, které mohou existovat ve standardních procedurách – nebo pouze jako tacitní znalosti v hlavách zaměstnanců. Jinými slovy: nasazení AI může být prvním případem, kdy organizace vidí, jak moc proces závisí na tom, co ví Martin.

Falešný Zdroj Pravdy

Nejhroznější výstup AI není vždy zjevně nesprávný. Může to být důvěryhodná, profesionálně prezentovaná odpověď produkovaná z zastaralých informací.

Po mnoho let mnoho oddělení fungovalo s několika verzemi stejného dokumentu, protože Jane z právního oddělení vždy ví, která verze je autoritativní. AI, bohužel, ne.

Pokud nemá pravidla pro rozlišení verzí, systém nemá důvod zpochybnit dokument, který obdrží. A tak AI kontrola proběhne správně – na špatném dokumentu. To může být horší než žádná kontrola, protože výstup vypadá důvěryhodně.

Zkušený zaměstnanec může vědět, kde je pravda, a může navigovat skrz chaos. Systém však potřebuje spolehlivý způsob, jak identifikovat, která informace je aktuální, schválená a relevantní.

Tacitní znalosti, nespolehlivé dokumenty a schvalovací procesy navržené pro lidskou rychlost se zdají být samostatnými problémy. Ale mají stejnou kořenovou příčinu. Žádná z nich nebyla vytvořena AI, ale AI je činí obtížnějšími, aby se je dalo ignorovat.

Otázky, Které Je Nutné Zodpovědět Předtím, Než Postavíte Agent

Před nasazením AI agenta by organizace měla být schopna zodpovědět tři otázky.

Která Rozhodnutí Závisí Na Znalostech, Které Nikdy Nebyly Zdokumentovány?

To znamená identifikovat výjimky, zkratky a soudy, které zkušení zaměstnanci aplikují bez vědomého popisu. Rozhovory samotné nemusí odhalit všechny tyto znalosti. Organizace mohou potřebovat pozorovat, jak práce skutečně probíhá, a porovnat ji s oficiálním procesem.

Jak Systém Identifikuje Informace, Které Jsou Aktuální, Schválené A Relevantní?

Poskytnutí agentovi přístupu k více dokumentům nevyřeší problém, pokud nemůže rozlišit schválenou smlouvu od návrhu nebo aktivní politiku od zastaralé. Verzování, vlastnictví, schvalovací stav a pravidla pro uchovávání musí být dostatečně jasná, aby systém mohl identifikovat, který zdroj by měl řídit jeho rozhodnutí.

Mohou Stávající Schvalovací A Eskalační Procesy Absorbovat Objem A Rychlost Jeho Výstupu?

Týmy by měly odhadnout, nejen kolik práce může agent dokončit, ale také, kolik kontrol, výjimek a eskalací může tato práce vytvořit. NIST AI Risk Management Framework doporučuje jasně definovat role a odpovědnosti pro lidskou kontrolu AI systémů. Tyto musí být navrženy pro očekávaný objem předtím, než je systém nasazen – ne poté, co zaměstnanci budou přetíženi jím.

Tyto otázky nejsou určeny k zodpovězení jednou a zapomenutí. Procesy se mění, dokumenty stárnou a nezaznamenané výjimky se opět hromadí. Připravenost proto musí být udržována, ne pouze zavedena před spuštěním.

Příprava Na AI Začíná Procesem

Připravenost na AI není pouze testem technologie. Je to test toho, zda organizace učinila své vlastní procesy dostatečně explicitními pro technologii, aby v nich mohla fungovat.

Příprava organizace na AI zahrnuje více než výběr modelu nebo stavbu agenta. Znamená to vyjasnění vlastnictví, identifikaci autoritativních informací, dokumentaci výjimek a přepracování, jak jsou výstupy kontrolovány, eskalovány a prováděny.

To je obtížná práce, ale neúspěšné nasazení nakonec donutí organizaci, aby to udělala stejně. Jedinou proměnnou je čas.