Proč slepá důvěra v AI může být vaším nejhorším rozhodnutím

V roce 1979 vydal IBM Training Manual jednoduché, ale výrazné varování: „Počítač nemůže být nikdy zodpovědný; proto počítač nesmí nikdy učinit rozhodnutí managementu.“ A více než 45 let poté se toto prohlášení jeví jako ignorované proroctví.

V roce 2025 AI nedělá pouze pomocné úkoly; činí autonomní rozhodnutí a v mnoha případech nejen rozhoduje, ale také vede. Skutečně, kolem 74% výkonných ředitelů má větší důvěru v AI pro obchodní rady než v kolegy nebo přátele, 38% důvěřuje AI, aby činila obchodní rozhodnutí za ně, a 44% upřednostňuje technologie před vlastními poznatky. Posun je zřejmý; AI je nový instinkt.

Ale existuje problém. Důvěra v AI je možná pouze tehdy, pokud je algoritmus důvěryhodný. A když je důvěra umístěna slepě, zejména v černých skřínkách, které nemůžeme pochopit nebo auditovat, je to riziko maskované jako pokrok. Stejně jako u lidského vedení je důvěra bez odpovědnosti nebezpečná a když AI selže, kdo přebírá vinu?

Když se nástroj stává šéfem

Co začalo jako nástroj pro zefektivnění back-office operací je nyní používáno v základních obchodních procesech. Ale společnosti nepoužívají AI pouze k podpoře lidských rozhodnutí; důvěřují AI, zejména generativní AI (GenAI), aby činila obchodní rozhodnutí, od obchodních strategií po zákaznický servis, finanční modelování a další.

Tento posun je pochopitelný. AI se nedívá, nezapomíná na instrukce nebo nedovoluje emocím zakalit jeho úsudek. Pro mnoho společností nabízí toto lákavou alternativu k rizikům lidské chyby. Nicméně, zbývá jeden klíčový otázka: můžeme důvěřovat AI, aby byla šéfem a činila rozhodnutí nezávisle?

Není to přímočaré odpovědi, ale jeden způsob, jak na to podívat, je, jak hodnotíme důvěryhodnost lidí: jejich kompetence, spolehlivost a jasný úmysl. Stejné principy platí pro AI.

Aby AI mohla být důvěryhodná, musí dodávat výsledky, které jsou přesné, včasné a vhodné. Ale úroveň důvěry a hranice pro chybu se liší v závislosti na kontextu. Například, když diagnostikuje rakovinu z medicínských obrazů, je hranice pro selhání velmi nízká. Naopak, když generuje nápady pro marketingovou kampaň, je více prostoru pro experimentování.

Viděli jsme AI používanou k autonomnímu rozhodování v oblastech, jako je schvalování úvěrů, kde banky využívají algoritmy k určení způsobilosti k úvěru během sekund. Maloobchodníci používají AI k řízení zásob a cen bez lidského vstupu. Ale viděli jsme také selhání – jako samořiditelná auta, která nesprávně hodnotí podmínky na silnici.

Jedna varovná historka ukazuje rizika spojená s umístěním příliš velké důvěry v AI bez dostatečné kontroly. Derek Mobley – černoch starší 40 let – podal žádost o více než 100 pozic prostřednictvím Workday AI-driven hiring system od roku 2017 a byl odmítnut každý krát. Tvrdil, že je diskriminován na základě věku a rasy. V květnu 2025 soud povolil celonárodní kolektivní žalobu. Třída zahrnuje všechny žadatele starší 40 let, kteří podali žádost prostřednictvím Workday od září 2020 a byli odmítnuti na základě doporučení AI.

Tento příklad zdůrazňuje důležitý bod: AI postrádá emocionální inteligenci, morální úsudek nebo přirozený smysl pro spravedlnost. A protože AI přechází z lidského asistenta na nezávislého rozhodce, existuje nyní prázdnota v odpovědnosti. Když jsou algoritmy umožněny běžet bez lidské kontroly, mohou a dělají špatná rozhodnutí a posilují stávající předpojatosti.

Otázka kolem černých skříněk

Černé skřínky – když je systém a logika AI nejsou plně viditelné – jsou stále častější. Ačkoli mohou mít viditelné vrstvy, vývojáři a uživatelé stále nemohou vidět, co se děje v každé vrstvě, což je činí neprůhlednými.

Například ChatGPT je černá skříňka, protože ani jeho tvůrci nejsou jisti, jak funguje, protože je trénován na tak velkých datových sadách. Ale kvůli nedostatku transparentnosti, je někdy vhodné „důvěřovat“ AI modelu bez plného pochopení, jak funguje?

Stručně, ne: AI halucinace se zhoršují. To znamená, že ve vysokých scénářích, jako jsou finanční rozhodnutí, právní rady a lékařské poznatky, AI vyžaduje přísnou validaci, křížovou kontrolu a lidskou kontrolu.

Žaloba Disney a Universal podaná v červnu 2025 zdůrazňuje tento bod. Studia tvrdí, že nástroje GenAI byly trénovány na autorských materiálech pro vytvoření nového obsahu bez souhlasu. Tento případ zdůrazňuje novou realitu: když společnosti nasazují AI modely, které plně nerozumí, mohou být odpovědné za rozhodnutí učiněná. A nevědomost není žádná obrana; je to závada.

Nicméně, často klademe důvěru v komplexní systémy, které nerozumíme. Například většina cestujících v letadle nemůže vysvětlit fyziku letu, ale lidé nastupují do letadel s důvěrou, protože jsme vybudovali důvěru prostřednictvím opakované expozice, kolektivní zkušenosti a silné bezpečnostní bilance.

Stejná logika se může opět aplikovat na AI. Není rozumné očekávat, že každý bude rozumět, jak LLMs skutečně fungují. Ale důvěra není postavena na pochopení; vyžaduje seznámení, transparentnost o omezeních a prokázaný vzorec spolehlivého výkonu. Inženýři z leteckého průmyslu znají, jaké testy provést a jak vypadají chyby, a my musíme vyžadovat totéž od poskytovatelů GenAI. Základní princip AI by měl být důvěra, ale ověřit.

Navíc, obchodní lídři často věří, že AI bude stříbrná kulka, která vyřeší všechny jejich obchodní problémy. Nicméně, tento mýtus postihuje mnoho společností při integraci AI. Lídři mohou preferovat komplexní a sofistikované modely, ale jednodušší řešení by mohlo být lépe přizpůsobeno, kdyby provedli nákladovou analýzu. AI je mocný nástroj, ale není vhodný pro každou úlohu. Společnosti potřebují rozpoznat problém, než vyberou nástroj.

Obnovení důvěry v AI

Zatímco je zřejmé, že slepá důvěra v AI je problémem, AI systémy a algoritmy mohou být nejlepším nástrojem, který společnost vlastní – když se používají bezpečně.

Pro společnosti, které chtějí využít AI nástroje, první věc, kterou je třeba prozkoumat, je due diligence dodavatelů. Když společnost identifikuje oblast, která by mohla profitovat z AI efektivity, obchodní lídři by měli vyhodnotit dodavatele nejen na základě tvrzení o výkonu, ale také na základě kontrol vlády. To zahrnuje přezkum, jak jsou modely vyvíjeny, zda jsou k dispozici nástroje pro vysvětlení, jak je monitorován bias a zda jsou k dispozici auditní stopy. Výběr dodavatele s transparentními procesy je zásadní pro minimalizaci rizika od začátku.

Možná nejdůležitější bod při budování důvěry v AI systémy je zajištění datové governance s čistými, reprezentativními a dobře dokumentovanými datovými sadami. Jak říká přísloví: odpadky dovnitř, odpadky ven. Proto, pokud jsou data neúplná, předpojatá nebo nepřesná, dokonce i nej pokročilejší model bude produkovat nespolehlivé výsledky.

Aby byla data AI-připravená, společnosti by měly:

• Audity stávajících datových sad pro mezery a duplikáty a zkontrolovat zdroje bias

• Standardizovat formáty dat

• Implementovat datové governance politiky, které definují vlastnictví a přístupové kontroly

Dalším klíčovým krokem pro obchodní lídry je provést stresové testování za různých podmínek. Ačkoli model může fungovat dobře v řízených testech, je kritické pochopit omezení modelu, když je konfrontován s novými daty nebo vstupy, které neočekával. To je důvod, proč je důležité testovat AI v různých situacích, s různými typy uživatelů, různými použitími a daty z různých časových období.

AI validace je také pokračující úloha. Jak se data mění v čase, dokonce i spolehlivé AI modely mohou ztratit přesnost. To je důvod, proč je důležité pravidelné monitorování. Společnosti potřebují monitorovat, jak model funguje den za dnem: je stále přesný? Nebo se falešné pozitivy zvyšují? A stejně jako jakýkoli systém, který potřebuje údržbu, modely by měly být pravidelně retrained s čerstvými daty, aby zůstaly relevantní.

AI není důvěryhodný nebo nedůvěryhodný; je formován daty, ze kterých se učí, lidmi, kteří ho vytvářejí, a pravidly, která ho řídí. Jak AI vyvíjí od užitečného nástroje k obchodnímu poradci, lídři mají možnost jej nejen použít, ale také udělat to uvážlivě a eticky. Pokud to uděláme správně, AI nebude pouze mocný v budoucnosti, ale také zodpovědný, s jasnou odpovědností u jeho vývojáře a dozorců.