Proč slepá důvěra v AI může být vaším nejhorším rozhodnutím

V roce 1979 vydal IBM tréninkový manuál, který obsahoval jednoduché, ale výrazné varování: „Počítač nemůže být nikdy zodpovědný; proto nemůže počítač učinit žádné rozhodnutí v oblasti řízení.“ A více než 45 let poté se toto prohlášení jeví jako ignorované proroctví.

V roce 2025 AI již nedělá pouze pomocné úkoly, ale také činí autonomní rozhodnutí a v mnoha případech nejen rozhoduje, ale také vede. Ve skutečnosti kolem 74% výkonných ředitelů má větší důvěru v AI pro obchodní rady než v kolegy nebo přátele, 38% důvěřuje AI, aby činila obchodní rozhodnutí za ně, a 44% upřednostňuje technologie před svými vlastními názory. Změna je zřejmá; AI je nový instinkt.

Ale existuje problém. Důvěra v AI je možná pouze tehdy, pokud je algoritmus hodný důvěry. A když je důvěra umístěna slepě, zejména v černých skříních, které nemůžeme pochopit nebo auditovat, je to riziko maskované jako pokrok. Stejně jako u lidského vedení, důvěra bez zodpovědnosti je nebezpečná a když AI selže, kdo nese vinu?

Když se nástroj stává šéfem

Co začalo jako nástroj pro zefektivnění back-office operací je nyní používáno v jádru obchodních procesů. Ale společnosti nejen používají AI k podporování lidských rozhodnutí; nyní důvěřují AI, zvláště generativní AI (GenAI), aby činila obchodní rozhodnutí, od obchodních strategií po zákaznický servis, finanční modelování a další.

Tato změna je pochopitelná. AI se nedá rušit, nezapomíná na instrukce a nedovolí, aby emoce zkalily jeho úsudek. Pro mnoho společností nabízí toto lákavou alternativu k rizikům lidské chyby. Nicméně, jedna zásadní otázka zůstává: můžeme důvěřovat AI, aby byla šéfem a činila rozhodnutí nezávisle?

Není to přímočaré. Jedním způsobem, jak se na to podívat, je, jak hodnotíme důvěryhodnost lidí: podle jejich kompetencí, spolehlivosti a jasných záměrů. Stejné principy platí i pro AI.

Abyste AI důvěřovali, musí systém dodávat výsledky, které jsou přesné, včasné a vhodné. Ale úroveň důvěry a prostor pro chybu se liší v závislosti na kontextu. Například při diagnostice rakoviny z medicínských obrazů je práh pro selhání velmi nízký. Naopak, při generování nápadů pro marketingovou kampaň je více prostoru pro experimentování.

Sledovali jsme, jak se AI používá k autonomním rozhodnutím v oblastech, jako jsou schvalování úvěrů, kdy banky využívají algoritmy k určení způsobilosti úvěru během sekund. Maloobchodníci používají AI k řízení zásob a cen bez lidského zásahu. Ale také jsme viděli selhání – jako například samořiditelná auta, která špatně hodnotí podmínky na silnici.

Jedna varovná historka ukazuje rizika spojená s důvěřováním AI bez dostatečné kontroly. Derek Mobley – černoch starší 40 let – se ucházelo o více než 100 pozic prostřednictvím systému Workday AI-driven hiring od roku 2017 a byl vždy odmítnut. Tvrdil, že byl diskriminován na základě věku a rasy. V květnu 2025 soud povolil celonárodní kolektivní žalobu. Třída zahrnuje všechny uchazeče starší 40 let, kteří se ucházeli prostřednictvím Workday od září 2020 a byli odmítnuti na základě doporučení AI.

Tento příklad zdůrazňuje důležitý bod: AI postrádá emocionální inteligenci, morální úsudek nebo přirozený smysl pro spravedlnost. A protože AI přechází z role lidského asistenta do role nezávislého rozhodce, existuje zde prázdnota v oblasti zodpovědnosti. Když jsou algoritmy dovoleny běžet bez lidské kontroly, mohou a dělají špatná rozhodnutí a posilují stávající předsudky.

Otázka kolem černých skříní

Černé skříně – kdy je systém a logika AI nejsou plně viditelné – jsou stále častější. Ačkoli mohou mít viditelné vrstvy, vývojáři a uživatelé stále nemohou vidět, co se děje v každé vrstvě, což je činí neprůhlednými.

Například ChatGPT je černá skříň, protože ani jeho tvůrci nejsou jisti, jak funguje, protože je trénován na tak velkých datech. Ale kvůli nedostatku transparentnosti, je někdy přijatelné „důvěřovat“ modelu AI bez plného pochopení, jak funguje?

Stručně řečeno, ne: Halucinace AI se zhoršují. To znamená, že v situacích s vysokými ставkami, jako jsou finanční rozhodnutí, právní rady a lékařské poznatky, AI vyžaduje přísnou validaci, křížovou kontrolu a lidskou kontrolu.

Žaloba Disney a Universal podaná v červnu 2025 zdůrazňuje tento bod. Studia tvrdí, že nástroje GenAI byly trénovány na autorských materiálech za účelem vytvoření nového obsahu bez souhlasu. Tento případ zdůrazňuje novou realitu: když společnosti nasazují modely AI, které plně nerozumí, mohou být odpovědné za rozhodnutí učiněná. A nevědomost není žádná obrana; je to závada.

Nicméně, často důvěřujeme složitým systémům, které nerozumíme. Například většina cestujících v letadle nemůže vysvětlit fyziku letu, ale lidé nastupují do letadel s důvěrou, protože jsme vybudovali důvěru prostřednictvím opakované expozice, kolektivní zkušenosti a silné historie bezpečnosti.

Stejná logika se opět může aplikovat na AI. Není rozumné očekávat, že všichni budou rozumět, jak LLM skutečně fungují. Ale důvěra není postavena na pochopení; vyžaduje seznámení, transparentnost omezení a prokázaný vzorec spolehlivého výkonu. Inženýři z leteckého průmyslu vědí, jaké testy použít a jak vypadají chyby, a my musíme požadovat totéž od poskytovatelů GenAI. Základní princip AI by měl být důvěra, ale ověřit.

Navíc, lídři firem často věří, že AI bude stříbrnou kulkou, která vyřeší všechny jejich obchodní problémy. Nicméně, tento mýtus postihuje mnoho firem při integraci AI. Lídři mohou preferovat komplexní a sofistikované modely, ale jednodušší řešení by mohlo být lépe přizpůsobeno, kdyby provedli analýzu nákladů a přínosů. AI je mocný nástroj, ale není vhodný pro každou úlohu. Společnosti potřebují rozpoznat problém, než vyberou nástroj.

Obnovení důvěry v AI

Zatímco je zřejmé, že slepá důvěra v AI je problémem, systémy a algoritmy AI mohou být nejlepším nástrojem, který může firma vlastnit – když jsou použity bezpečně.

Pro firmy, které chtějí využít nástroje AI, první věc, kterou je třeba prozkoumat, je due diligence dodavatelů. Když firma identifikuje oblast, která by mohla profitovat z efektivity AI, lídři by měli vyhodnotit dodavatele nejen na základě tvrzení o výkonu, ale také na základě kontrol řízení. To zahrnuje přezkum toho, jak jsou modely vyvíjeny, zda jsou k dispozici nástroje pro vysvětlení, jak je monitorován bias a zda jsou k dispozici auditní stopy. Výběr dodavatele s transparentními procesy je zásadní pro minimalizaci rizika od začátku.

Možná nejdůležitějším bodem při budování důvěry v systémy AI je zajištění datové governance s čistými, reprezentativními a dobře zdokumentovanými datovými sadami. Jak říká přísloví: „špatná data, špatné výsledky“. Proto, pokud jsou data neúplná, zkreslená nebo nepřesná, i nejmodernější model bude produkovat nespolehlivé výsledky.

Abyste zajistili, že data jsou připravena pro AI, firmy by měly:

• Provést audit stávajících datových sad na mezery a duplikace a zkontrolovat zdroje zkreslení

• Standardizovat formáty dat

• Implementovat zásady datové governance, které definují vlastnictví a kontrolu přístupu

Dalším klíčovým krokem pro lídry firem je provést testování pod různými podmínkami. Ačkoli model může fungovat dobře v kontrolních testech, je zásadní pochopit omezení modelu, když je konfrontován s novými daty nebo vstupy, které neočekával. To je důvod, proč je důležité testovat AI v různých situacích, s různými typy uživatelů, různými použitími a daty z různých časových období.

Validace AI je také pokračující úloha. Jak se data mění v čase, i spolehlivé modely AI mohou ztratit přesnost. Proto je důležité pravidelně monitorovat, jak model funguje den za dnem: zda je stále přesný? Nebo zda se zvyšují falešné pozitivy? A stejně jako u každého systému, který potřebuje údržbu, modely by měly být pravidelně přeškoleny s čerstvými daty, aby zůstaly relevantní.

AI není důvěryhodný ani nedůvěryhodný; je formován daty, ze kterých se učí, lidmi, kteří ho vytvářejí, a pravidly, která ho řídí. Jak AI přechází z role užitečného nástroje do role obchodního poradce, lídři mají možnost nejen jej použít, ale také to udělat způsobem, který je uvážlivý a etický. Pokud to uděláme správně, AI nebude pouze mocný v budoucnosti, ale také zodpovědný, s jasnou zodpovědností ležící u jeho vývojářů a dozorců.