Kdyby se váš zaměstnanec choval jako AI, už byste ho dnes vyhodili.

Představte si, že jste právě najali novou osobu a většinu dní je efektivní, znalá, výmluvná a sebejistá. Je to vše, co jste si představovali, a projevuje mnoho vlastností skvělého zaměstnance.

Nyní si představte, že občas, když čelí otázce, na kterou nezná odpověď, jen něco vymyslí. Je to plynulé, přesvědčivé, takže na první pohled to přijmete jako pravdu. Ale když to má dopad na podnikání, vrátíte se k tomuto zaměstnanci, postavíte ho před výzvu – a on nedokáže vysvětlit svůj myšlenkový proces ani sdílet své postupy. Můžete mu dokonce vysvětlit, že se mýlí, a on vám odpoví neústupnou trvalostí a dalšími výmysly, aby to podpořil. Po druhém či třetím takovém výskytu byste ho pravděpodobně vyhodili, nebo alespoň vydali varování? Většina zaměstnavatelů by odpověděla téměř jistě ano.

Je pro mě matoucí, že firmy nyní svěřují kritické pracovní postupy a rozhodování zaměstnanci, o kterém se ví, že vykazuje právě takové chování. Jediný důvod, proč to zůstává neodhaleno, je ten, že tento „zaměstnanec“ je software, nikoli člověk.

Proč AI selhává jinak než lidé

Mezi firmami nasazujícími AI existuje běžná, nesprávná představa, že pokud má technologie chybovost, jedná se přibližně o stejný problém jako lidská chyba a lze jej řídit stejným způsobem. Avšak kontroly, revize a eskalace ne vždy fungují u velkých jazykových modelů (LLM). Jsou vytvořeny tak, aby zněly jako lidé, ale když se podíváte pod kapotu, uvidíte, že vůbec nefungují jako my.

Když hvězdný zaměstnanec udělá chybu, předpokládáme, že chyba byla upřímná – snažil se co nejlépe a jen se spletli. Stává se to. Pokud však úmyslně vymyslí odpověď, aby se vyhnul neznalosti, a dělá to opakovaně, považujeme to za pochybení. Manažeři vědí, na co se mají soustředit, protože obtížnost a míra chyb se shodují. Mohou zaměstnance požádat, aby vysvětlil své zdůvodnění a dotázat se ho na něj. Zaměstnanec obvykle ví, kdy je mimo své síly, a řekne to. A po jedné chybě se poučí, takže se stejná chyba v nekonečném cyklu neopakuje.

AI systémy obracejí každou z těchto předpokladů. Jejich výchozí reakce na selhání je plynulý, sebejistý výmysl. Vytvoří pravděpodobnou odpověď, která je prostě nepravdivá, což je přesně to chování, které by ukončilo lidskou kariéru. LLM jsou navrženy tak, aby produkovaly nejpravděpodobnější statisticky pokračování textu, a když neznají odpověď, často vytvoří něco, co zní, že by to mohlo být správné. Výzkumníci z OpenAI sami uznali, že určitá úroveň faktických chyb je statistickou nevyhnutelností fungování těchto modelů, a že trénink odměňuje sebejistý odhad nad upřímným přiznáním nejistoty.

Kde přicházejí neurosymbolické přístupy

Právě to, co neurosymbolické přístupy mají za cíl napravit. Spojují neuronové sítě, které jsou výborné v porozumění neúplnému, reálnému jazyku a datům, s deterministickým, pravidly řízeným zdůvodněním. To znamená, že závěry systému vyplývají z explicitní logiky, kterou lze zkontrolovat, místo aby vznikaly z procesu, který nikdo nedokáže nahlédnout.

Bez této přidané vrstvy logiky, kterou neurosymbolická technologie poskytuje, chyby AI nekorelují s obtížností práce tak, jak tomu je u lidí – jsou nepředvídatelné. Mohou se objevit u triviálních úkolů, zatímco obtížné projdou bez problémů, což ztěžuje rozpoznat, kde nejlépe zaměřit lidský dohled. Jejich vysvětlení, pokud jsou poskytnuta, jsou generována až poté, místo aby poskytovala pravdivý popis toho, jak dospěly k závěru. Stejná chyba se může opakovat donekonečna, protože v systému není nikdo, kdo by se z ní učil nebo byl za ni odpovědný.

Důvěra bez porozumění

Výzkumníci zaznamenali, že když jsou lidé noví v systému, mají tendenci jej opustit po jediné viditelné chybě; ale když je systém známý, skáčou k opačnému extrému – přijímání jeho výstupů jednoduše proto, že si na ně zvykli, nikoli proto, že se staly spolehlivějšími. To, co se zřídka vidí, je správná úroveň důvěry, protože závisí na tom, že lidé pochopí, kdy je AI systém pravděpodobně chybný, a dokážou rozpoznat, kdy k tomu dochází.

To neznamená, že AI by neměla být důvěřována při důležité práci. Znamená to, že jsme ochotni jí poskytnout druh důvěry, který bychom člověku nepřidělili, částečně proto, že neexistuje zřejmá osoba, která by byla zodpovědná, když selže.

Pokud má AI převzít práci založenou na úsudku tak, jako by to udělal ceněný kolega, musí splňovat stejné základní standardy. Odpovědi musí být ověřitelné, s viditelným zdůvodněním, a přijmout fakt, že někdy je nejlepší, co může udělat, říci “I don’t know”.