Jak Explainable AI buduje důvěru a odpovědnost

Společnosti již zahájily masivní přijímání umělé inteligence, závodí v nasazení chatbotů, generátorů obsahu a nástrojů pro podporu rozhodování napříč svými operacemi. Podle McKinsey 78 % společností používá umělou inteligenci alespoň v jedné obchodní funkci.

Horečka implementace je pochopitelná — všichni vidí potenciální hodnotu. Ale v této spěchu mnoho organizací přehlíží fakt, že všechny technologie založené na neuronových sítích, včetně každého LLM a generativního systému umělé inteligence, který je dnes a v dohledné budoucnosti používán, sdílejí významnou vadu: Jsou nepředvídatelné a v konečném důsledku nezvladatelné.

Jako někteří zjistili, může mít tato nepředvídatelnost skutečné důsledky. V jednom dealera Chevrolet, který nasadil chatbota na své webové stránky, přesvědčil zákazník ChatGPT-poháněný bot, aby mu prodal Chevrolet Tahoe za 58 195 dolarů za pouhý 1 dolar. Další zákazník požádal stejný chatbot, aby napsal Python skript pro složité rovnice dynamiky tekutin, což udělal rád. Dealér okamžitě zablokoval boty po těchto incidentech, které se rozšířily virálně.

Loni Air Canada prohrála u soudu, když argumentovala, že její chatbot, který cestujícímu poskytl nesprávné informace o slevě pro pozůstalé, „je samostatnou právní entitou, která je odpovědná za své vlastní činy“.

Tato nepředvídatelnost pramení ze základního architektonického designu LLM. Jsou tak velké a složité, že je nemožné pochopit, jak docházejí k určitým odpovědím nebo předpovědět, co vygenerují, dokud nevytvoří výstup. Většina organizací reaguje na tuto otázku spolehlivosti bez plného uvědomění.

Řešení, které se nabízí, je ruční kontrola výsledků umělé inteligence, což funguje, ale drasticky omezuje potenciál technologie. Když je umělá inteligence omezena na roli osobního asistenta — vytváří text, pořizuje záznamy z jednání, shrnuje dokumenty a pomáhá s kódováním — poskytuje skromné produktivity zisky. To nestačí na to, aby se ekonomika zrevolucionizovala.

Skutečné výhody umělé inteligence nastanou, když přestaneme ji používat jako pomocníka stávajících pracovních míst a místo toho přepojíme celé procesy, systémy a společnosti, aby využívaly umělou inteligenci bez lidského zásahu na každém kroku. Zvažte zpracování úvěrů: pokud banka poskytne úvěrovým úředníkům asistenta umělé inteligence, aby shrnuli žádosti, mohli by pracovat o 20-30 % rychleji. Ale nasazení umělé inteligence pro zpracování celého rozhodovacího procesu (s odpovídajícími bezpečnostními opatřeními) by mohlo snížit náklady o více než 90 % a téměř úplně eliminovat veškerý čas zpracování. To je rozdíl mezi inkrementálními zlepšeními a transformací.

Cesta k spolehlivé implementaci umělé inteligence

Využití plného potenciálu umělé inteligence bez toho, aby se vzdala její nepředvídatelnosti, vyžaduje sofistikovanou kombinaci technických přístupů a strategického myšlení. Zatímco několik současných metod nabízí částečná řešení, každá z nich má významná omezení.

Některé organizace se snaží zmírnit problémy se spolehlivostí pomocí systémového „nudgingu“ — jemného směrování chování umělé inteligence v požadovaných směrech, aby reagovala určitým způsobem na určité vstupy. Výzkumníci z Anthropic prokázali křehkost tohoto přístupu identifikací „Golden Gate Bridge funkce“ v neuronové síti Claude a, umělého zesílení, způsobilo, že Claude vyvinul identifikační krizi. Když se ho zeptali na jeho fyzickou podobu, místo aby uznal, že nemá žádnou, Claude tvrdil, že je most Golden Gate sám. Tento experiment odhalil, jak snadno lze změnit základní fungování modelu a že každá „nudge“ představuje kompromis, potenciálně zlepšující jeden aspekt výkonu, zatímco zhoršuje ostatní.

Jiným přístupem je nechat umělou inteligenci monitorovat jinou umělou inteligenci. Zatímco tento vrstvený přístup může odhalit některé chyby, zavádí další složitost a stále nedosahuje komplexní spolehlivosti. Hard-codeované „guardrails“ jsou přímější zásah, jako je blokování odpovědí obsahujících určitá klíčová slova nebo vzory, jako jsou přísady pro výrobu zbraní. Zatímco jsou efektivní proti známým problémům, tyto „guardrails“ nemohou předvídat nové problematické výstupy, které vznikají z těchto komplexních systémů.

Efektivnější přístup spočívá ve vytváření procesů orientovaných na umělou inteligenci, které mohou fungovat autonomně, s lidským dohledem strategicky umístěným tak, aby chyby spolehlivosti byly odhaleny předtím, než způsobí skutečné problémy ve světě. Nebcete chtít, aby umělá inteligence přímo schválila nebo zamítla žádosti o úvěr, ale umělá inteligence by mohla provést počáteční hodnocení pro lidské operátory k přezkumu. To může fungovat, ale závisí na lidské bdělosti, aby chyby umělé inteligence byly odhaleny a podkopává potenciální efektivitu zisku z použití umělé inteligence.

Stavba pro budoucnost

Tyto částečná řešení ukazují na komplexnější přístup. Organizace, které zásadně přehodnotí, jak se jejich práce provádí, místo aby pouze doplnily stávající procesy pomocí asistence umělé inteligence, získají největší výhodu. Ale umělá inteligence by nikdy neměla být posledním krokem v procesu s vysokými zárukami nebo rozhodnutím, takže co je nejlepší cesta vpřed?

První, umělá inteligence vytváří opakující se proces, který bude spolehlivě a transparentně poskytovat konzistentní výsledky. Druhý, lidé přezkoumají proces, aby se ujistili, že rozumí, jak funguje, a že vstupy jsou vhodné. Nakonec proces běží autonomně — bez použití umělé inteligence — s periodickým lidským přezkumem výsledků.

Zvažte pojišťovací průmysl. Konvenční přístup by mohl přidat asistenty umělé inteligence, aby pomohli zpracovatelům pojistných událostí pracovat efektivněji. Revolučnější přístup by využíval umělou inteligenci k vývoji nových nástrojů — jako je počítačové vidění, které analyzuje poškození fotografií, nebo vylepšené modely detekce podvodů, které identifikují podezřelé vzory — a poté tyto nástroje kombinuje do automatizovaných systémů řízených jasnými, srozumitelnými pravidly. Lidé by navrhovali a monitorovali tyto systémy, místo aby zpracovávali jednotlivé pojistné události.

Tento přístup zachovává lidský dohled na kritickém místě, kde to nejvíce záleží: navrhování a validaci systému samotného. Umožňuje exponenciální efektivitu, zatímco eliminuje riziko, že nepředvídatelnost umělé inteligence povede k škodlivým výsledkům v jednotlivých případech.

Umělá inteligence by mohla identifikovat potenciální indikátory schopnosti splácet úvěr v transakčních datech, například. Lidský odborníci by mohli poté vyhodnotit tyto indikátory z hlediska spravedlnosti a vytvořit explicitní, srozumitelné modely, aby potvrdili jejich prediktivní sílu.

Tento přístup k explainable AI vytvoří jasnější rozdělení mezi organizacemi, které používají umělou inteligenci povrchně, a těmi, které transformují své operace kolem ní. Poslední budou stále více táhnout vpřed ve svých odvětvích, schopné nabízet produkty a služby za ceny, které jejich konkurenti nemohou dorovnat.

Na rozdíl od černé-skříňkové umělé inteligence zajišťují systémy explainable AI, že lidé udržují smysluplný dohled nad aplikací technologie, vytvářejí budoucnost, kde umělá inteligence rozšiřuje lidský potenciál, místo aby jednoduše nahrazovala lidskou práci.