Jak vysvětlitelná umělá inteligence zvyšuje spolehlivost a důvěryhodnost

Když se umělá inteligence (AI) demokratizuje napříč podniky, postupně se stává součástí naší existence. Důležitým aspektem této demokratizace je, že koncoví uživatelé by měli být schopni plně pochopit procesy a mechanismy, které AI používá k dosažení závěru nebo k dosažení požadovaných výsledků. Jako lidé máme hluboce zakořeněnou potřebu odhalit “proč” a “jak” jakéhokoli jevu, což urychluje náš technologický pokrok. V kontextu AI se toto pochopení nazývá “vysvětlitelnost.”

Proč je vysvětlitelnost potřebná?

Často přistupujeme k AI jako k “černé skříňce”, kde máme pouze povědomí o vstupních a výstupních datech, ale někde jsou procesy, které se používají, ztraceny. Tento problém je ještě více zhoršován tím, že algoritmy, které pohánějí většinu populárních forem AI, jako jsou komplexní systémy založené na hlubokém učení a zpracování přirozeného jazyka (NLP), jsou velmi abstraktní, dokonce i pro jejich nejzkušenější praktiky.

Důvěra a transparentnost: Aby uživatelé mohli důvěřovat předpovědím AI, musí mít určitou úroveň vysvětlitelnosti. Například, pokud lékař musí doporučit léčbu na základě předpovědí AI, musí být přesvědčen o předpovědi. Banka musí mít plnou důvěru v rozhodnutí o odmítnutí nebo schválení úvěru a musí být schopna toto rozhodnutí ospravedlnit všem zúčastněným stranám. AI používaná pro screening a nábor musí prokázat, že podkladové mechanismy jsou spravedlivé a rovné pro všechny skupiny uchazečů.

Činí AI více lidským a zvyšuje přijetí: V zprávě McKinseyho The state of AI in 2020 se dozvíme, že výrobce používá velmi transparentní modely pro akceptaci ze strany svých továrních pracovníků, kteří potřebují důvěřovat úsudkům AI týkajícím se jejich bezpečnosti. Pro rychlé přijetí AI je získání souhlasu zúčastněných stran hlavním překážkou pro škálování z jednoduchých bodových řešení na podnikovou úroveň a získání最大ního prospěchu z investic. To je značně zmírněno, pokud je výkon AI vysvětliteln širšímu publiku. Z obchodního hlediska zvyšuje vysvětlitelnost celkovou uživatelskou zkušenost a zvyšuje spokojenost zákazníků. Podle zjištění průzkumu IBM Institute for Business Value se 68 procent nejlepších manažerů domnívá, že zákazníci budou požadovat více vysvětlitelnosti od AI v příštích třech letech.

Odhaluje předpojatosti a zlepšuje výkon modelu: Vývojář musí vědět, jak zlepšit výkon modelu a jak přesně jej ladit. Jasný rámec vysvětlitelnosti je jedním z nejvýznamnějších nástrojů pro provedení důkladné analýzy, která je potřebná.

Získává ostřejší, komplexnější přehledy: Je zapotřebí úplný 360stupňový přehled pro plné pochopení jakýchkoli předpisů AI. Například, pokud se AI používá pro investiční rozhodnutí, je také třeba znát důvod, proč bylo toto rozhodnutí učiněno, aby se toto učení mohlo přenést do jiných oblastí a aby se pochopily potenciální pasti tohoto rozhodnutí. Silné pochopení fungování AI také umožní rozhodovatelům odhalit nové použití.

Regulace a odpovědnost: Několik předpisů, jako je GDPR, vyžaduje právo na vysvětlení, aby se řešily problémy s odpovědností, které vznikají z automatizovaného rozhodování. V systémech, jako jsou autonomní vozidla, je-li něco špatně a dojde ke ztrátě na životech a majetku, je zapotřebí řádné znalosti o kořenové příčině, což bude obtížné určit v systému “černé skříňky”.

Jak může být AI více vysvětlitelná?

Vysvětlitelné systémy umělé inteligence (XAI) se vyvíjejí pomocí různých technik, které se zaměřují buď na vysvětlení modelu jako celku, nebo na vysvětlení důvodu jednotlivých předpovědí s pomocí některých algoritmů.

Většina technik vysvětlitelnosti se spoléhá na:

• rozdělení modelu na jednotlivé součásti)
• visualizaci předpovědí modelu (například, pokud model klasifikuje auto jako určitou značku, zvýrazní část, která způsobila, že ho označila jako takovou)
• vysvětlení pomocí těžby (používání technik strojového učení pro nalezení relevantních dat, která vysvětlují předpověď algoritmu umělé inteligence).

V jedné z takových technik, nazvané proxy modeling, se používá jednodušší a srozumitelnější model, jako je rozhodovací strom, pro aproximaci složitějšího modelu AI. Tyto jednoduché vysvětlení poskytují správnou představu o modelu na vysoké úrovni, ale někdy potlačují jisté nuance.

Jiným přístupem je “interpretovatelnost podle návrhu” Tento přístup klade omezení do návrhu a školení sítě AI novým způsobem, který se snaží postavit celou síť z menších a jednodušších vysvětlitelných částí. To zahrnuje kompromis mezi úrovní přesnosti a vysvětlitelností a omezuje jisté přístupy z nástrojové skříně datového vědce. Může to být také vysoce výpočetně náročné.

Školení a testování AI lze také použít agnostické techniky ověření dat, jako je lokální interpretovatelný model (LIME) a Shapley Additive exPlanations (SHAP), a tyto by měly být přizpůsobeny pro dosažení vysoké přesnosti pomocí F-skóre, přesnosti a dalších metrik. A samozřejmě, všechny výsledky by měly být monitorovány a ověřeny pomocí široké škály dat. Používáním LIME, například, jsou organizace schopny vytvářet dočasné modely, které napodobují předpovědi netransparentních algoritmů, jako je strojové učení. Tyto modely LIME pak mohou vytvořit širokou škálu permutací na základě daného datového souboru a odpovídajícího výstupu, který lze použít pro školení jednodušších a více interpretovatelných modelů spolu s úplnými seznamy vysvětlení pro každé rozhodnutí a/nebo předpověď. Rámec SHAP, který má své základy v teorii her a konkrétně v kooperativní teorii her, je modelem, který kombinuje optimální přidělení kreditu s místními vysvětleními pomocí původních Shapleyových hodnot z teorie her a jejich potomků.

Principiální operace

Na strategické úrovni by však rámcové podmínky pro spolehlivost AI měly zahrnovat širokou škálu principů zaměřených na zajištění správných výsledků jak na začátku nasazení, tak v průběhu času, jak se modely vyvíjejí v reakci na měnící se okolnosti. Tyto rámcové podmínky by měly zahrnovat alespoň:

• Detekce předpojatosti – všechny datové sady by měly být očištěny od předpojatosti a diskriminačních atributů a měly by být dány správné váhy a uvážení při aplikaci na trénovací model;
• Lidská účast – operátoři by měli být schopni vyšetřovat a interpretovat výstupy algoritmů kdykoli, zejména když se modely používají pro vymáhání práva a ochranu občanských svobod;
• Osvědčení – všechny předpovědi musí být schopny odolat zkoumání, což přirozeně vyžaduje vysokou úroveň transparentnosti, aby umožnila vnějším pozorovatelům posoudit procesy a kritéria použité pro výrobu výsledků;
• Opakovatelnost – spolehlivé modely AI musí být konzistentní ve svých předpovědích a musí vykazovat vysoké úrovně stability, když se setkávají s novými daty.

Ale XAI by nemělo být považováno pouze za prostředek ke zlepšení ziskovosti, ale také za prostředek ke zajištění odpovědnosti, aby instituce mohly vysvětlit a ospravedlnit účinek svých výtvorů na společnost jako celek.