Co je vysvětlitelná AI?

S tím, jak se umělá inteligence (AI) stává složitější a široce přijímána napříč společností, je jednou z nejkritičtějších sad procesů a metod vysvětlitelná (AI), někdy označovaná jako XAI. 

Vysvětlitelná umělá inteligence může být definována jako:

• Sada procesů a metod, které pomáhají lidským uživatelům porozumět výsledkům algoritmů strojového učení a důvěřovat jim. 

Jak můžete hádat, tato vysvětlitelnost je neuvěřitelně důležitá, protože algoritmy AI přebírají kontrolu nad mnoha sektory, což přináší riziko zkreslení, chybných algoritmů a dalších problémů. Dosažením transparentnosti a vysvětlitelnosti může svět skutečně využít sílu AI. 

Vysvětlitelná AI, jak název napovídá, pomáhá popsat model AI, jeho dopad a potenciální zkreslení. Hraje také roli při charakterizaci přesnosti modelu, spravedlnosti, transparentnosti a výsledků v rozhodovacích procesech založených na umělé inteligenci. 

Dnešní organizace řízené umělou inteligencí by měly vždy přijímat vysvětlitelné procesy umělé inteligence, aby pomohly vybudovat důvěru v modely umělé inteligence ve výrobě. Vysvětlitelná umělá inteligence je také klíčem k tomu, abyste se v dnešním prostředí umělé inteligence stali odpovědnou společností.

Vzhledem k tomu, že dnešní systémy umělé inteligence jsou tak pokročilé, lidé obvykle provádějí výpočetní proces, aby zjistili, jak algoritmus dospěl ke svému výsledku. Tento proces se stává „černou skříňkou“, což znamená, že je nemožné mu porozumět. Když jsou tyto nevysvětlitelné modely vyvinuty přímo z dat, nikdo nemůže pochopit, co se v nich děje. 

Díky pochopení toho, jak systémy umělé inteligence fungují prostřednictvím vysvětlitelné umělé inteligence, mohou vývojáři zajistit, aby systém fungoval tak, jak má. Může také pomoci zajistit, že model splňuje regulační standardy, a poskytuje příležitost, aby byl model napaden nebo změněn. 

Obrázek: Dr. Matt Turek/DARPA

Rozdíly mezi AI a XAI

Některé klíčové rozdíly pomáhají oddělit „běžnou“ AI od vysvětlitelné AI, ale co je nejdůležitější, XAI implementuje specifické techniky a metody, které pomáhají zajistit, aby každé rozhodnutí v procesu ML bylo sledovatelné a vysvětlitelné. Pro srovnání, běžná umělá inteligence obvykle dospívá ke svému výsledku pomocí algoritmu ML, ale není možné plně pochopit, jak algoritmus k výsledku dospěl. V případě běžné umělé inteligence je extrémně obtížné kontrolovat přesnost, což vede ke ztrátě kontroly, odpovědnosti a auditovatelnosti. 

Výhody Explainable AI 

Existuje mnoho výhod pro každou organizaci, která chce přijmout vysvětlitelnou AI, jako například: 

• Rychlejší výsledky: Vysvětlitelná umělá inteligence umožňuje organizacím systematicky monitorovat a spravovat modely za účelem optimalizace obchodních výsledků. Je možné neustále vyhodnocovat a zlepšovat výkon modelu a dolaďovat vývoj modelu.
  
• Zmírnit rizika: Přijetím vysvětlitelných procesů AI zajistíte, že vaše modely AI budou vysvětlitelné a transparentní. Můžete spravovat regulační požadavky, dodržování předpisů, rizika a další požadavky a zároveň minimalizovat režii ruční kontroly. To vše také pomáhá zmírnit riziko nezamýšlené zaujatosti. 
• Budujte důvěru: Vysvětlitelná umělá inteligence pomáhá vytvořit důvěru v produkční umělou inteligenci. Modely umělé inteligence lze rychle uvést do výroby, můžete zajistit interpretovatelnost a vysvětlitelnost a proces vyhodnocování modelů lze zjednodušit a zprůhlednit. 

Techniky pro vysvětlitelnou umělou inteligenci

Existují některé techniky XAI, které by měly zvážit všechny organizace, a skládají se ze tří hlavních metod: přesnost předpovědi, sledovatelnost, a pochopení rozhodnutí. 

První ze tří způsobů, přesnost předpovědi, je nezbytný pro úspěšné použití AI v každodenních operacích. Lze provádět simulace a výstup XAI lze porovnat s výsledky v sadě trénovacích dat, což pomáhá určit přesnost predikce. Jedna z populárnějších technik, jak toho dosáhnout, se nazývá Local Interpretable Model-Agnostic Explanations (LIME), technika, která vysvětluje predikci klasifikátorů pomocí algoritmu strojového učení. 

Druhá metoda je sledovatelnost, čehož je dosaženo omezením toho, jak lze přijímat rozhodnutí, a také stanovením užšího rozsahu pravidel a funkcí strojového učení. Jednou z nejběžnějších technik sledovatelnosti je DeepLIFT nebo Deep Learning Important FeaTures. DeepLIFT porovnává aktivaci každého neuronu s jeho referenčním neuronem a zároveň prokazuje sledovatelnou vazbu mezi každým aktivovaným neuronem. Ukazuje také závislosti mezi nimi. 

Třetí a poslední metoda je pochopení rozhodnutí, která je na rozdíl od ostatních dvou metod zaměřena na člověka. Pochopení rozhodnutí zahrnuje vzdělávání organizace, konkrétně týmu pracujícího s AI, aby jim umožnilo pochopit, jak a proč AI dělá rozhodnutí. Tato metoda je zásadní pro vytvoření důvěry v systém. 

Vysvětlitelné principy umělé inteligence

Aby bylo možné lépe porozumět XAI a jeho principům, poskytuje Národní institut pro standardy (NIST), který je součástí amerického ministerstva obchodu, definice čtyř principů vysvětlitelné umělé inteligence: 

1. Systém umělé inteligence by měl poskytovat důkazy, podporu nebo zdůvodnění pro každý výstup. 
2. Systém umělé inteligence by měl poskytovat vysvětlení, která mohou jeho uživatelé pochopit. 
3. Vysvětlení by mělo přesně odrážet proces, který systém používá k dosažení svého výstupu. 
4. Systém umělé inteligence by měl fungovat pouze za podmínek, pro které byl navržen, a neměl by poskytovat výstup, když postrádá dostatečnou důvěru ve výsledek. 

Tyto principy lze ještě dále uspořádat do: 

• Smysluplné: Pro dosažení principu smysluplnosti by měl uživatel porozumět poskytnutému vysvětlení. To by také mohlo znamenat, že v případě, že algoritmus AI používají různé typy uživatelů, může existovat několik vysvětlení. Například v případě samořídícího auta může být jedno vysvětlení v duchu…“AI kategorizovala igelitový sáček na silnici jako kámen, a proto podnikla kroky, aby do něj nenarazila.“ I když by tento příklad fungoval pro ovladač, nebyl by příliš užitečný pro vývojáře AI, kteří chtějí problém vyřešit. V takovém případě musí vývojář pochopit, proč došlo k nesprávné klasifikaci. 
• Přesnost vysvětlení: Na rozdíl od přesnosti výstupu, přesnost vysvětlení zahrnuje algoritmus AI, který přesně vysvětluje, jak dosáhl svého výstupu. Pokud například algoritmus pro schvalování úvěru vysvětluje rozhodnutí založené na příjmu žádosti, i když ve skutečnosti bylo založeno na místě bydliště žadatele, vysvětlení by bylo nepřesné. 
• Limity znalostí: Limity znalostí AI lze dosáhnout dvěma způsoby a zahrnuje to, že vstup je mimo odborné znalosti systému. Pokud je například vytvořen systém pro klasifikaci ptačích druhů a je mu poskytnut obrázek jablka, měl by být schopen vysvětlit, že vstup není pták. Pokud systém dostane rozmazaný obrázek, měl by být schopen oznámit, že není schopen identifikovat ptáka na obrázku, nebo alternativně, že jeho identifikace má velmi nízkou spolehlivost. 

Role dat ve vysvětlitelné umělé inteligenci

Jednou z nejdůležitějších součástí vysvětlitelné umělé inteligence jsou data. 

Podle GooglePokud jde o data a vysvětlitelnou umělou inteligenci, „systém umělé inteligence nejlépe rozumíme základním tréninkovým datům a tréninkovému procesu a také výslednému modelu umělé inteligence.“ Toto porozumění závisí na schopnosti namapovat trénovaný model umělé inteligence k přesnému datovému souboru použitému k jeho trénování a také na schopnosti podrobně zkoumat data. 

Aby se zlepšila vysvětlitelnost modelu, je důležité věnovat pozornost trénovacím datům. Týmy by měly určit původ dat použitých k trénování algoritmu, zákonnost a etiku související s jejich získáváním, případné zkreslení v datech a co lze udělat pro zmírnění jakékoli zkreslení. 

Dalším kritickým aspektem dat a XAI je, že data nerelevantní pro systém by měla být vyloučena. Aby toho bylo dosaženo, irelevantní data nesmí být zahrnuta do trénovací sady nebo vstupních dat. 

Google doporučil soubor postupů k dosažení interpretovatelnosti a odpovědnosti: 

• Naplánujte si své možnosti, jak sledovat interpretovatelnost
• Interpretovatelnost považujte za základní součást uživatelské zkušenosti
• Navrhněte model tak, aby byl interpretovatelný
• Vyberte metriky tak, aby odrážely konečný cíl a konečný úkol
• Pochopte trénovaný model
• Komunikujte s uživateli modelu vysvětlení
• Proveďte mnoho testů, abyste se ujistili, že systém AI funguje tak, jak má 

Dodržováním těchto doporučených postupů může vaše organizace zajistit, že dosáhne vysvětlitelné umělé inteligence, která je v dnešním prostředí klíčová pro jakoukoli organizaci řízenou umělou inteligencí.