Čo je vysvetliteľná AI?

Ako sa umelá inteligencia (AI) stáva komplexnejšou a široko prijímanou v celej spoločnosti, jeden z najdôležitejších súborov procesov a metód je vysvetliteľný (AI), niekedy označovaný ako XAI. 

Vysvetliteľnú AI možno definovať ako:

• Súbor procesov a metód, ktoré pomáhajú ľudským používateľom pochopiť a dôverovať výsledkom algoritmov strojového učenia. 

Ako môžete hádať, táto vysvetliteľnosť je neuveriteľne dôležitá, pretože algoritmy AI preberajú kontrolu nad mnohými sektormi, čo prináša riziko skreslenia, chybných algoritmov a ďalších problémov. Dosiahnutím transparentnosti s vysvetliteľnosťou môže svet skutočne využiť silu AI. 

Vysvetliteľná AI, ako už názov napovedá, pomáha opísať model AI, jeho vplyv a potenciálne predsudky. Zohráva tiež úlohu pri charakterizovaní presnosti modelu, spravodlivosti, transparentnosti a výsledkov v rozhodovacích procesoch založených na AI. 

Dnešné organizácie riadené AI by si mali vždy osvojiť vysvetliteľné procesy AI, aby pomohli vybudovať dôveru v modely AI vo výrobe. Vysvetliteľná AI je tiež kľúčom k tomu, aby ste sa stali zodpovednou spoločnosťou v dnešnom prostredí AI.

Pretože dnešné systémy AI sú také pokročilé, ľudia zvyčajne vykonávajú proces výpočtu, aby zistili, ako algoritmus dospel k svojmu výsledku. Tento proces sa stáva „čiernou skrinkou“, čo znamená, že je nemožné ho pochopiť. Keď sú tieto nevysvetliteľné modely vyvinuté priamo z údajov, nikto nemôže pochopiť, čo sa v nich deje. 

Pochopením toho, ako fungujú systémy AI prostredníctvom vysvetliteľnej AI, môžu vývojári zabezpečiť, aby systém fungoval tak, ako má. Môže tiež pomôcť zabezpečiť, aby model spĺňal regulačné normy, a poskytuje príležitosť na napadnutie alebo zmenu modelu. 

Obrázok: Dr. Matt Turek/DARPA

Rozdiely medzi AI a XAI

Niektoré kľúčové rozdiely pomáhajú oddeliť „bežnú“ AI od vysvetliteľnej AI, ale čo je najdôležitejšie, XAI implementuje špecifické techniky a metódy, ktoré pomáhajú zabezpečiť, aby bolo každé rozhodnutie v procese ML sledovateľné a vysvetliteľné. Na porovnanie, bežná AI zvyčajne prichádza k svojmu výsledku pomocou algoritmu ML, ale nie je možné úplne pochopiť, ako algoritmus dospel k výsledku. V prípade bežnej AI je mimoriadne ťažké skontrolovať presnosť, čo vedie k strate kontroly, zodpovednosti a auditovateľnosti. 

Výhody vysvetliteľnej AI 

Existuje mnoho výhod pre každú organizáciu, ktorá chce prijať vysvetliteľnú AI, ako napríklad: 

• Rýchlejšie výsledky: Vysvetliteľná AI umožňuje organizáciám systematicky monitorovať a spravovať modely s cieľom optimalizovať obchodné výsledky. Je možné neustále vyhodnocovať a zlepšovať výkon modelu a dolaďovať vývoj modelu.
  
• Zmierniť riziká: Prijatím vysvetliteľných procesov AI zaistíte, že vaše modely AI budú vysvetliteľné a transparentné. Môžete riadiť regulačné požiadavky, súlad, riziká a ďalšie požiadavky a zároveň minimalizovať réžiu manuálnej kontroly. To všetko tiež pomáha zmierniť riziko neúmyselnej zaujatosti. 
• Budujte dôveru: Vysvetliteľná AI pomáha vybudovať dôveru v produkčnú AI. Modely AI možno rýchlo uviesť do výroby, môžete zabezpečiť interpretovateľnosť a vysvetliteľnosť a proces hodnotenia modelov možno zjednodušiť a sprehľadniť. 

Techniky pre vysvetliteľnú AI

Existuje niekoľko techník XAI, ktoré by mali zvážiť všetky organizácie, a pozostávajú z troch hlavných metód: presnosť predpovede, sledovateľnosťa pochopenie rozhodnutia. 

Prvý z troch spôsobov, presnosť predpovede, je nevyhnutné na úspešné používanie AI v každodenných operáciách. Je možné vykonávať simulácie a výstup XAI možno porovnať s výsledkami v súbore tréningových údajov, čo pomáha určiť presnosť predikcie. Jedna z najpopulárnejších techník na dosiahnutie tohto cieľa sa nazýva Local Interpretable Model-Agnostic Explanations (LIME), technika, ktorá vysvetľuje predikciu klasifikátorov pomocou algoritmu strojového učenia. 

Druhý spôsob je sledovateľnosť, čo sa dosahuje obmedzením spôsobu prijímania rozhodnutí, ako aj stanovením užšieho rozsahu pravidiel a funkcií strojového učenia. Jednou z najbežnejších techník vysledovateľnosti je DeepLIFT alebo Deep Learning Important FeaTures. DeepLIFT porovnáva aktiváciu každého neurónu s jeho referenčným neurónom a zároveň demonštruje vysledovateľné prepojenie medzi každým aktivovaným neurónom. Zobrazuje aj závislosti medzi nimi. 

Tretia a posledná metóda je pochopenie rozhodnutia, ktorá je na rozdiel od ostatných dvoch metód zameraná na človeka. Pochopenie rozhodnutí zahŕňa vzdelávanie organizácie, konkrétne tímu pracujúceho s AI, aby im umožnilo pochopiť, ako a prečo AI robí rozhodnutia. Táto metóda je kľúčová pre vytvorenie dôvery v systém. 

Vysvetliteľné princípy AI

Na lepšie pochopenie XAI a jej princípov poskytuje Národný inštitút pre štandardy (NIST), ktorý je súčasťou Ministerstva obchodu USA, definície štyroch princípov vysvetliteľnej AI: 

1. Systém AI by mal poskytovať dôkazy, podporu alebo zdôvodnenie pre každý výstup. 
2. Systém umelej inteligencie by mal poskytovať vysvetlenia, ktoré môžu jeho používatelia pochopiť. 
3. Vysvetlenie by malo presne odrážať proces, ktorý systém používa na dosiahnutie svojho výstupu. 
4. Systém umelej inteligencie by mal fungovať iba za podmienok, pre ktoré bol navrhnutý, a nemal by poskytovať výstup, keď mu chýba dostatočná dôvera vo výsledok. 

Tieto princípy možno ešte ďalej usporiadať do: 

• Zmysluplné: Aby sa dosiahol princíp zmysluplnosti, používateľ by mal rozumieť poskytnutému vysvetleniu. To by tiež mohlo znamenať, že v prípade, že algoritmus AI používajú rôzne typy používateľov, môže existovať niekoľko vysvetlení. Napríklad v prípade samoriadiaceho auta môže byť jedno vysvetlenie v zmysle...“AI kategorizovala plastovú tašku na ceste ako kameň, a preto podnikla kroky, aby do nej nenarazila. Aj keď by tento príklad fungoval pre ovládač, nebol by veľmi užitočný pre vývojárov AI, ktorí chcú problém vyriešiť. V takom prípade musí vývojár pochopiť, prečo došlo k chybnej klasifikácii. 
• Presnosť vysvetlenia: Na rozdiel od presnosti výstupu, presnosť vysvetlenia zahŕňa algoritmus AI, ktorý presne vysvetľuje, ako dosiahol svoj výstup. Napríklad, ak algoritmus na schválenie úveru vysvetľuje rozhodnutie založené na príjme žiadosti, hoci v skutočnosti bolo založené na mieste bydliska žiadateľa, vysvetlenie by bolo nepresné. 
• Limity vedomostí: Limity znalostí AI je možné dosiahnuť dvoma spôsobmi a zahŕňa to, že vstup je mimo odborných znalostí systému. Ak je napríklad vytvorený systém na klasifikáciu druhov vtákov a dostane obrázok jablka, mal by byť schopný vysvetliť, že zadaný údaj nie je vták. Ak systém dostane rozmazaný obrázok, mal by byť schopný oznámiť, že nie je schopný identifikovať vtáka na obrázku, prípadne, že jeho identifikácia má veľmi nízku spoľahlivosť. 

Úloha dát vo vysvetliteľnej AI

Jednou z najdôležitejších súčastí vysvetliteľnej AI sú dáta. 

Podľa GooglePokiaľ ide o údaje a vysvetliteľnú AI, „systém umelej inteligencie je najlepšie pochopiteľný pomocou základných tréningových údajov a tréningového procesu, ako aj výsledného modelu AI.“ Toto porozumenie závisí od schopnosti mapovať trénovaný model AI na presný súbor údajov, ktorý sa používa na jeho trénovanie, ako aj od schopnosti podrobne skúmať údaje. 

Na zlepšenie vysvetliteľnosti modelu je dôležité venovať pozornosť trénovacím údajom. Tímy by mali určiť pôvod údajov použitých na trénovanie algoritmu, zákonnosť a etiku súvisiacu s ich získavaním, akúkoľvek potenciálnu zaujatosť v údajoch a čo možno urobiť na zmiernenie akejkoľvek zaujatosti. 

Ďalším kritickým aspektom údajov a XAI je, že údaje irelevantné pre systém by sa mali vylúčiť. Aby sa to dosiahlo, irelevantné údaje nesmú byť zahrnuté do trénovacej množiny alebo vstupných údajov. 

Google odporučil súbor postupov na dosiahnutie interpretovateľnosti a zodpovednosti: 

• Naplánujte si svoje možnosti, aby ste sa mohli venovať interpretácii
• Interpretovateľnosť vnímajte ako základnú súčasť používateľskej skúsenosti
• Navrhnite model tak, aby bol interpretovateľný
• Vyberte metriky, ktoré budú odrážať konečný cieľ a konečnú úlohu
• Pochopte trénovaný model
• Komunikujte s používateľmi modelov vysvetlenia
• Vykonajte množstvo testov, aby ste sa uistili, že systém AI funguje podľa plánu 

Dodržiavaním týchto odporúčaných postupov môže vaša organizácia zabezpečiť, že dosiahne vysvetliteľnú AI, ktorá je v dnešnom prostredí kľúčom k akejkoľvek organizácii riadenej AI.