Google vytvořil nový program Explainable AI pro zlepšení transparentnosti a laditelnosti

Google (GOOGL ) nedávno oznámil vytvoření nové cloudové platformy, která má za cíl poskytnout přehled o tom, jak program AI činí rozhodnutí, a usnadnit tak ladění programu a zvýšit transparentnost. Podle zprávy na webu The Register se cloudová platforma jmenuje Explainable AI a představuje významnou snahu Google investovat do vysvětlitelnosti AI.

Umělé neuronové sítě se používají ve většině hlavních systémů AI, které se používají dnes. Neuronové sítě, které řídí hlavní aplikace AI, mohou být extraordinárně komplexní a velké, a jak se složitost systému zvyšuje, stává se stále obtížnější intuitivně pochopit, proč byl učiněn určitý rozhodnutí. Jak Google vysvětluje ve své bílé knize, když se AI systémy stávají výkonnějšími, stávají se také složitějšími a tudíž obtížnějšími na ladění. Transparentnost se také ztrácí, když k tomu dojde, což znamená, že předpojaté algoritmy mohou být obtížně rozpoznatelné a řešitelné.

Skutečnost, že důvod, který řídí chování komplexních systémů, je tak těžké interpretovat, často má dramatické důsledky. Kromě toho, že činí boj proti AI předpojatosti obtížným, může také učinit extrémně obtížným rozlišit mezi falešnými korelacemi a skutečně důležitými a zajímavými korelacemi.

Mnohé společnosti a výzkumné skupiny zkoumají, jak řešit “černou skříňku” problému AI a vytvořit systém, který dostatečně vysvětluje, proč byly učiněny určité rozhodnutí AI. Googleova platforma Explainable AI představuje svou vlastní nabídku na řešení této výzvy. Explainable AI se skládá ze tří různých nástrojů. První nástroj je systém, který popisuje, které funkce byly vybrány AI a také zobrazuje atributový skóre, které reprezentuje množství vlivu, které má určitá funkce na konečnou předpověď. Googleova zpráva o nástroji poskytuje příklad předpovědi, jak dlouho bude trvat jízda na kole na základě proměnných, jako je srážkový déšť, aktuální teplota, den v týdnu a startovací čas. Po rozhodnutí sítě je zobrazena zpětná vazba, která zobrazuje, které funkce měly největší vliv na předpověď.

Jak tento nástroj poskytuje takovou zpětnou vazbu v případě obrazových dat? V tomto případě nástroj produkuje překryv, který zvýrazňuje oblasti obrazu, které měly největší vliv na rozhodnutí.

Dalším nástrojem v sadě je nástroj “What-If”, který zobrazuje potenciální fluktuace v modelovém výkonu, když se manipulují jednotlivé atributy. Nakonec poslední nástroj může být nastaven tak, aby poskytoval vzorkové výsledky lidským recenzentům na pravidelném základě.

Dr. Andrew Moore, hlavní vědec Google pro AI a strojové učení, popsal inspiraci pro projekt. Moore vysvětlil, že před asi pěti lety akademická komunita začala být znepokojena škodlivými vedlejšími produkty používání AI a že Google chtěl zajistit, aby jejich systémy byly používány pouze eticky. Moore popsal incident, kdy společnost se snažila navrhnout počítačový program pro upozornění stavebních dělníků, zda někdo nemá na sobě helmu, ale stali se znepokojení, že monitoring by mohl být proveden příliš daleko a stát se dehumanizujícím. Moore řekl, že podobný důvod vedl Google k rozhodnutí nevydat obecný rozpoznávací API obličeje, protože společnost chtěla mít více kontroly nad tím, jak jejich technologie byla používána, a zajistit, aby byla používána pouze eticky.

Moore také zdůraznil, proč je tak důležité, aby rozhodnutí AI byla vysvětlitelná:

“Pokud máte bezpečnostně kritický systém nebo societálně důležitou věc, která může mít neočekávané důsledky, pokud si myslíte, že váš model udělal chybu, musíte být schopni ji diagnostikovat. Chceme pečlivě vysvětlit, co vysvětlitelnost může a nemůže udělat. Není to panacea.