Google skapar nytt program för förklarande AI för att förbättra transparens och felsökning

Alldeles nyligen tillkännagav Google skapandet av en ny molnplattform avsedd att få insikt i hur ett AI-program fattar beslut, vilket gör felsökning av ett program enklare och förbättrar transparensen. Som rapporterats av Registret, molnplattformen kallas Explainable AI, och det markerar ett stort försök från Google att investera i AI-förklarlighet.

Artificiella neurala nätverk används i många, kanske de flesta, av de stora AI-systemen som används i världen idag. De neurala nätverk som kör stora AI-tillämpningar kan vara utomordentligt komplexa och stora, och när ett systems komplexitet växer blir det svårare och svårare att förstå varför ett visst beslut har tagits av systemet. Som Google förklarar i sin vitbok, när AI-system blir kraftfullare, blir de också mer komplexa och därmed svårare att felsöka. Transparens går också förlorad när detta inträffar, vilket gör att partiska algoritmer kan vara svåra att känna igen och adressera.

Det faktum att resonemanget som driver beteendet hos komplexa system är så svårt att tolka får ofta drastiska konsekvenser. Förutom att göra det svårt att bekämpa AI-bias, kan det göra det utomordentligt svårt att skilja falska korrelationer från genuint viktiga och intressanta korrelationer.

Många företag och forskargrupper undersöker hur man kan ta itu med "svarta lådan"-problemet med AI och skapa ett system som adekvat förklarar varför vissa beslut har fattats av en AI. Googles Explainable AI-plattform representerar sitt eget bud för att tackla denna utmaning. Förklarlig AI består av tre olika verktyg. Det första verktyget är ett system som beskriver vilka funktioner som har valts ut av en AI och det visar också en attributionspoäng som representerar mängden inflytande som en viss funktion har på den slutliga förutsägelsen. Googles rapport om verktyget ger ett exempel på att förutsäga hur länge en cykeltur kommer att pågå baserat på variabler som nederbörd, aktuell temperatur, veckodag och starttid. Efter att nätverket har fattat beslutet ges feedback som visar vilka funktioner som hade störst inverkan på förutsägelserna.

Hur ger detta verktyg sådan feedback när det gäller bilddata? I det här fallet producerar verktyget en överlagring som framhäver de områden i bilden som vägde tyngst på det renderade beslutet.

Ett annat verktyg som finns i verktygslådan är verktyget "What-If", som visar potentiella fluktuationer i modellens prestanda när individuella attribut manipuleras. Slutligen kan det sista verktyget ställas in för att ge exempelresultat till mänskliga granskare på ett konsekvent schema.

Dr. Andrew Moore, Googles chefsforskare för AI och maskininlärning, beskrev inspirationen till projektet. Moore förklarade att för ungefär fem år sedan började den akademiska världen bli orolig över de skadliga biprodukterna av AI-användning och att Google ville se till att deras system endast användes på etiska sätt. Moore beskrev en incident där företaget försökte utforma ett datorseendeprogram för att varna byggnadsarbetare om någon inte bar hjälm, men de blev oroliga för att övervakningen kunde gå för långt och bli avhumaniserande. Moore sa att det fanns en liknande anledning till att Google beslutade att inte släppa ett generellt API för ansiktsigenkänning, eftersom företaget ville ha mer kontroll över hur deras teknik användes och se till att den endast användes på etiska sätt.

Moore lyfte också fram varför det var så viktigt för AI:s beslut att kunna förklaras:

"Om du har ett säkerhetskritiskt system eller en samhällsviktig sak som kan få oavsiktliga konsekvenser om du tror att din modell har gjort ett misstag, måste du kunna diagnostisera det. Vi vill noggrant förklara vad förklarbarhet kan och inte kan göra. Det är inte ett universalmedel."