Vad är Explainable AI?

Allteftersom artificiell intelligens (AI) blir mer komplex och allmänt antagen i samhället, är en av de viktigaste processerna och metoderna förklarlig (AI), ibland kallad XAI.

Förklarlig AI kan definieras som:

• En uppsättning processer och metoder som hjälper mänskliga användare att förstå och lita på resultaten från maskinlärningsalgoritmer.

Som du kan gissa, är denna förklarbarhet otroligt viktig eftersom AI-algoritmer tar kontroll över många sektorer, vilket medför risken för partiskhet, felaktiga algoritmer och andra problem. Genom att uppnå transparens med förklarbarhet kan världen verkligen utnyttja kraften i AI.

Förklarlig AI, som namnet antyder, hjälper till att beskriva en AI-modell, dess påverkan och potentiella partiskhet. Den spelar också en roll i att karakterisera modellens noggrannhet, rättvisa, transparens och resultat i AI-styrda beslutsprocesser.

Idag bör AI-styrda organisationer alltid anta förklarliga AI-processer för att hjälpa till att bygga förtroende och tillit till AI-modellerna i produktion. Förklarlig AI är också nyckeln till att bli ett ansvarsfullt företag i dagens AI-miljö.

Eftersom dagens AI-system är så avancerade, utför människor vanligtvis en beräkningsprocess för att spåra hur algoritmen nådde sitt resultat. Denna process blir en “svart låda”, vilket innebär att det är omöjligt att förstå. När dessa oförklarliga modeller utvecklas direkt från data, kan ingen förstå vad som händer inuti dem.

Genom att förstå hur AI-system fungerar genom förklarlig AI, kan utvecklare säkerställa att systemet fungerar som det ska. Det kan också hjälpa till att säkerställa att modellen uppfyller regulatoriska standarder och ger möjlighet för modellen att utmanas eller ändras.

Bild: Dr. Matt Turek/DARPA

Skillnader mellan AI och XAI

Vissa nyckelskillnader hjälper till att skilja “vanlig” AI från förklarlig AI, men framför allt implementerar XAI specifika tekniker och metoder som hjälper till att säkerställa att varje beslut i ML-processen är spårbar och förklarlig. I jämförelse anländer vanlig AI vanligtvis till sitt resultat med hjälp av en ML-algoritm, men det är omöjligt att fullständigt förstå hur algoritmen nådde sitt resultat. I fallet med vanlig AI är det extremt svårt att kontrollera noggrannhet, vilket resulterar i en förlust av kontroll, ansvar och granskning.

Fördelar med förklarlig AI

Det finns många fördelar för alla organisationer som vill anta förklarlig AI, såsom:

• Snabbare resultat: Förklarlig AI möjliggör för organisationer att systematiskt övervaka och hantera modeller för att optimera affärsresultat. Det är möjligt att kontinuerligt utvärdera och förbättra modellprestanda och finjustera modellutveckling.
• Minska risker: Genom att anta förklarliga AI-processer säkerställer du att dina AI-modeller är förklarliga och transparenta. Du kan hantera regulatoriska, regelefterlevnads-, risker och andra krav samtidigt som du minskar den manuella inspektionens övervakning. Allt detta hjälper också till att minska risken för oavsiktlig partiskhet.
• Bygg förtroende: Förklarlig AI hjälper till att etablera förtroende i produktions-AI. AI-modeller kan snabbt tas till produktion, du kan säkerställa tolkbarhet och förklarbarhet, och modellutvärderingsprocessen kan förenklas och göras mer transparent.

Tekniker för förklarlig AI

Det finns vissa XAI-tekniker som alla organisationer bör överväga, och de består av tre huvudmetoder: förutsägelse noggrannhet, spårbarhet och beslutsförståelse.

Den första av de tre metoderna, förutsägelse noggrannhet, är avgörande för att framgångsrikt använda AI i dagliga operationer. Simuleringar kan utföras, och XAI-utdata kan jämföras med resultaten i träningsdatamängden, vilket hjälper till att bestämma förutsägelse noggrannhet. En av de mest populära teknikerna för att uppnå detta kallas Lokal tolkbar modell-agnostisk förklaring (LIME), en teknik som förklarar förutsägelsen av klassificerare med maskinlärningsalgoritmen.

Den andra metoden är spårbarhet, som uppnås genom att begränsa hur beslut kan fattas, samt etablera en smalare omfattning för maskinlärningsregler och funktioner. En av de vanligaste spårbarhetsteknikerna är DeepLIFT, eller Deep Learning Important FeaTures. DeepLIFT jämför aktiveringen av varje neuron med dess referensneuron medan den visar en spårbar länk mellan varje aktiverad neuron. Den visar också beroenden mellan dem.

Den tredje och sista metoden är beslutsförståelse, som är människofokuserad, till skillnad från de andra två metoderna. Beslutsförståelse innebär att utbilda organisationen, särskilt teamet som arbetar med AI, för att möjliggöra för dem att förstå hur och varför AI fattar beslut. Denna metod är avgörande för att etablera förtroende för systemet.

Principer för förklarlig AI

För att ge en bättre förståelse för XAI och dess principer, tillhandahåller National Institute of Standards (NIST), som är en del av USA:s handelsdepartement, definitioner för fyra principer för förklarlig AI:

1. Ett AI-system bör ge bevis, stöd eller resonemang för varje utdata.  
2. Ett AI-system bör ge förklaringar som kan förstås av dess användare.  
3. Förklaringen bör återge processen som användes av systemet för att nå sitt utdata.  
4. AI-systemet bör endast fungera under de förhållanden det var utformat för, och det bör inte ge utdata när det saknar tillräcklig förtroende för resultatet.

Dessa principer kan organiseras ytterligare i:

• Meningsfull: För att uppnå principen om meningsfullhet bör en användare förstå förklaringen som tillhandahålls. Detta kan också innebära att i fallet med en AI-algoritm som används av olika typer av användare, kan det finnas flera förklaringar. Till exempel, i fallet med en självkörande bil, kan en förklaring vara i linje med “… AI klassificerade plastpåsen på vägen som en sten och tog därför åtgärder för att undvika att träffa den.” Medan detta exempel skulle fungera för föraren, skulle det inte vara särskilt användbart för en AI-utvecklare som vill korrigera problemet. I det fallet måste utvecklaren förstå varför det fanns en feltolkning.  
• Förklaringsnoggrannhet: Till skillnad från utdata noggrannhet, förklaringsnoggrannhet innebär att AI-algoritmen korrekt förklarar hur den nådde sitt utdata. Till exempel, om en lånegodkännandealgoritm förklarar ett beslut baserat på en ansöknings inkomst när det i själva verket var baserat på sökandens bostadsort, skulle förklaringen vara inkorrekt.  
• Kunskapsgränser: AI-systemets kunskapsgränser kan nås på två sätt, och det innebär att indata ligger utanför systemets expertis. Till exempel, om ett system är byggt för att klassificera fågelarter och det ges en bild av ett äpple, bör det kunna förklara att indata inte är en fågel. Om systemet ges en suddig bild, bör det kunna rapportera att det inte kan identifiera fågeln i bilden, eller alternativt, att dess identifiering har mycket låg förtroendegrad.

Dataens roll i förklarlig AI

En av de viktigaste komponenterna i förklarlig AI är data.

Enligt Google, när det gäller data och förklarlig AI, “är ett AI-system som bäst förstås av den underliggande träningsdata och träningsprocess, samt den resulterande AI-modellen.” Detta förstånd är beroende av förmågan att kartlägga en tränad AI-modell till den exakta datamängd som användes för att träna den, samt förmågan att undersöka data noggrant.

För att förbättra förklarbarheten hos en modell är det viktigt att uppmärksamma träningsdata. Team bör bestämma ursprunget till data som används för att träna en algoritm, lagligheten och etiken kring dess erhållande, eventuell partiskhet i data och vad som kan göras för att mildra eventuell partiskhet.

En annan kritisk aspekt av data och XAI är att data som är irrelevanta för systemet bör uteslutas. För att uppnå detta bör irrelevanta data inte ingå i träningsmängden eller indata.

Google har rekommenderat en uppsättning metoder för att uppnå tolkbarhet och ansvar:

• Planera dina alternativ för att uppnå tolkbarhet
• Behandla tolkbarhet som en kärndel av användarupplevelsen
• Designa modellen för att vara tolkbar
• Välj mått som återspeglar slutmålet och slutuppgiften
• Förstå den tränade modellen
• Kommunicera förklaringar till modellanvändare
• Utför omfattande tester för att säkerställa att AI-systemet fungerar som avsett

Genom att följa dessa rekommenderade metoder kan din organisation säkerställa att den uppnår förklarlig AI, vilket är nyckeln till alla AI-styrda organisationer i dagens miljö.