Vad är Explainable AI?

När artificiell intelligens (AI) blir mer komplex och allmänt antagen i samhället, kan en av de mest kritiska uppsättningarna av processer och metoder förklaras (AI), ibland kallad XAI. 

Förklarlig AI kan definieras som:

• En uppsättning processer och metoder som hjälper mänskliga användare att förstå och lita på resultaten av maskininlärningsalgoritmer. 

Som du kan gissa är denna förklaringsbarhet oerhört viktig eftersom AI-algoritmer tar kontroll över många sektorer, vilket kommer med risk för fördomar, felaktiga algoritmer och andra problem. Genom att uppnå transparens med förklarbarhet kan världen verkligen utnyttja kraften i AI. 

Förklarlig AI, som namnet antyder, hjälper till att beskriva en AI-modell, dess inverkan och potentiella fördomar. Det spelar också en roll för att karakterisera modellens noggrannhet, rättvisa, transparens och resultat i AI-drivna beslutsprocesser. 

Dagens AI-drivna organisationer bör alltid anta förklarande AI-processer för att hjälpa till att bygga förtroende och förtroende för AI-modellerna i produktionen. Förklarlig AI är också nyckeln till att bli ett ansvarsfullt företag i dagens AI-miljö.

Eftersom dagens AI-system är så avancerade, utför människor vanligtvis en beräkningsprocess för att spåra hur algoritmen kom fram till sitt resultat. Denna process blir en "svart låda", vilket betyder att den är omöjlig att förstå. När dessa oförklarliga modeller utvecklas direkt från data kan ingen förstå vad som händer inuti dem. 

Genom att förstå hur AI-system fungerar genom förklarlig AI, kan utvecklare säkerställa att systemet fungerar som det ska. Det kan också hjälpa till att säkerställa att modellen uppfyller regulatoriska standarder, och det ger möjlighet för modellen att utmanas eller förändras. 

Bild: Dr Matt Turek/DARPA

Skillnader mellan AI och XAI

Några viktiga skillnader hjälper till att skilja "vanlig" AI från förklarlig AI, men viktigast av allt, XAI implementerar specifika tekniker och metoder som hjälper till att säkerställa att varje beslut i ML-processen är spårbart och förklaras. Som jämförelse brukar vanlig AI komma fram till sitt resultat med hjälp av en ML-algoritm, men det är omöjligt att helt förstå hur algoritmen kom fram till resultatet. När det gäller vanlig AI är det extremt svårt att kontrollera om det är korrekt, vilket resulterar i förlust av kontroll, ansvarighet och revisionsbarhet. 

Fördelar med Explainable AI 

Det finns många fördelar för alla organisationer som vill anta förklarlig AI, till exempel: 

• Snabbare resultat: Förklarlig AI gör det möjligt för organisationer att systematiskt övervaka och hantera modeller för att optimera affärsresultat. Det är möjligt att kontinuerligt utvärdera och förbättra modellens prestanda och finjustera modellutvecklingen.
  
• Minska risker: Genom att använda förklarande AI-processer säkerställer du att dina AI-modeller är förklarliga och transparenta. Du kan hantera regelverk, efterlevnad, risker och andra krav samtidigt som du minimerar omkostnaderna för manuell inspektion. Allt detta bidrar också till att minska risken för oavsiktlig partiskhet. 
• Bygg förtroende: Förklarlig AI hjälper till att skapa förtroende för produktions-AI. AI-modeller kan snabbt sättas i produktion, du kan säkerställa tolkningsbarhet och förklarabarhet, och modellutvärderingsprocessen kan förenklas och göras mer transparent. 

Tekniker för förklarlig AI

Det finns några XAI-tekniker som alla organisationer bör överväga, och de består av tre huvudmetoder: prediktionsnoggrannhet, spårbarhetoch beslutsförståelse. 

Den första av de tre metoderna, prediktionsnoggrannhet, är avgörande för att framgångsrikt kunna använda AI i daglig verksamhet. Simuleringar kan utföras och XAI-utdata kan jämföras med resultaten i träningsdatauppsättningen, vilket hjälper till att bestämma prediktionsnoggrannheten. En av de mer populära teknikerna för att uppnå detta kallas Local Interpretable Model-Agnostic Explanations (LIME), en teknik som förklarar förutsägelsen av klassificerare av maskininlärningsalgoritmen. 

Den andra metoden är spårbarhet, vilket uppnås genom att begränsa hur beslut kan fattas, samt att skapa ett snävare utrymme för regler och funktioner för maskininlärning. En av de vanligaste spårbarhetsteknikerna är DeepLIFT, eller Deep Learning Important FeaTures. DeepLIFT jämför aktiveringen av varje neuron med dess referensneuron samtidigt som den visar en spårbar länk mellan varje aktiverad neuron. Det visar också beroenden mellan dem. 

Den tredje och sista metoden är beslutsförståelse, som är människofokuserad, till skillnad från de andra två metoderna. Beslutsförståelse innebär att utbilda organisationen, särskilt teamet som arbetar med AI:n, för att göra det möjligt för dem att förstå hur och varför AI:n fattar beslut. Denna metod är avgörande för att skapa förtroende för systemet. 

Förklarliga AI-principer

För att ge en bättre förståelse för XAI och dess principer, tillhandahåller National Institute of Standards (NIST), som är en del av det amerikanska handelsdepartementet, definitioner för fyra principer för förklarlig AI: 

1. Ett AI-system bör ge bevis, stöd eller resonemang för varje utdata. 
2. Ett AI-system bör ge förklaringar som kan förstås av dess användare. 
3. Förklaringen bör korrekt återspegla den process som används av systemet för att komma fram till dess resultat. 
4. AI-systemet bör endast fungera under de förhållanden som det är designat för, och det bör inte ge utdata när det saknar tillräckligt förtroende för resultatet. 

Dessa principer kan organiseras ännu längre i: 

• Meningsfull: För att uppnå principen om meningsfullhet bör en användare förstå förklaringen som tillhandahålls. Detta kan också innebära att i fallet med en AI-algoritm som används av olika typer av användare, kan det finnas flera förklaringar. Till exempel, i fallet med en självkörande bil, kan en förklaring vara i stil med..."AI:n kategoriserade plastpåsen i vägen som en sten och vidtog därför åtgärder för att undvika att träffa den." Även om det här exemplet skulle fungera för föraren, skulle det inte vara särskilt användbart för en AI-utvecklare som vill åtgärda problemet. I så fall måste utvecklaren förstå varför det skett en felklassificering. 
• Förklaring noggrannhet: Till skillnad från utdatanoggrannhet involverar förklaringsnoggrannhet att AI-algoritmen exakt förklarar hur den nådde sin utdata. Till exempel, om en algoritm för godkännande av lån förklarar ett beslut baserat på en ansökans inkomst när det i själva verket var baserat på den sökandes bostadsort, skulle förklaringen vara felaktig. 
• Kunskapsgränser: AI:s kunskapsgränser kan nås på två sätt, och det innebär att input ligger utanför systemets expertis. Till exempel, om ett system är byggt för att klassificera fågelarter och det ges en bild av ett äpple, bör det kunna förklara att ingången inte är en fågel. Om systemet får en suddig bild bör det kunna rapportera att det inte kan identifiera fågeln på bilden, alternativt att dess identifiering har mycket låg tillförsikt. 

Datas roll i Explainable AI

En av de viktigaste komponenterna i förklarlig AI är data. 

Enligt Google, angående data och förklarlig AI, "ett AI-system förstås bäst av den underliggande träningsdatan och träningsprocessen, såväl som den resulterande AI-modellen." Denna förståelse är beroende av förmågan att kartlägga en tränad AI-modell till den exakta datamängden som används för att träna den, såväl som förmågan att undersöka data noggrant. 

För att öka förklaringsbarheten för en modell är det viktigt att vara uppmärksam på träningsdata. Teamen bör bestämma ursprunget för den data som används för att träna en algoritm, lagligheten och etiken kring dess erhållande, eventuella fördomar i data och vad som kan göras för att mildra eventuella fördomar. 

En annan kritisk aspekt av data och XAI är att data som är irrelevanta för systemet bör uteslutas. För att uppnå detta får de irrelevanta uppgifterna inte ingå i träningsuppsättningen eller indata. 

Google har rekommenderat en uppsättning metoder för att uppnå tolkningsbarhet och ansvarsskyldighet: 

• Planera dina alternativ för att sträva efter tolkningsbarhet
• Behandla tolkningsbarhet som en central del av användarupplevelsen
• Designa modellen så att den är tolkbar
• Välj mätvärden för att återspegla slutmålet och slutuppgiften
• Förstå den tränade modellen
• Kommunicera förklaringar till modellanvändare
• Utför en hel del tester för att säkerställa att AI-systemet fungerar som det är tänkt 

Genom att följa dessa rekommenderade metoder kan din organisation säkerställa att den uppnår förklarande AI, vilket är nyckeln till alla AI-drivna organisationer i dagens miljö.