Hur förklarbar AI förbättrar tillförlitlighet och tillit

Medan artificiell intelligens (AI) demokratiseras över företag, integreras den långsamt i vår existens. En viktig aspekt av denna demokratisering är att slutanvändarna ska kunna förstå fullständigt processen och mekanismerna som AI använder för att nå en slutsats eller hur det fungerar för att leverera önskade resultat. Som människor har vi ett djupt rotat behov av att avslöja “varför” och “hur” med något fenomen, vilket har accelererat vår tekniska utveckling. I AI-sammanhang kallas denna förståelse “förklarbarhet.”

Varför är förklarbarhet behovet av timmen?

Mer än oftast närmar vi oss AI som en “svart låda”, där vi bara har kunskap om indata och utdata, men någonstans förlorar vi de processer som används. Detta problem förvärras av det faktum att algoritmerna som driver de flesta former av AI, som komplexa djupinlärningsbaserade förutsägelsesystem och naturligt språkbehandling (NLP), är mycket abstrakta även för deras mest erfarna utövare.

Förtroende och transparens: För att användare ska lita på AI:s förutsägelser måste det ha en viss grad av förklarbarhet inbyggt. Till exempel, om en läkare måste rekommendera en behandling baserat på AI:s förutsägelser, måste han eller hon vara säker på förutsägelsen. En bank måste ha fullständigt förtroende för beslutet att avvisa eller godkänna ett lån och kunna motivera det för alla intressenter. AI som används för urval och anställning måste visa att de underliggande mekanismerna är rättvisa och jämlika för alla grupper av sökande.

Gör AI mer mänskligt och ökar antagandet: I McKinseys rapport “The state of AI in 2020” lär vi oss att en tillverkare använder extremt transparenta modeller för att accepteras av deras fabriksarbetare, som måste lita på de bedömningar som görs av AI när det gäller deras säkerhet. För en snabb antagning av AI är det viktigt att få med sig intressenterna, vilket är det största hindret för att skala från enkla punktlösningar till företagsnivå och få ut det mesta av investeringen. Detta underlättas till stor del om prestationen är förklarbar för en större publik. Ur ett affärsperspektiv förbättrar förklarbarhet den övergripande användarupplevelsen och ökar kundtillfredsställelsen. Enligt en undersökning från IBM Institute for Business Value tror 68 procent av toppcheferna att kunderna kommer att kräva mer förklarbarhet från AI under de närmaste tre åren.

Avslöja fördomar och förbättra modellprestanda: En utvecklare behöver veta hur han eller hon kan förbättra modellens prestanda och hur man felsöker och finjusterar den. En tydlig förklarbarhetsram är ett av de viktigaste verktygen för att genomföra den grundliga analys som behövs.

Få skarpare, mer omfattande insikter: En fullständig 360-graders vy behövs för att fullständigt förstå alla recept som ges av AI. Till exempel, om AI används för att fatta ett investeringsbeslut, behöver man också veta resonemanget bakom det, så att man kan överföra den här kunskapen till andra områden och också förstå de potentiella fallgroparna med att fatta det beslutet. En stark förståelse för hur AI fungerar kommer också att möjliggöra för beslutsfattare att avslöja nya användningsområden.

Regler och ansvar: Flera regler som GDPR kräver en rätt till förklaring för att hantera ansvarsfrågor som uppstår från ett automatiserat beslutsfattande process. I system som autonoma fordon, om något går fel och leder till förlust av liv och egendom, behövs korrekt kunskap om roten till problemet, vilket kommer att vara svårt att fastställa i ett svart-låda-system.

Hur kan AI vara mer förklarbart?

Förklarbara artificiella intelligenssystem (XAI) utvecklas med hjälp av olika tekniker som fokuserar antingen på att förklara modellen som helhet eller förklara resonemanget bakom enskilda förutsägelser med hjälp av någon algoritm.

De flesta förklarbarhetstekniker förlitar sig på:

• Att dela upp en modell i enskilda komponenter)
• Visualisering av modellförutsägelser (t.ex. om en modell klassificerar en bil som en viss märke, markerar den den del som orsakade att den flaggades som sådan)
• Förklaringsgruvbrytning (användning av maskinlärningstekniker för att hitta relevant data som förklarar förutsägelsen av en artificiell intelligensalgoritm).

I en sådan teknik som kallas proxy-modellering används en enklare och mer begriplig modell, som ett besluts-träd, för att approximativt representera den mer omfattande AI-modellen. Dessa enkla förklaringar ger en rimlig idé om modellen på en hög nivå, men kan ibland dölja vissa nyanser.

En annan metod kallas “tolkbarhet vid design”. Denna metod lägger begränsningar i designen och utbildningen av AI-nätverket på ett nytt sätt, som försöker bygga upp det övergripande nätverket från mindre och enklare förklarbara delar. Detta innebär en avvägning mellan nivån av noggrannhet och förklarbarhet, och begränsar vissa tillvägagångssätt från datavetarens verktygslåda. Det kan också vara mycket beräkningskrävande.

AI-utbildning och testning kan också använda agnostiska data-verifieringstekniker som lokal tolkbar modell (LIME) och Shapley Additive förklaringar (SHAP), och dessa bör anpassas för att uppnå hög noggrannhet med hjälp av F-poäng, precision och andra mått. Och, naturligtvis, alla resultat bör övervakas och verifieras med hjälp av en stor mängd data. Med hjälp av LIME kan organisationer skapa tillfälliga modeller som imiterar förutsägelserna från icke-transparenta algoritmer som maskinlärning. Dessa LIME-modeller kan sedan skapa en stor mängd permutationer baserat på en given datamängd och dess motsvarande utdata, som sedan kan användas för att träna enkla och mer tolkningsbara modeller tillsammans med fullständiga listor med förklaringar för varje beslut och/eller förutsägelse. SHAP-ramverket, som har sina rötter i speleteori och specifikt i kooperativ speleteori, är en modell som kombinerar optimal kreditfördelning med lokala förklaringar med hjälp av de ursprungliga Shapley-värdena från speleteori och dess avkomma.

Principiella operationer

På en mer strategisk nivå bör dock AI-tillförlitlighetsramverk omfatta en bred uppsättning principer som syftar till att säkerställa korrekta resultat både vid distributionens början och över tid, allteftersom modeller utvecklas i närvaro av förändrade omständigheter. Som minimum bör dessa ramverk inkludera saker som:

• Fördomsdetektering – alla datamängder bör rensas från fördomar och diskriminerande attribut och sedan ges rätt vikt och diskretion när de tillämpas på utbildningsmodellen;
• Mänskligt engagemang – operatörer bör kunna undersöka och tolka algoritmiska utdata vid alla tillfällen, särskilt när modeller används för lagföring och bevarande av medborgerliga friheter;
• Motivering – alla förutsägelser måste kunna motstå granskning, vilket av naturen kräver en hög grad av transparens för att tillåta yttre iakttagare att bedöma processerna och kriterierna som används för att producera resultaten;
• Reproducerbarhet – tillförlitliga AI-modeller måste vara konsekventa i sina förutsägelser och måste visa höga nivåer av stabilitet när de möter ny data.

Men XAI bör inte bara ses som ett sätt att förbättra lönsamheten, utan också för att införa ansvar för att säkerställa att institutioner kan förklara och motivera effekten av sina skapelser på samhället som helhet.