Tankeledare

Hur förklarbar AI förbättrar tillförlitlighet och tillit

Balakrishna D R
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterFörklarbarhet är avgörande för användarnas förtroende för AI med höga insatser, som…
Visa mer
  • Förklarbarhet är avgörande för användarnas förtroende för AI med höga insatser, som medicinska beslut och lånebeslut.
  • Regleringar som GDPR kräver en rätt till förklaring för ansvarsskyldighet vid automatiserat beslutsfattande.
  • Tekniker som LIME och SHAP skapar enklare modeller för att tolka komplexa AI-förutsägelser.

Medan artificiell intelligens (AI) demokratiseras över företag, integreras den långsamt i vår existens. En viktig aspekt av denna demokratisering är att slutanvändarna ska kunna förstå fullständigt processen och mekanismerna som AI använder för att nå en slutsats eller hur det fungerar för att leverera önskade resultat. Som människor har vi ett djupt rotat behov av att avslöja “varför” och “hur” med något fenomen, vilket har accelererat vår tekniska utveckling. I AI-sammanhang kallas denna förståelse “förklarbarhet.”

Varför behövs förklarbarhet just nu?

Ofta närmar vi oss AI som en “svart låda”, där vi bara har kunskap om indata och utdata, men någonstans förlorar vi de processer som används. Detta problem förvärras av det faktum att algoritmerna som driver de flesta former av AI, som komplexa djupinlärningsbaserade förutsägelsesystem och bearbetning av naturligt språk (NLP), är mycket abstrakta även för deras mest erfarna utövare.

Förtroende och transparens: För att användare ska lita på AI:s förutsägelser måste det ha en viss grad av förklarbarhet inbyggt. Till exempel, om en läkare måste rekommendera en behandling baserat på AI:s förutsägelser, måste han eller hon vara säker på förutsägelsen. En bank måste ha fullständigt förtroende för beslutet att avvisa eller godkänna ett lån och kunna motivera det för alla intressenter. AI som används för urval och anställning måste visa att de underliggande mekanismerna är rättvisa och jämlika för alla grupper av sökande.

Gör AI mer mänsklig och ökar användningen: I McKinseys rapport The state of AI in 2020 lär vi oss att en tillverkare använder extremt transparenta modeller för att accepteras av deras fabriksarbetare, som måste lita på de bedömningar som görs av AI när det gäller deras säkerhet. För ett snabbt införande av AI är det viktigt att få med sig intressenterna, vilket är det största hindret för att skala från enkla punktlösningar till företagsnivå och få ut det mesta av investeringen. Detta underlättas till stor del om prestationen är förklarbar för en större publik. Ur ett affärsperspektiv förbättrar förklarbarhet den övergripande användarupplevelsen och ökar kundtillfredsställelsen. Enligt en undersökning från IBM Institute for Business Value tror 68 procent av toppcheferna att kunderna kommer att kräva mer förklarbarhet från AI under de närmaste tre åren.

Avslöja fördomar och förbättra modellprestanda: En utvecklare behöver veta hur han eller hon kan förbättra modellens prestanda och hur man felsöker och finjusterar den. En tydlig förklarbarhetsram är ett av de viktigaste verktygen för att genomföra den grundliga analys som behövs.

Få skarpare, mer omfattande insikter: En fullständig 360-graders vy behövs för att fullständigt förstå alla rekommendationer som ges av AI. Till exempel, om AI används för att fatta ett investeringsbeslut, behöver man också veta resonemanget bakom det, så att man kan överföra den här kunskapen till andra områden och också förstå de potentiella fallgroparna med att fatta det beslutet. En stark förståelse för hur AI fungerar kommer också att möjliggöra för beslutsfattare att avslöja nya användningsområden.

Regler och ansvar: Flera regler som GDPR kräver en rätt till förklaring för att hantera ansvarsfrågor som uppstår från ett automatiserat beslutsfattande process. I system som autonoma fordon, om något går fel och leder till förlust av liv och egendom, behövs korrekt kunskap om roten till problemet, vilket kommer att vara svårt att fastställa i ett svart-låda-system.

Hur kan AI vara mer förklarbart?

Förklarbara artificiella intelligenssystem (XAI) utvecklas med hjälp av olika tekniker som fokuserar antingen på att förklara modellen som helhet eller förklara resonemanget bakom enskilda förutsägelser med hjälp av någon algoritm.

De flesta förklarbarhetstekniker förlitar sig på:

  • Att dela upp en modell i enskilda komponenter)
  • Visualisering av modellförutsägelser (t.ex. om en modell klassificerar en bil som ett visst märke, markerar den den del som orsakade att den flaggades som sådan)
  • Utvinning av förklaringar (användning av maskinlärningstekniker för att hitta relevant data som förklarar förutsägelsen av en artificiell intelligensalgoritm).

I en sådan teknik som kallas proxy-modellering används en enklare och mer begriplig modell, som ett beslutsträd, för att approximativt representera den mer omfattande AI-modellen. Dessa enkla förklaringar ger en rimlig idé om modellen på en hög nivå, men kan ibland dölja vissa nyanser.

En annan metod kallas “tolkbarhet vid design”. Denna metod lägger begränsningar i designen och utbildningen av AI-nätverket på ett nytt sätt, som försöker bygga upp det övergripande nätverket från mindre och enklare förklarbara delar. Detta innebär en avvägning mellan nivån av noggrannhet och förklarbarhet, och begränsar vissa tillvägagångssätt från datavetarens verktygslåda. Det kan också vara mycket beräkningskrävande.

AI-utbildning och testning kan också använda agnostiska data-verifieringstekniker som lokal tolkbar modell (LIME) och Shapley Additive förklaringar (SHAP), och dessa bör anpassas för att uppnå hög noggrannhet med hjälp av F-poäng, precision och andra mått. Och, naturligtvis, alla resultat bör övervakas och verifieras med hjälp av en stor mängd data. Med hjälp av LIME kan organisationer skapa tillfälliga modeller som imiterar förutsägelserna från icke-transparenta algoritmer som maskinlärning. Dessa LIME-modeller kan sedan skapa en stor mängd permutationer baserat på en given datamängd och dess motsvarande utdata, som sedan kan användas för att träna enkla och mer tolkningsbara modeller tillsammans med fullständiga listor med förklaringar för varje beslut och/eller förutsägelse. SHAP-ramverket, som har sina rötter i spelteori och specifikt i kooperativ spelteori, är en modell som kombinerar optimal fördelning av bidrag till resultatet med lokala förklaringar med hjälp av de ursprungliga Shapley-värdena från spelteori och deras vidareutvecklingar.

Principbaserad verksamhet

På en mer strategisk nivå bör dock AI-tillförlitlighetsramverk omfatta en bred uppsättning principer som syftar till att säkerställa korrekta resultat både vid driftsättningens början och över tid, allteftersom modeller utvecklas i närvaro av förändrade omständigheter. Som minimum bör dessa ramverk inkludera saker som:

  • Fördomsdetektering – alla datamängder bör rensas från fördomar och diskriminerande attribut och sedan ges rätt vikt och användas med omdöme när de tillämpas på utbildningsmodellen;
  • Mänskligt engagemang – operatörer bör kunna undersöka och tolka algoritmiska utdata vid alla tillfällen, särskilt när modeller används för lagföring och bevarande av medborgerliga friheter;
  • Motivering – alla förutsägelser måste kunna motstå granskning, vilket av naturen kräver en hög grad av transparens för att tillåta yttre iakttagare att bedöma processerna och kriterierna som används för att producera resultaten;
  • Reproducerbarhet – tillförlitliga AI-modeller måste vara konsekventa i sina förutsägelser och måste visa höga nivåer av stabilitet när de möter ny data.

Men XAI bör inte bara ses som ett sätt att förbättra lönsamheten, utan också för att införa ansvar för att säkerställa att institutioner kan förklara och motivera effekten av sina skapelser på samhället som helhet.

Balakrishna, populärt känd som Bali D.R., är chef för AI och automation på Infosys där han driver både intern automation för Infosys och tillhandahåller oberoende automationstjänster med hjälp av produkter för kunder. Bali har varit hos Infosys i mer än 25 år och har haft försäljnings-, programlednings- och leveransroller över olika geografiska områden och branschvertikaler.