Hva er forklarbar AI?

Ettersom kunstig intelligens (AI) blir mer kompleks og utbredt i samfunnet, er en av de viktigste prosessene og metodene forklarbar AI (XAI).

Forklarbar AI kan defineres som:

• En samling prosesser og metoder som hjelper menneskelige brukere å forstå og stole på resultater fra maskinlæringsalgoritmer.

Som du kan gjette, er denne forklarbarheten utrolig viktig når AI-algoritmer tar kontroll over mange sektorer, som kommer med risiko for bias, feilaktige algoritmer og andre problemer. Ved å oppnå transparens med forklarbarhet, kan verden virkelig utnytte kraften til AI.

Forklarbar AI, som navnet antyder, hjelper med å beskrive en AI-modell, dens påvirkning og potensielle bias. Det spiller også en rolle i å karakterisere modellnøyaktighet, rettferdighet, transparens og resultater i AI-drevne beslutningsprosesser.

I dag bør AI-drevne organisasjoner alltid adoptere forklarbar AI-prosesser for å bygge tillit og tillit til AI-modellene i produksjon. Forklarbar AI er også nøkkel til å bli en ansvarlig selskap i dagens AI-miljø.

Fordi dagens AI-systemer er så avanserte, gjør mennesker vanligvis en beregningsprosess for å spore hvordan algoritmen kom frem til sitt resultat. Denne prosessen blir en “svart boks”, som betyr at det er umulig å forstå. Når disse uforklarlige modellene utvikles direkte fra data, kan ingen forstå hva som skjer inne i dem.

Ved å forstå hvordan AI-systemer opererer gjennom forklarbar AI, kan utviklere sikre at systemet fungerer som det skal. Det kan også hjelpe med å sikre at modellen møter regulatoriske standarder, og det gir mulighet for at modellen kan utfordres eller endres.

Bilde: Dr. Matt Turek/DARPA

Forskjeller mellom AI og XAI

Noen nøkkel forskjeller hjelper med å skille “vanlig” AI fra forklarbar AI, men viktigst, XAI implementerer spesifikke teknikker og metoder som hjelper med å sikre at hver beslutning i ML-prosessen er sporable og forklarlig. I sammenligning, vanlig AI kommer vanligvis frem til sitt resultat ved hjelp av en ML-algoritme, men det er umulig å fullstendig forstå hvordan algoritmen kom frem til resultatet. I tilfelle vanlig AI, er det ekstremt vanskelig å sjekke nøyaktighet, noe som resulterer i en tap av kontroll, ansvar og revisjon.

Fordelene med forklarbar AI

Det er mange fordeler for enhver organisasjon som ønsker å adoptere forklarbar AI, som:

• Raskere resultater: Forklarbar AI muliggjør at organisasjoner systematisk overvåker og styre modeller for å optimalisere forretningsresultater. Det er mulig å kontinuerlig evaluere og forbedre modellprestasjon og finjustere modellutvikling.
• Mindre risiko: Ved å adoptere forklarbar AI-prosesser, sikrer du at dine AI-modeller er forklarbare og transparente. Du kan håndtere regulatoriske, etterlevelse, risiko og andre krav samtidig som du minimiserer overhead ved manuell inspeksjon. Dette hjelper også med å minimere risikoen for uforutsett bias.
• Bygge tillit: Forklarbar AI hjelper med å etablere tillit i produksjons-AI. AI-modeller kan raskt bringes til produksjon, du kan sikre tolkbarhet og forklarbarhet, og modell-evalueringen kan forenkles og gjøres mer transparent.

Teknikker for forklarbar AI

Det finnes noen XAI-teknikker som alle organisasjoner bør vurdere, og de består av tre hovedmetoder: prediksjonsnøyaktighet , sporing , og beslutningsforståelse .

Den første av de tre metodene, prediksjonsnøyaktighet , er essensiell for å bruke AI i daglige operasjoner. Simuleringer kan utføres, og XAI-utdata kan sammenlignes med resultater i treningsdatsettet, noe som hjelper med å bestemme prediksjonsnøyaktighet. En av de mer populære teknikker for å oppnå dette er kalt Local Interpretable Model-Agnostic Explanations (LIME), en teknikk som forklarer klassifiseringen av klassifiseringsalgoritmer ved hjelp av maskinlæringsalgoritmer.

Den andre metoden er sporing , som oppnås ved å begrense hvordan beslutninger kan tas, samt etablere en smalere omfang for maskinlæringsregler og funksjoner. En av de vanligste sporingsmetodene er DeepLIFT, eller Deep Learning Important FeaTures. DeepLIFT sammenligner aktiveringen av hver neuron med dens referanse-neuron mens den demonstrerer en sporbar kobling mellom hver aktivert neuron. Den viser også avhengighetene mellom dem.

Den tredje og siste metoden er beslutningsforståelse , som er menneskefokusert, i motsetning til de to andre metodene. Beslutningsforståelse innebærer å utdanne organisasjonen, spesielt teamet som arbeider med AI, for å kunne forstå hvordan og hvorfor AI tar beslutninger. Denne metoden er avgjørende for å etablere tillit i systemet.

Prinsipper for forklarbar AI

For å gi en bedre forståelse av XAI og dens prinsipper, gir National Institute of Standards (NIST), som er en del av det amerikanske handelsdepartementet, definisjoner for fire prinsipper for forklarbar AI:

1. Et AI-system bør gi bevis, støtte eller begrunnelse for hver utdata.
2. Et AI-system bør gi forklaringer som kan forstås av sine brukere.
3. Forklaringen bør nøyaktig reflektere prosessen som systemet bruker for å komme frem til sin utdata.
4. AI-systemet bør bare operere under betingelsene det er designet for, og det bør ikke gi utdata når det mangler tilstrekkelig tillit til resultatet.

Disse prinsippene kan organisere seg videre i:

• Meningfull: For å oppnå prinsippet om meningfullhet, bør en bruker forstå forklaringen som er gitt. Dette kan også bety at i tilfelle en AI-algoritme brukes av forskjellige typer brukere, kan det være flere forklaringer. For eksempel, i tilfelle en selvstyrt bil, kan en forklaring være “AI klassifiserte plastposen på veien som en stein, og tok derfor handling for å unngå å treffe den.” Mens dette eksemplet ville fungere for sjåføren, ville det ikke være veldig nyttig for en AI-utvikler som ønsker å korrigere problemet. I det tilfelle må utvikleren forstå hvorfor det var en mis klassifisering.
• Forklaringens nøyaktighet: I motsetning til utdata-nøyaktighet, innebærer forklaringens nøyaktighet at AI-algoritmen nøyaktig forklarer hvordan den kom frem til sin utdata. For eksempel, hvis en lånegodkjenning-algoritme forklarer en beslutning basert på en søknads inntekt når det i virkeligheten var basert på søkerens bosted, ville forklaringen være uakkurat.
• Kunnskapsbegrensninger: AI-systemets kunnskapsbegrensninger kan nås på to måter, og det involverer inndata som er utenfor systemets ekspertise. For eksempel, hvis et system er bygget for å klassifisere fuglearter og det får en bilde av et eple, bør det være i stand til å forklare at inndata ikke er en fugl. Hvis systemet får et uklart bilde, bør det være i stand til å rapportere at det ikke kan identifisere fuglen i bildet, eller alternativt, at dens identifikasjon har svært lav tillit.

Dataens rolle i forklarbar AI

En av de viktigste komponentene i forklarbar AI er data.

Ifølge Google (GOOGL ) , når det gjelder data og forklarbar AI, “er et AI-system best forstått av den underliggende treningsdata og treningsprosessen, samt den resulterende AI-modellen.” Dette forståelsen er avhengig av evnen til å kartlegge en trenings-AI-modell til det eksakte datsettet som ble brukt til å trene det, samt evnen til å undersøke dataene nærmere.

For å forbedre forklarbarheten til en modell, er det viktig å legge merke til treningsdata. Team bør bestemme opphavet til dataene som ble brukt til å trene en algoritme, lovligheten og etikken rundt innhenting, eventuell bias i dataene og hva som kan gjøres for å minimere eventuell bias.

En annen kritisk aspekt av data og XAI er at data som er irrelevant for systemet bør ekskluderes. For å oppnå dette, bør irrelevante data ikke inkluderes i treningssettet eller inndata.

Google har anbefalt en rekke praksiser for å oppnå tolkbarhet og ansvar:

• Planlegg dine alternativer for å fremme tolkbarhet
• Behandle tolkbarhet som en integrert del av brukeropplevelsen
• Design modellen for å være tolkbar
• Velg målinger som reflekterer sluttmålet og sluttoppgaven
• Forstå den trenede modellen
• Kommuniser forklaringer til modellbrukere
• Utfør en rekke tester for å sikre at AI-systemet fungerer som det er ment

Ved å følge disse anbefalte praksisene, kan din organisasjon sikre at den oppnår forklarbar AI, som er nøkkel til enhver AI-drevet organisasjon i dagens miljø.