Hvordan forklarbar AI øker pålitelighet og tillit

Mens kunstig intelligens (AI) demokratiseres over bedrifter, blir det langsomt en del av vår eksistens. En viktig del av denne demokratiseringen er at sluttbrukerne må kunne forstå fullstendig prosessen og mekanismene som AI bruker for å nå en konklusjon eller hvordan det opererer for å levere ønskede resultater. Som mennesker har vi en dypt rotfestet behov for å avdekke “hvorfor” og “hvordan” av enhver fenomen, som har akselerert vår teknologiske fremgang. I sammenheng med AI kalles denne forståelsen “forklarbarhet.”

Hvorfor er forklarbarhet behovet i denne timen?

Ofte nærmer vi oss AI som en “svart boks”, der vi bare har kunnskap om inndata og utdata, men noen steder er prosessene som brukes tapt for oss. Dette problemet forverres av det faktum at algoritmene som driver de fleste populære former for AI, som komplekse dyptelæring-baserte prediksjonsystemer og naturlig språkbehandling (NLP), er svært abstrakte, selv for de mest erfarne praktikerne.

Tillit og gjennomsiktighet: For at brukerne skal stole på AI-prediksjonene, må det ha en viss grad av forklarbarhet innebygget. For eksempel, hvis en lege må anbefale en behandling basert på AI-prediksjoner, må han/hun være trygg på prediksjonen. En bank må ha full tillit til å avvise eller godkjenne et lån og være i stand til å forklare og rettferdiggjøre beslutningen for alle interessenter. Et AI-system brukt til skjerming og rekruttering må bevise at de underliggende mekanismene er rettferdige og likeverdige for alle søkere.

Gjør AI mer menneskelig og øker adopsjonen: I McKinseys rapport “The state of AI in 2020” lærer vi at en produsent bruker ekstremt gjennomsiktige modeller for å godta fabrikkarbeidere, som må stole på AI-dømmene når det gjelder deres sikkerhet. For en rask adopsjon av AI, å få med seg interessentene, er det største hindret for å skalerer fra enkle punktløsninger til bedriftsnivå og få mest mulig ut av investeringen. Dette lettet i stor grad hvis ytelsen er forklarbar for et større publikum. Fra et bedriftsperspektiv øker forklarbarhet den totale brukeropplevelsen og øker kundetilfredsheten. Ifølge en undersøkelse fra IBM Institute for Business Value mener 68 prosent av topplederne at kundene vil kreve mer forklarbarhet fra AI de neste tre årene.

Avgjør fordommer og forbedrer modellprestasjonen: En utvikler må vite hvordan han/hun kan forbedre modellprestasjonen og hvordan han/hun kan feilsøke og finjustere den. En tydelig forklarbarhetsramme er ett av de viktigste verktøyene for å utføre den grundige analysen som er nødvendig.

Få skarpe, rundete innblikk: En fullstendig 360-graders visning er nødvendig for å fullstendig forstå noen resepter som AI gir. For eksempel, hvis AI brukes til å fatte en investeringsbeslutning, må man også vite grunnene bak den, så man kan overføre denne læringen til andre områder og også forstå de potensielle fallgruvene ved å fatte den beslutningen. En god forståelse av hvordan AI opererer, vil også gjøre det mulig for beslutningstakere å avdekke nye bruksområder.

Reguleringer og ansvar: Flere reguleringer som GDPR krever en rett til forklaring for å håndtere ansvarsspørsmålene som oppstår fra en automatisert beslutningsprosess. I systemer som autonome kjøretøy, hvis noe går galt og fører til tap av liv og eiendom, er det nødvendig å ha kunnskap om årsaken, som vil være vanskelig å fastslå i et svart-boks-system.

Hvordan kan AI være mer forklarbar?

Forklarbare kunstig intelligenssystemer (XAI) utvikles ved hjelp av ulike teknikker som fokuserer på å forklare modellen som en helhet eller å forklare grunnene bak enkeltige prediksjoner gjennom hjelp av algoritmer.

De fleste forklarbarhetsteknikkene er avhengige av:

• Oppdeling av en modell i enkeltkomponenter)
• Visualisering av modellprediksjoner (for eksempel hvis en modell klassifiserer en bil som en bestemt merke, markerer den delen som førte til at den ble flagget som sådan)
• Forklaringsmining (bruk av maskinlæringsteknikker for å finne relevante data som forklarer prediksjonen av en kunstig intelligensalgoritme).

I en slik teknikk kalt proxy-modellering, brukes en enklere og mer forståelig modell, som en beslutningstre, for å omtrentlig representere den mer omfattende AI-modellen. Disse enkle forklaringer gir en rettferdig idé om modellen på et høyt nivå, men kan noen ganger undertrykke visse nyanser.

En annen tilnærming kalles “forklarbarhet ved design” Denne tilnærmingen setter begrensninger i design og trening av AI-nettverket på en ny måte, som forsøker å bygge hele nettverket fra mindre og enklere forklarbare deler . Dette innebærer en avveining mellom nivået av nøyaktighet med forklarbarhet og begrensninger visse tilnærminger fra data scientistens verktøykasse. Det kan også være svært datatungt.

AI-trening og testing kan også bruke agnostiske data-verifiseringsteknikker som lokale tolkningmodeller (LIME) og Shapley Additive forklaringer (SHAP), og disse bør være tilpasset for å oppnå høy nøyaktighet ved hjelp av F-score, presisjon og andre målinger. Og, naturligvis, alle resultater bør overvåkes og verifiseres ved hjelp av en stor variasjon av data. Ved hjelp av LIME, for eksempel, kan organisasjoner lage midlertidige modeller som etterligner prediksjonene av ikke-gjennomsiktige algoritmer som maskinlæring. Disse LIME-modellene kan deretter lage en rekke variasjoner basert på en gitt datamengde og dens tilhørende utdata, som kan brukes til å trene enkle og mer tolkningbare modeller sammen med fullstendige lister over forklaringer for hver beslutning og/eller prediksjon. SHAP-rammen, som har sine røtter i spillteori og spesielt kooperativ spillteori, er en modell som kombinerer optimal kreditfordeling med lokale forklaringer ved hjelp av de opprinnelige Shapley-verdiene fra spillteori og deres etterkommere.

Prinsipielle operasjoner

På et mer strategisk nivå bør AI-pålitelighetsrammeverk omfatte en bred rekke prinsipper som sikrer riktige resultater både ved utgangspunktet for distribusjon og over tid, mens modellene utvikler seg i møte med endrede omstendigheter. Som minimum bør disse rammeverkene omfatte ting som:

• Fordomsdeteksjon – alle datamengder bør renses for fordommer og diskriminerende attributter og deretter gis riktig vekt og skjønn når de brukes i treningsmodellen;
• Menneskelig involvering – operatører bør kunne undersøke og tolke algoritmeutdata til enhver tid, spesielt når modeller brukes i lovverket og for å bevare borgerlige friheter;
• Rettsferdiggjøring – alle prediksjoner må kunne motstå skarpe øyne, noe som naturligvis krever en høy grad av gjennomsiktighet for å tillate eksterne observatører å vurdere prosessene og kriteriene som brukes til å produsere resultater;
• Reproduserbarhet – pålitelige AI-modeller må være konsistente i sine prediksjoner og må vise høye nivåer av stabilitet når de møter nye data.

Men XAI bør ikke bare sees på som et middel til å forbedre lønnsomheten, men også til å bringe inn ansvar for å sikre at institusjoner kan forklare og rettferdiggjøre effekten av sine skaperverk på samfunnet som helhet.