Forklarbarhet: Det neste frontfeltet for kunstig intelligens i forsikring og bank

Av Dr. Ori Katz, Analytisk forskningsvitenskapelig, Earnix.

«Enhver tilstrekkelig avansert teknologi er ikke å skille fra magi», argumenterte science fiction-forfatteren Arthur C. Clarke. I virkeligheten kan avansert teknologi, som nye maskinlæringsalgoritmer, ligne magi. Utviklingen av maskinlæring, inkludert bildeklassifisering, talegjenkjenning og bruken i forsikrings- og banknæringen, har tilsynelatende overnaturlige egenskaper.

Mange selskaper er skeptiske til å endre sine tradisjonelle analytiske modeller – og rettferdigvis. Magi er farlig, spesielt hvis den ikke er godt forstått. Nevralt nettverk og tre-ensemble-algoritmer er «svarte bokser», deres indre struktur kan være ekstremt kompleks. Samtidig har flere studier [1] vist hvordan nevralt nettverk og tre-baserte algoritmer kan overgå selv de mest nøye justerte tradisjonelle forsikringsrisikomodeller konstruert av erfarne aktuarier. Dette skyldes evnen til de nye algoritmene å automatisk identifisere skjult struktur i dataene. Mysteriet og nyttighetene til nevralt nettverk og tre-baserte algoritmer er motstridende. Det er en innebygd avveining mellom nøyaktigheten til en analytisk modell og dens nivå av «forklarbarhet». Hvordan kan vi stole på modeller hvis vi ikke kan forstå hvordan de når frem til sine konklusjoner? Burde vi bare gi etter for magien, ofre vår tillit til og kontroll over noe vi ikke fullt ut kan forstå for nøyaktighet?

Ledere og analytikere er ikke de eneste som er bekymret for denne avveiningen. De siste årene har regulatorer begynt å utforske den mørke siden av magien for å øke deres evne til å overvåke disse næringene. Forsikrings- og banknæringen er høyt regulert på mange områder, og nåværende reguleringstrender innebærer en nærmere titt på modellene som brukes til å gjøre prediksjoner. Artikkel 71 i den europeiske generelle personvernforordningen (GDPR) fastslår for eksempel at kunder skal ha rett til å få en forklaring på en enkelt automatisert beslutning etter at den er tatt. Siden innføringen har dette aspektet av forordningen vært i sentrum av en svært kontroversiell akademisk debatt.

Det presserende behovet for å forklare «svarte boks»-analytiske modeller har ført til oppblomstringen av et nytt forskningsfelt: Forklarbar kunstig intelligens. Eksperter utvikler verktøy som gjør det mulig for oss å kikke inn i svarte boksen og avsløre minst noen av magien. To typer verktøy som forskerne har laget, inkluderer «Global forklarbarhet»-verktøy, som kan hjelpe oss å forstå nøkkel-egenskaper som driver modellens prediksjoner, og «Lokal forklarbarhet»-verktøy, som er ment å forklare en bestemt prediksjon.

Følgende plot er et eksempel på lokal forklarbarhet. Det er basert på idéene til nobelprisvinneren i økonomi Lloyd Shapley, som utviklet en spillteori-metode for å beregne bidraget til flere spillere som samarbeider i samme oppgave. I forklarbar kunstig intelligens er «spillerne» modell-egenskapene, mens «oppgaven» er modellens prediksjon. Tallene som beskriver bidraget til hver egenskap kalles «Shapley-verdier». Forskere har nylig utviklet metoder for rask estimasjon av Shapley-verdier [2], som gjør det mulig for oss å fordele en prediksjon rettferdig blant de ulike egenskapene.

Bruk av Shapley-verdier til å forklare den prediktede fornyelsesetterspørselen til en bestemt kunde

Plotten, basert på simuleringsdata, viser resultatet av en etterspørselsmodell som prediker sannsynligheten for å fornye en bilforsikringspolice. Dette er en lokal forklaring for en bestemt kunde. Etterspørselsmodellen er basert på et komplekst ensemble av beslutningstre, men plotten presenterer det separate bidraget til hver egenskap til den endelige prediksjonen. I dette eksemplet prediker modellen at gjennomsnittspersonen i dataene vil fornye politiken med en sannsynlighet på 0,64. Imidlertid for denne bestemte kunden er den prediktede sannsynligheten mye høyere, på 0,72. Plotten lar deg se årsaken til denne forskjellen.

mens vi ikke fullt ut kan forstå den indre strukturen til denne komplekse modellen, gjør Shapley-verdiene det mulig for oss å se hva de viktigste egenskapene er for en bestemt prediksjon, og avsløre en del av magien. Gjennomsnittlig individuelle Shapley-verdier over populasjonen lar oss se hvilke egenskaper som er viktigst og få global forklarbarhet av modellen. Andre populære forklaringsverktøy inkluderer «Permutation Feature Importance», enkle surrogate-modeller som er tilpasset lokalt, og kontrafaktiske eksempler, for å nevne noen [3].

De nye forklaringsverktøyene er det nødvendige neste skrittet i utviklingen av maskinlæring. De kan tillate forsikringsselskaper og banker å forstå og stole på sine maskinlæringsmodeller, være i samsvar med nye reguleringer og gi kundene verdifull informasjon. Vi kan nå delvis overvinne avveiningen mellom nøyaktighet og forklarbarhet og nyte fordelen av de nye maskinlæringsmodellene med færre bekymringer om deres svarte boks-natur.

I vår raskt digitaliserende verden er det å bli fullt ut analytisk-drevet en overlevelseskriterium for forsikringsselskaper og banker. Denne evnen har alltid vært viktig – men den ble vital med de volatile markedsbetingelsene som 2020 har ført med seg. Forsikringsselskaper og banker trenger smartere analytikk for å modellere en kompleks ny virkelighet som de kan basere sine forretningsbeslutninger på og betjene kundene raskere og bedre. Forklaringsverktøy kan tillate forsikringsselskaper og banker å oppnå dette. Med tid vil vi komme til et punkt hvor maskinlæringsmodeller ikke lenger regnes som magi, men som et essensielt verktøy i kjernen av enhver data-drevet forretning.

Kilder:

[1] Bärtl, M., & Krummaker, S. (2020). Prediction of claims in export credit finance: A comparison of four machine learning techniques. Risks, 8(1), 22.

Noll, A., Salzmann, R., & Wuthrich, M. V. (2020). Case study: French motor third-party liability claims. Tilgjengelig på SSRN 3164764.

Fauzan, M. A., & Murfi, H. (2018). The accuracy of XGBoost for insurance claim prediction. Int. J. Adv. Soft Comput. Appl, 10(2).

Weerasinghe, K. P. M. L. P., & Wijegunasekara, M. C. (2016). A comparative study of data mining algorithms in the prediction of auto insurance claims. European International Journal of Science and Technology, 5(1), 47-54.

[2] Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. I Advances in neural information processing systems (s. 4765-4774).

[3] Se her for mer informasjon: https://christophm.github.io/interpretable-ml-book/index.html