Förklarbarhet: Nästa frontier för artificiell intelligens inom försäkring och bank

Av Dr. Ori Katz, analytisk forskare, Earnix.

”Varje tillräckligt avancerad teknik är omöjlig att skilja från magi”, hävdade science fiction-författaren Arthur C. Clarke. Verkligen, ibland liknar avancerad teknik, som nya maskinlärningsalgoritmer, magi. Utvecklingen av maskinlärning, inklusive bildklassificering, taligenkänning och dess användning inom försäkrings- och banksektorerna, har tycks ha övernaturliga egenskaper.

Många företag är obenägna att ändra sina traditionella analytiska modeller – och rätt så. Magi är farligt, särskilt om det inte är väl förstått. Neuronnät och trädensemblealgoritmer är “svarta lådor”, deras inre struktur kan vara extremt komplex. Samtidigt har flera studier [1] visat hur neuronnät och träd-baserade algoritmer kan överträffa även de mest noggrant justerade traditionella försäkringsriskmodellerna som konstruerats av erfarna aktuarier. Detta beror på förmågan hos de nya algoritmerna att automatiskt identifiera dold struktur i data. Mystiken och nyttan av neuronnät och träd-baserade algoritmer är motsatta. Det finns en inneboende avvägning mellan noggrannheten hos en analytisk modell och dess nivå av “förklarbarhet”. Hur kan vi lita på modeller om vi inte kan förstå hur de kommer fram till sina slutsatser? Ska vi bara ge oss för magin, offra vår tillit till och kontroll över något vi inte fullständigt kan förstå för noggrannhet?

Chefer och analytiker är inte de enda som är oroliga för denna avvägning. Under de senaste åren har tillsynsmyndigheter börjat undersöka den mörka sidan av magin för att öka sin förmåga att övervaka dessa branscher. Försäkrings- och banksektorerna är starkt reglerade på många områden och nuvarande regeltrender innebär att man tar en närmare titt på modellerna som används för att göra förutsägelser. Artikel 71 i den europeiska allmänna dataskyddsförordningen (GDPR) till exempel, anger att kunder ska ha rätt att få en förklaring till ett enskilt automatiserat beslut efter att det har fattats. Sedan dess tillkomst har detta inslag i förordningen varit i centrum för en högt uppskruvad akademisk debatt.

Det brådskande behovet av att förklara “svarta lådor”-analytiska modeller har lett till uppkomsten av ett nytt forskningsområde: Förklarbar artificiell intelligens. Experter utvecklar verktyg som möjliggör för oss att titta in i den svarta lådan och avslöja åtminstone en del av magin. Två typer av verktyg som forskare har skapat är “Global förklarbarhet”-verktyg, som kan hjälpa oss att förstå nyckelfunktioner som driver modellens förutsägelser, och “Lokal förklarbarhet”-verktyg, som är avsedda att förklara en specifik förutsägelse.

Följande plot är ett exempel på lokal förklarbarhet. Det bygger på idéer från den nobelprisbelönade ekonomen Lloyd Shapley, som utvecklade en spelteoretisk metod för att beräkna bidraget från flera spelare som samarbetar i samma uppgift. I Förklarbar artificiell intelligens är “spelarna” modellens funktioner, medan “uppgiften” är modellens förutsägelse. Talen som beskriver bidraget från varje funktion kallas “Shapley-värden”. Forskare har nyligen utvecklat metoder för snabb uppskattning av Shapley-värden [2], vilket möjliggör för oss att rättvist fördela en förutsägelse bland de olika funktionerna.

Användning av Shapley-värden för att förklara den förutsagda förnyelseefterfrågan för en specifik kund

Ploten, som bygger på simulerade data, visar resultatet av en efterfrågemodell som förutsäger sannolikheten för att en bilförsäkringspolicy förnyas. Detta är en lokal förklaring för en specifik kund. Efterfrågemodellen bygger på en komplex ensemble av besluts-träd, men ploten presenterar det separata bidraget från varje funktion till den slutliga förutsägelsen. I det här fallet förutsäger modellen att den genomsnittliga individen i data kommer att förnya policyn med en sannolikhet på 0,64. Men för denna specifika kund är den förutsagda sannolikheten mycket högre, på 0,72. Ploten låter dig se orsaken till denna skillnad.

Medan vi inte kan fullständigt förstå den inre strukturen i denna komplexa modell, låter Shapley-värden oss se vilka funktioner som är viktigast för en specifik förutsägelse, och avslöjar en del av magin. Genomsnittlig individuell Shapley-värde över populationen låter oss se vilka funktioner som är viktigast och få global förklarbarhet av modellen. Andra populära förklarbarhetsverktyg inkluderar “Permutation Feature Importance”, enkla surrogate-modeller som är anpassade lokalt, och kontrafaktiska exempel, för att nämna några [3].

De nya förklarbarhetsverktygen är det nödvändiga nästa steget i utvecklingen av maskinlärning. De kan låta försäkringsbolag och banker förstå och lita på sina maskinlärningsmodeller, följa nya regler, och ge sina kunder värdefull information. Vi kan nu delvis övervinna avvägningen mellan noggrannhet och förklarbarhet och njuta av fördelarna med de nya maskinlärningsmodellerna med färre bekymmer om deras “svarta låda”-karaktär.

I vår snabbt digitaliserade värld är det grundläggande kravet för försäkringsbolag och banker att bli fullständigt analytiskt drivna. Denna förmåga har alltid varit viktig – men den blev avgörande med de volatila marknadsförhållandena som 2020 har medfört. Försäkringsbolag och banker behöver smartare analytik för att modellera en komplex ny verklighet som de kan basera sina affärsbeslut på och betjäna sina kunder snabbare och bättre. Förklarbarhetsverktyg kan låta försäkringsbolag och banker uppnå det. Med tiden kommer vi att nå en punkt där maskinlärningsmodeller inte längre anses vara magi, utan ett essentiellt verktyg i kärnarsenalen för varje data-driven verksamhet.

Källor:

[1] Bärtl, M., & Krummaker, S. (2020). Förutsägelse av anspråk i exportkreditfinansiering: En jämförelse av fyra maskinlärningstekniker. Risks, 8(1), 22.

Noll, A., Salzmann, R., & Wuthrich, M. V. (2020). Fallstudie: Franska motorfordons tredjepartsskador. Tillgänglig på SSRN 3164764.

Fauzan, M. A., & Murfi, H. (2018). Noggrannheten hos XGBoost för försäkringsanspråksförutsägelse. Int. J. Adv. Soft Comput. Appl, 10(2).

Weerasinghe, K. P. M. L. P., & Wijegunasekara, M. C. (2016). En jämförande studie av data mining-algoritmer i förutsägelsen av bilförsäkringsanspråk. European International Journal of Science and Technology, 5(1), 47-54.

[2] Lundberg, S. M., & Lee, S. I. (2017). En enhetlig ansats för att tolka modellförutsägelser. I Advances in neural information processing systems (s. 4765-4774).

[3] Se här för mer information: https://christophm.github.io/interpretable-ml-book/index.html