Verklaarbaarheid: de volgende frontier voor kunstmatige intelligentie in verzekeringen en banken

Door Dr. Ori Katz, Analytisch Onderzoeker, Earnix.

“Elke voldoende geavanceerde technologie is niet te onderscheiden van magie”, betoogde de sciencefictionschrijver Arthur C. Clarke. Inderdaad, soms lijken geavanceerde technologieën, zoals nieuwe machine learning-algoritmen, op magie. Evoluerende toepassingen van machine learning, waaronder beeldclassificatie, spraakherkenning en het gebruik ervan in de verzekeringen en banken, hebben ogenschijnlijk bovennatuurlijke eigenschappen.

Veel bedrijven zijn huiverig om hun traditionele analytische modellen te veranderen – en terecht. Magie is gevaarlijk, vooral als het niet goed begrepen wordt. Neurale netwerken en boomensemble-algoritmen zijn “black boxes”, hun interne structuur kan extreem complex zijn. Tegelijkertijd hebben verschillende studies [1] aangetoond hoe neurale netwerken en boomgebaseerde algoritmen zelfs de meest zorgvuldig afgestemde traditionele verzekeringrisicmodellen kunnen overtreffen, die zijn opgesteld door ervaren actuarissen. Dit komt door de mogelijkheid van de nieuwe algoritmen om automatisch verborgen structuren in de gegevens te identificeren. Het mysterie en de bruikbaarheid van neurale netwerken en boomgebaseerde algoritmen staan tegenover elkaar. Er is een inherente afweging tussen de nauwkeurigheid van een analytisch model en zijn niveau van “verklaarbaarheid”. Hoe kunnen we modellen vertrouwen als we niet begrijpen hoe ze tot hun conclusies komen? Moeten we ons gewoon overgeven aan de magie, ons vertrouwen en controle over iets opgeven dat we niet volledig begrijpen voor nauwkeurigheid?

Managers en analisten zijn niet de enigen die bezorgd zijn over deze afweging. In de afgelopen jaren zijn regulators begonnen om de donkere kant van de magie te onderzoeken om hun vermogen om deze industrieën te controleren te vergroten. De banken en verzekeringen zijn sterk gereguleerd op veel gebieden en de huidige regelgevings trends houden in dat ze een nauwere blik werpen op de modellen die worden gebruikt om voorspellingen te doen. De considerans 71 van de Europese Algemene Verordening Gegevensbescherming (GDPR), bijvoorbeeld, stelt dat klanten het recht moeten hebben om een verklaring te krijgen voor een geautomatiseerde beslissing nadat deze is genomen. Sinds de invoering van deze verordening is dit element van de regelgeving het centrum van een zeer omstreden academische discussie.

De dringende behoefte om “black-box”-analytische modellen te verklaren heeft geleid tot de opkomst van een nieuw onderzoeksgebied: Verklaarbare Kunstmatige Intelligentie. Experts ontwikkelen tools die ons in staat stellen om een blik te werpen in de black box en tenminste een deel van de magie te ontrafelen. Twee soorten tools die onderzoekers hebben gecreëerd, zijn “Globale Verklaarbaarheid”-tools, die ons helpen om de belangrijkste kenmerken te begrijpen die de algehele modelvoorspellingen aandrijven, en “Lokale Verklaarbaarheid”-tools, die zijn bedoeld om een specifieke voorspelling te verklaren.

De volgende plot is een voorbeeld van lokale verklaring. Het is gebaseerd op de ideeën van de Nobelprijswinnende econoom Lloyd Shapley, die een speltheoretische methode ontwikkelde om de bijdrage van verschillende spelers te berekenen die samenwerken in dezelfde taak. In Verklaarbare Kunstmatige Intelligentie zijn de “spelers” de modelkenmerken, terwijl de “taak” de voorspelling van het model is. De getallen die de bijdrage van elk kenmerk beschrijven, worden “Shapley-waarden” genoemd. Onderzoekers hebben onlangs methoden ontwikkeld voor de snelle schatting van Shapley-waarden [2], waardoor we een voorspelling eerlijk kunnen verdelen over de verschillende kenmerken.

Shapley-waarden gebruiken om de voorspelde hernieuwingsvraag van een specifieke klant te verklaren

De plot, gebaseerd op gesimuleerde gegevens, toont het resultaat van een vraagmodel dat de waarschijnlijkheid van het vernieuwen van een autoverzekering voorspelt. Dit is een lokale verklaring voor een specifieke klant. Het vraagmodel is gebaseerd op een complexe ensemble van beslissingsbomen, maar de plot toont de afzonderlijke bijdrage van elk kenmerk aan de finale voorspelling. In dit voorbeeld voorspelt het model dat de gemiddelde persoon in de gegevens de polis met een waarschijnlijkheid van 0,64 zal vernieuwen. Echter, voor deze specifieke klant is de voorspelde waarschijnlijkheid veel hoger, namelijk 0,72. De plot laat zien wat de oorzaak is van dit verschil.

Hoewel we de interne structuur van dit complexe model niet volledig kunnen begrijpen, laten Shapley-waarden ons zien welke kenmerken het belangrijkst zijn voor een specifieke voorspelling, waardoor we een deel van de magie kunnen ontrafelen. Het gemiddelde van de individuele Shapley-waarden over de populatie laat ons zien welke kenmerken het belangrijkst zijn en geeft ons een globale verklaring van het model. Andere populaire verklaringstools zijn “Permutatie-kenmerkbelang”, eenvoudige surrogaatmodellen die lokaal worden aangepast, en tegenfeitelijke voorbeelden, om er een paar te noemen [3].

De nieuwe verklaringstools zijn de noodzakelijke volgende stap in de evolutie van machine learning. Ze kunnen verzekeraars en banken in staat stellen om hun machine learning-modellen te begrijpen en te vertrouwen, om te voldoen aan nieuwe regelgevingen en om hun klanten waardevolle informatie te bieden. We kunnen nu gedeeltelijk de afweging tussen nauwkeurigheid en verklaring overwinnen en genieten van de voordelen van de nieuwe machine learning-modellen met minder zorgen over hun black-box-natuur.

In onze snel digitaliserende wereld is het voor verzekeraars en banken essentieel om volledig gegevensgestuurd te zijn. Dit vermogen is altijd belangrijk geweest – maar het is vitaal geworden met de volatiele marktomstandigheden die 2020 heeft gebracht. Verzekeraars en banken hebben slimmere analytics nodig om een complexe nieuwe realiteit te modelleren waarop ze hun zakelijke beslissingen kunnen baseren en hun klanten sneller en beter kunnen bedienen. Verklaringstools kunnen verzekeraars en banken in staat stellen om dit te bereiken. Met de tijd zullen we op een punt komen waarop machine learning-modellen niet langer als magie worden beschouwd, maar als een essentieel instrument in het kernarsenaal van elk gegevensgestuurd bedrijf.

Bronnen:

[1] Bärtl, M., & Krummaker, S. (2020). Voorspelling van claims in exportkredietfinanciering: een vergelijking van vier machine learning-technieken. Risks, 8(1), 22.

Noll, A., Salzmann, R., & Wuthrich, M. V. (2020). Case study: Franse motor derdepartij aansprakelijkheidsclaims. Beschikbaar op SSRN 3164764.

Fauzan, M. A., & Murfi, H. (2018). De nauwkeurigheid van XGBoost voor voorspelling van verzekeringsclaims. Int. J. Adv. Soft Comput. Appl, 10(2).

Weerasinghe, K. P. M. L. P., & Wijegunasekara, M. C. (2016). Een vergelijkende studie van data mining-algoritmen in de voorspelling van autoverzekeringsclaims. European International Journal of Science and Technology, 5(1), 47-54.

[2] Lundberg, S. M., & Lee, S. I. (2017). Een geïntegreerde aanpak voor het interpreteren van modelvoorspellingen. In Advances in neural information processing systems (pp. 4765-4774).

[3] Zie hier voor meer details: https://christophm.github.io/interpretable-ml-book/index.html