Veerkracht > Accuratesse: Waarom ‘modelveerkracht’ de echte meting zou moeten zijn voor het operationeel maken van modellen

Door Ingo Mierswa, Oprichter, President & Chief Data Scientist bij RapidMiner.

Datawetenschap heeft de afgelopen jaren grote vorderingen gemaakt en veel organisaties gebruiken geavanceerde analyses of machine learning-modellen om dieper inzicht te krijgen in processen en soms zelfs om waarschijnlijke resultaten voor de toekomst te voorspellen. Voor andere “wetenschappen” is het vaak niet duidelijk of een project succesvol zal zijn of niet, en er zijn rapporten dat zo veel als 87% van de datawetenschapsprojecten nooit in productie komen. Terwijl een succespercentage van 100% niet verwacht kan worden, zijn er enkele patronen in datawetenschapsprojecten die leiden tot een hoger succespercentage dan zou moeten worden geaccepteerd in het veld. Deze problematische patronen lijken onafhankelijk te zijn van een bepaalde industrie of gebruiksscenario, wat suggereert dat er een universeel probleem in datawetenschap bestaat dat moet worden aangepakt.

Het meten van het succes van machine learning

Datawetenschappers die machine learning-modellen (ML) creëren, vertrouwen op goed gedefinieerde wiskundige criteria om te meten hoe goed deze modellen presteren. Welk van deze criteria wordt toegepast, hangt voornamelijk af van het type model. Laten we aannemen dat een model klassen of categorieën voor nieuwe situaties moet voorspellen – bijvoorbeeld of een klant zal vertrekken of niet. In situaties zoals deze zouden datawetenschappers metingen zoals accuratesse (hoe vaak het model correct is) of precisie (hoe vaak klanten daadwerkelijk vertrekken als we vertrek voorspellen) gebruiken.

Datawetenschappers hebben objectieve criteria zoals deze nodig omdat een deel van hun taak bestaat uit het optimaliseren van deze evaluatiecriteria om het beste model te produceren. In feite, naast het voorbereiden van de gegevens om klaar te zijn voor modellering, is het bouwen en afstemmen van deze modellen waar datawetenschappers de meeste tijd aan besteden.

Het nadeel hiervan is dat datawetenschappers zich niet veel richten op het in productie brengen van deze modellen, wat een probleem is om meer dan één reden. Ten eerste en vooral kunnen modellen die geen succesvolle resultaten opleveren, niet worden gebruikt om bedrijfsimpact te genereren voor de organisaties die ze inzetten. Ten tweede zijn deze organisaties tijd en geld kwijt aan het ontwikkelen, trainen en operationeel maken van modellen die geen succesvolle resultaten hebben opgeleverd bij het uitvoeren tegen “echte” gegevens, waardoor ze waarschijnlijker dan niet datawetenschap en andere datawetenschapstools als nutteloos voor hun organisatie beschouwen en weigeren om door te gaan met toekomstige datawetenschapsinitiatieven.

Het feit is dat datawetenschappers gewoon van het afstemmen van modellen genieten en veel tijd hieraan besteden. Maar zonder bedrijfsimpact wordt deze tijd niet verstandig besteed, wat bijzonder pijnlijk is, gezien de schaarste van datawetenschappers in de wereld van vandaag.

De Netflix-prijs en productiefout

We hebben dit fenomeen van overinvestering in modelbouw en niet in de operationalisatie van modellen de afgelopen jaren zien gebeuren. De Netflix-prijs (NFLX ) was een open competitie voor de beste collaboratieve filteralgoritme om gebruikersbeoordelingen voor films te voorspellen. Als je een nieuwe film een hoge beoordeling zou geven, heb je deze film waarschijnlijk leuk gevonden – dus met behulp van dit beoordelingssysteem zal Netflix bepaalde titels aan je aanbevelen en als je de aanbevolen inhoud leuk vindt, zal je waarschijnlijk langer een klant van Netflix blijven. De hoofdprijs was een bedrag van 1 miljoen USD, dat werd toegekend aan het team dat in staat was om de algoritme van Netflix met ten minste 10% te verbeteren.

De uitdaging begon in 2006 en in de daaropvolgende drie jaar leidde de bijdrage van meer dan 40.000 datawetenschapsteams wereldwijd tot een indrukwekkende verbetering van meer dan 10% voor de aanbevelingssucces van titels. Echter, de modellen van het winnende team werden nooit operationeel gemaakt. Netflix zei dat “de toename in accuratesse niet leek te rechtvaardigen de inspanning die nodig was om deze modellen in productie te brengen.”

Waarom optimaal niet altijd optimaal is

Modelaccuratesse en andere datawetenschapscriteria zijn lange tijd gebruikt als de meting voor het meten van het succes van een model voordat het model in productie wordt genomen. Zoals we hebben gezien, komen veel modellen nooit eens tot deze fase – wat een verspilling van resources is, zowel in termen van energie als in tijd die wordt besteed.

Maar er zijn meer problemen met deze cultuur van overinvestering in modelafstemming. Het eerste is een onbewuste overaanpassing aan de testgegevens, wat resulteert in modellen die er goed uitzien voor de beheerder van de gegevens, maar eigenlijk onderpresteren zodra ze in productie zijn – soms zelfs schade aanrichten. Dit gebeurt om twee redenen:

1. Er is een bekende discrepantie tussen testfout en die welke je in productie zult zien
2. Bedrijfsimpact en datawetenschapscriteria zijn vaak gecorreleerd, maar “optimale” modellen leveren niet altijd de grootste impact

Het eerste punt hierboven wordt ook “overaanpassing aan de testset” genoemd. Het is een bekend fenomeen, vooral onder deelnemers aan datawetenschapscompetities zoals die van Kaggle. Voor deze competities kun je een sterkere versie van dit fenomeen al zien tussen de openbare en privé-leaderboards. In feite kon een deelnemer de openbare leaderboard in een Kaggle-competitie winnen zonder ooit de gegevens te hebben gelezen. Bovendien kan de winnaar van de privé-leaderboard en de overall-competitie mogelijk geen model hebben geproduceerd dat zijn prestaties kan behouden op elk ander gegevensset dan die waarop het is geëvalueerd.

Accuratesse is niet gelijk aan bedrijfsimpact

Te lang hebben we deze praktijk geaccepteerd, die leidt tot de trage aanpassing van modellen aan testgegevenssets. Als resultaat lijkt het beste model matig te zijn:

• Metingen zoals voorspellende accuratesse komen niet altijd overeen met bedrijfsimpact
• Een verbetering van de accuratesse met 1% kan niet worden vertaald in 1% beter bedrijfsresultaat
• Er zijn gevallen waarin een slecht presterend model andere modellen overtreft met betrekking tot bedrijfsimpact
• Andere factoren zoals onderhoud, scoresnelheid of robuustheid tegen veranderingen over tijd (genaamd “veerkracht”) moeten ook in aanmerking worden genomen.

Dit laatste punt is bijzonder belangrijk. De beste modellen zullen niet alleen competities winnen of er goed uitzien in het datawetenschapslaboratorium, maar zullen ook in productie standhouden en goed presteren op een verscheidenheid aan testsets. Deze modellen zijn wat we “veerkrachtige modellen” noemen.

Drift en het belang van veerkracht

Alle modellen verslechteren over tijd. De enige vraag is hoe snel dit gebeurt en hoe goed het model nog presteert onder de veranderde omstandigheden. De reden voor deze verslechtering is dat de wereld niet statisch is. Daarom verandert de gegevens waarop het model wordt toegepast ook over tijd. Als deze veranderingen langzaam gebeuren, noemen we dit “conceptdrift”. Als de veranderingen abrupt gebeuren, noemen we dit “conceptshift”. Bijvoorbeeld, klanten kunnen hun consumptiegedrag langzaam over tijd veranderen, beïnvloed door trends en/of marketing. Propensitiemodellen kunnen op een bepaald moment niet meer werken. Deze veranderingen kunnen in bepaalde situaties drastisch worden versneld. COVID-19 heeft bijvoorbeeld de verkoop van artikelen zoals toiletpapier en ontsmettingsmiddelen – een onverwachte scherpe toename in bepaalde producten die een dergelijk model volledig van de wielen kunnen rijden.

Een veerkrachtig model hoeft niet het beste model te zijn op basis van metingen zoals accuratesse of precisie, maar zal goed presteren op een bredere reeks gegevenssets. Om deze reden zal het ook beter presteren over een langere periode en is het dus beter in staat om duurzame bedrijfsimpact te leveren.

Lineaire en andere soorten eenvoudige modellen zijn vaak meer veerkrachtig omdat het moeilijker is om ze aan te passen aan een specifieke testset of moment in de tijd. Krachtigere modellen kunnen en moeten worden gebruikt als “uitdagers” voor een eenvoudiger model, waardoor datawetenschappers kunnen zien of het ook standhoudt over tijd. Maar dit moet worden toegepast aan het einde, niet het begin van de modelleringreis.

Hoewel er nog geen formele KPI is geïntroduceerd in het veld van datawetenschap om veerkracht te meten, zijn er verschillende manieren waarop datawetenschappers de veerkracht van hun modellen kunnen evalueren:

• Kleinere standaarddeviaties in een cross-validatie-run betekenen dat de modelprestaties minder afhankelijk waren van de specifics van de verschillende testsets
• Als datawetenschappers geen volledige cross-validaties uitvoeren, kunnen ze twee verschillende gegevenssets voor tests en validatie gebruiken. Minder discrepantie tussen foutpercentages voor test- en validatiegegevens geeft een hogere veerkracht aan
• Als het model goed wordt gemonitord in productie, kunnen foutpercentages over tijd worden gezien. De consistentie van foutpercentages over tijd is een goed teken voor modelveerkracht.
• Als de modelmonitoroplossing van keuze rekening houdt met drift, moeten datawetenschappers ook letten op hoe goed het model wordt beïnvloed door die inputdrift.

De cultuur van datawetenschap veranderen

Nadat een model is geïmplementeerd in de operationalisatiefase, zijn er nog steeds bedreigingen voor de accuratesse van een model. De laatste twee punten hierboven met betrekking tot modelveerkracht vereisen al een goede monitoring van modellen in productie. Als startpunt voor een cultuurverandering in datawetenschap zijn bedrijven goed geadviseerd om te investeren in een goede modelmonitoring en om datawetenschappers verantwoordelijk te houden voor het gebrek aan prestaties nadat modellen in productie zijn genomen. Dit zal onmiddellijk de cultuur veranderen van een modelbouwcultuur naar een waardecreërende-en-in-stand-houdende cultuur voor het veld van datawetenschap.

Recente wereldgebeurtenissen hebben ons laten zien dat de wereld snel verandert. Nu, meer dan ooit, moeten we veerkrachtige modellen bouwen – niet alleen accurate modellen – om significante bedrijfsimpact over tijd te behalen. Kaggle, bijvoorbeeld, organiseert een uitdaging om datawetenschappers over de hele wereld te mobiliseren om modeloplossingen te helpen bouwen voor de wereldwijde strijd tegen COVID-19. Ik verwacht dat de meest succesvolle modellen die als resultaat van deze uitdaging worden geproduceerd, de meest veerkrachtige zullen zijn, niet de meest accurate, zoals we hebben gezien hoe snel COVID-19-gegevens kunnen veranderen in één dag.

Datawetenschap zou moeten gaan over het vinden van de waarheid, niet over het produceren van het “beste” model. Door onszelf te houden aan een hogere standaard van veerkracht boven accuratesse, zullen datawetenschappers in staat zijn om meer bedrijfsimpact te leveren voor onze organisaties en helpen om de toekomst positief te vormen.

dly COVID-19-gegevens kunnen in één dag veranderen. Datawetenschap zou moeten gaan over het vinden van de waarheid, niet over het produceren van het “beste” model. Door onszelf te houden aan een hogere standaard van veerkracht boven accuratesse, zullen datawetenschappers in staat zijn om meer bedrijfsimpact te leveren voor onze organisaties en helpen om de toekomst positief te vormen.