Resiliens > Præcision: Hvorfor ‘modelresiliens’ skal være den sande målestok for operationalisering af modeller

Af Ingo Mierswa, grundlægger, præsident og chef for datavidenskab i RapidMiner.

Datavidenskab har gjort nogle store fremskridt de seneste par år, og mange organisationer bruger avanceret analyse eller maskinlæringsmodeller til at få dybere indsigt i processer og, i nogle tilfælde, endda til at forudsige sandsynlige resultater for fremtiden. For andre “videnskaber” er det ofte ikke klart, om et projekt vil være succesfuldt eller ej, og der har været rapporter om, at så meget som 87% af datavidenskabsprojekter aldrig når produktion. Mens en 100% succesrate ikke kan forventes, er der nogle mønstre i datavidenskabsprojekter, der fører til højere succesrater, end hvad der burde være acceptabelt i feltet. Disse problematiske mønstre synes at eksistere uafhængigt af en bestemt industri eller brugsområde, hvilket antyder, at der er et universelt problem i datavidenskab, der må løses.

At måle succesen af maskinlæring

Datavidenskabsfolk, der opretter maskinlæringsmodeller (ML), afhænger af veldefinerede matematiske kriterier til at måle, hvor godt sådanne modeller fungerer. Hvilet af disse kriterier, der anvendes, afhænger hovedsageligt af modeltypen. Lad os antage, at en model skal forudsige klasser eller kategorier for nye situationer – f.eks. om en kunde vil afbryde eller ej. I situationer som disse ville datavidenskabsfolk bruge målinger som nøjagtighed (hvor ofte modellen er korrekt) eller præcision (hvor ofte kunder faktisk afbryder, hvis vi forudsiger afbrydelse).

Datavidenskabsfolk har brug for objektive kriterier som disse, fordi en del af deres arbejde er at optimere disse evaluative kriterier for at producere den bedste model. I virkeligheden bruger datavidenskabsfolk størstedelen af deres tid på at forberede data til at være klar til modellering, og opbygning og finjustering af disse modeller er hvor datavidenskabsfolk bruger størstedelen af deres tid.

Nedenfor er, at datavidenskabsfolk ikke fokuserer meget på at sætte disse modeller i produktion, hvilket er et problem af mere end én grund. Først og fremmest kan modeller, der ikke producerer succesfulde resultater, ikke bruges til at generere forretningsimpact for organisationerne, der implementerer dem. Dernæst er det, fordi disse organisationer har brugt tid og penge på at udvikle, træne og operationalisere modeller, der ikke har produceret resultater, når de køres mod “virkelige” data, mere sandsynligt end ikke at de vil betragte maskinlæring og andre datavidenskabsværktøjer som nytteløse for deres organisation og nægte at gå videre med fremtidige datavidenskabsinitiativer.

Sandheden er, at datavidenskabsfolk simpelthen nyder at finjustere modeller og bruger meget tid på dette. Men uden forretningsimpact er denne tid ikke brugt klogt, hvilket er særligt smertefuldt, given hvor sjælden en ressource datavidenskabsfolk er i dagens verden.

Netflix-prisen og produktionsfejl

Vi har set dette fænomen af overinvestering i modelbygning og ikke i operationalisering af modeller spille sig ud i de seneste år. Netflix-prisen (NFLX ) var en åben konkurrence for den bedste samarbejdende filtreringsalgoritme til at forudsige brugerratings for film. Hvis du ville give en ny film en høj rating, ville du sandsynligvis nyde denne film – så ved hjælp af dette ratingsystem vil Netflix anbefale bestemte titler til dig, og hvis du nyder den anbefalede indhold, vil du sandsynligvis blive længere som kunde hos Netflix. Den store pris var beløbet 1 million USD, der blev givet til det hold, der kunne forbedre Netflix’ egen algoritme med mindst 10%.

Udfordringen startede i 2006, og over de følgende tre år førte bidragene fra over 40.000 datavidenskabshold verden over til en imponerende forbedring på mere end 10% for titel-anbefalingssucces. Men modellerne fra det vindende hold blev aldrig operationaliseret. Netflix sagde, at “forbedringen af nøjagtighed syntes ikke at retfærdiggøre den indsats, der var nødvendig for at bringe disse modeller i produktion.”

Hvorfor optimal ikke altid er optimal

Modelnøjagtighed og andre datavidenskabskriterier er længe blevet brugt som målestok for at måle en models succes, før modellen blev sat i produktion. Som vi har set, når mange modeller aldrig selv til denne fase – hvilket er en spild af ressourcer, både i form af energi og tid, der er brugt.

Men der er flere problemer med denne kultur af overinvestering i modeljustering. Det første er en ufrivillig overtilpasning til testdata, hvilket vil resultere i modeller, der ser gode ud for den ledende datavidenskabsmand, men faktisk underpræsterer, når de er i produktion – nogle gange endda til skade. Dette sker af to grunde:

1. Der er en velkendt diskrepans mellem testfejl og det, du vil se i produktion
2. Forretningsimpact og datavidenskabskriterier er ofte korrelerede, men “optimale” modeller leverer ikke altid den største impact

Det første punkt ovenfor kaldes også “overtilpasning til testmængden“. Det er et velkendt fænomen, især blandt deltagere i datavidenskabskonkurrencer som dem fra Kaggle. For disse konkurrencer kan du se en stærkere version af dette fænomen allerede mellem den offentlige og private leaderboard. Faktisk kunne en deltager vinde den offentlige leaderboard i en Kaggle-konkurrence uden at læse data. Ligesom vinderen af den private leaderboard og den samlede konkurrence måske ikke har produceret en model, der kan opretholde sin præstation på noget andet dataset end det, den er blevet evaluering på.

Nøjagtighed er ikke lig med forretningsimpact

For længe har vi accepteret denne praksis, der fører til den langsomme tilpasning af modeller til testdata. Som resultat heraf ser det, der ligner den bedste model, ud til at være middelmådig på bedste:

• Målinger som forudsigelsesnøjagtighed ligner ofte ikke forretningsimpact
• En forbedring af nøjagtighed på 1% kan ikke oversættes til 1% bedre forretningsresultat
• Der er tilfælde, hvor en lavpræsterende model overgår andre med hensyn til forretningsimpact
• Andre faktorer som vedligeholdelse, scorehastighed eller robusthed over for ændringer over tid (kaldet “resiliens”) skal også tages i betragtning.

Det sidste punkt er særligt vigtigt. De bedste modeller vil ikke blot vinde konkurrencer eller se godt ud i datavidenskabslaboratoriet, men vil også holde i produktion og præstere godt på en række testmængder. Disse modeller er, hvad vi kalder resiliensmodeller.

Drift og vigtigheden af resiliens

Alle modeller forringes over tid. Den eneste spørgsmål er, hvor hurtigt dette sker, og hvor godt modellen stadig præsterer under de ændrede omstændigheder. Årsagen til denne forringelse er, at verden ikke er statisk. Derfor ændrer data, som modellen anvendes på, sig også over tid. Hvis disse ændringer sker langsomt, kalder vi dette “konceptdrift”. Hvis ændringerne sker pludseligt, kalder vi dette “konceptskift”. F.eks. kan kunder ændre deres forbrugsadfærd langsomt over tid, påvirket af trends og/eller marketing. Propensmodeller kan på et tidspunkt ikke længere fungere. Disse ændringer kan accelereres dramatisk i visse situationer. COVID-19 har f.eks. drevet salget af artikler som toiletpapir og desinfektionsmidler – en uventet skarp stigning i bestemte produkter, der kan kaste en sådan model helt af sporet.

En resiliensmodel kan ikke være den bedste model baseret på målinger som nøjagtighed eller præcision, men vil præstere godt på en bredere række af data. Af denne grund vil den også præstere bedre over en længere periode og er derfor bedre i stand til at levere varig forretningsimpact.

Lineære og andre typer af simple modeller er ofte mere resiliens, fordi det er sværere at overtilpasse dem til en bestemt testmængde eller tidspunkt. Mere avancerede modeller kan og bør bruges som “udfordrere” for en simpel model, så datavidenskabsfolk kan se, om den også kan holde over tid. Men dette bør anvendes i slutningen, ikke begyndelsen af modelrejsen.

Selvom der endnu ikke er introduceret en formel KPI til at måle resiliens i datavidenskabsfeltet, er der flere måder, hvorpå datavidenskabsfolk kan evaluere, hvor resiliens deres modeller er:

• Mindre standardafvigelse i en krydsværificeringskørsel betyder, at modelpræstationen afhang mindre af de specifikke testmængder
• Selv hvis datavidenskabsfolk ikke udfører fuld krydsværificering, kan de bruge to forskellige data til tests og validering. Mindre diskrepans mellem fejlratemængder for test- og valideringsdata indikerer højere resiliens
• Hvis modellen overvåges ordentligt i produktion, kan fejlratemængder ses over tid. Konsistensen af fejlratemængder over tid er et godt tegn på modelresiliens.
• Hvis modelovervågningsløsningen af valg tager hensyn til drift, skal datavidenskabsfolk også være opmærksomme på, hvor godt modellen påvirkes af denne inputdrift.

Ændring af datavidenskabens kultur

Efter at en model er blevet implementeret i operationaliseringen, er der stadig trusler mod en models nøjagtighed. De sidste to punkter ovenfor om modelresiliens kræver allerede ordentlig overvågning af modeller i produktion. Som et udgangspunkt for en kulturændring i datavidenskab er virksomhederne godt rådet til at investere i ordentlig modelovervågning og begynde at holde datavidenskabsfolk ansvarlige for manglen på præstation efter modeller er sat i produktion. Dette vil straks ændre kulturen fra en modelbygningskultur til en værdi-skabende-og-opretholdende kultur for datavidenskabsfeltet.

Som de seneste verdensbegivenheder har vist os, ændrer verden sig hurtigt. Nu mere end nogensinde har vi brug for at bygge resiliensmodeller – ikke blot nøjagtige modeller – for at fange meningsfuld forretningsimpact over tid. Kaggle er f.eks. vært for en udfordring for at mobilisere datavidenskabsfolk verden over til at hjælpe med at bygge modelopløsninger til at bruge i den globale kamp mod COVID-19. Jeg forventer, at de mest succesfulde modeller, der produceres som resultat af denne udfordring, vil være de mest resiliens, ikke de mest nøjagtige, som vi har set, hvor hurtigt COVID-19-data kan ændre sig på en enkelt dag.

Datavidenskab bør handle om at finde sandheden, ikke om at producere den “bedste” model. Ved at holde os selv til en højere standard for resiliens over for nøjagtighed vil datavidenskabsfolk kunne levere mere forretningsimpact for vores organisationer og hjælpe med at forme fremtiden på en positiv måde.