Resiliens > Nøyaktighet: Hvorfor «modellresiliens» bør være den sanne metrikken for operationalisering av modeller

Av Ingo Mierswa, Grunnlegger, President & Chief Data Scientist i RapidMiner.

Datavitenskap har gjort store fremskritt de siste årene, og mange organisasjoner bruker avansert analyse eller maskinlæringmodeller for å få dyptere innsikt i prosessene og, i noen tilfeller, også for å forutsi sannsynlige resultater for fremtiden. For andre “vitenskaper” er det ofte ikke klart om et prosjekt vil være vellykket eller ikke, og det har vært rapporter om at så mye som 87% av datavitenskapsprosjektene aldri kommer i produksjon. Mens en 100% suksessrate ikke kan forventes, finnes det noen mønster i datavitenskapsprosjekter som fører til høyere suksessrater enn det som bør være akseptabelt i feltet. Disse problematiske mønstrene synes å eksistere uavhengig av noen bestemt bransje eller brukstilfelle, hvilket tyder på at det finnes et universelt problem i datavitenskap som må løses.

Måling av suksess for maskinlæring

Datavitenskapsfolk som lager maskinlæring (ML) modeller baserer seg på veldefinerte matematiske kriterier for å måle hvor godt slike modeller fungerer. Hvilke av disse kriteriene som brukes, avhenger hovedsakelig av modelltypen. La oss anta at en modell skal forutsi klasser eller kategorier for nye situasjoner – for eksempel om en kunde vil svikte eller ikke. I slike situasjoner ville datavitenskapsfolk bruke målinger som nøyaktighet (hvor ofte modellen er korrekt) eller presisjon (hvor ofte kunder faktisk svikter hvis vi forutsier svikt).

Datavitenskapsfolk trenger objektive kriterier som disse fordi en del av deres jobb er å optimalisere disse evaluative kriteriene for å produsere den beste modellen. I virkeligheten, like ved siden av å gjøre data klar for modellering, er bygging og finjustering av disse modellene hvor datavitenskapsfolk bruker mest tid.

Ulemper med dette er at datavitenskapsfolk ikke faktisk fokuserer mye på å sette disse modellene i produksjon, hvilket er et problem av mer enn én grunn. Først og fremst kan modeller som ikke produserer suksessfulle resultater ikke brukes til å generere forretningsmessig påvirkning for organisasjonene som setter dem i drift. For det andre er det slik at disse organisasjonene har brukt tid og penger på å utvikle, trene og sette modeller i drift som ikke har produsert suksessfulle resultater når de kjøres mot “virkelige” data, og de er derfor mer sannsynlig å anse ML og andre datavitenskapsverktøy som nytteløse for deres organisasjon og avvise å gå videre med fremtidige datavitenskapsinitiativer.

Sannheten er at datavitenskapsfolk bare liker å finjustere modeller og bruker mye tid på dette. Men uten forretningsmessig påvirkning, er denne tiden ikke brukt klokt, noe som er særlig smertefullt gitt hvor sjelden en ressurs datavitenskapsfolk er i dagens verden.

Netflix-prisen og produksjonsfeil

Vi har sett dette fenomenet med overinvestering i modellbygging og ikke i operationalisering av modeller spille ut i de senere år. Netflix-prisen (NFLX ) var en åpen konkurranse for den beste samarbeidsfiltreringsalgoritmen for å forutsi brukerrangeringer for filmer. Hvis du skulle gi en ny film en høy rangering, likte du sannsynligvis denne filmen – så ved å bruke dette rangeringssystemet, vil Netflix anbefale bestemte titler til deg, og hvis du liker den anbefalte innholdet, vil du sannsynligvis bli lenger som kunde hos Netflix. Den store prisen var beløpet 1 million USD, gitt til laget som kunne forbedre Netflix’ egen algoritme med minst 10%.

Utfordringen startet i 2006, og over de følgende tre årene, bidro over 40 000 datavitenskapslag globalt til en imponerende forbedring på over 10% for tittelanbefalingssuksess. Imidlertid ble modellene til vinnerlaget aldri operationalisert. Netflix sa at “økningen i nøyaktighet syntes ikke å berettige den innsatsen som var nødvendig for å sette disse modellene i produksjon.”

Hvorfor optimal ikke alltid er optimalt

Modellnøyaktighet og andre datavitenskapskriterier har lenge vært brukt som målet for å måle en modells suksess før den settes i produksjon. Som vi har sett, kommer mange modeller aldri til denne fasen – noe som er en spille av ressurser, både i form av energi og tid brukt.

Men det finnes flere problemer med denne kulturen med overinvestering i modelljustering. Først og fremst er det en utilsiktet overtilpasning til testdata, som vil resultere i modeller som ser bra ut for den ansvarlige datavitenskapsfolk, men faktisk underpresterer en gang de er i produksjon – noen ganger til og med årsaker skade. Dette skjer av to grunner:

1. Det finnes en velkjent diskrepans mellom testfeil og det som vil sees i produksjon
2. Forretningsmessig påvirkning og datavitenskapskriterier er ofte korrelert, men “optimale” modeller leverer ikke alltid den største påvirkningen

Det første punktet ovenfor kalles også “overtilpasning til testsettet“. Dette er et velkjent fenomen, spesielt blant deltakere i datavitenskapskonkurranser som de fra Kaggle. For disse konkurransene kan man se en sterkere versjon av dette fenomenet allerede mellom den offentlige og private leaderboarden. I virkeligheten kunne en deltaker vinne den offentlige leaderboarden i en Kaggle-konkurranse uten å ha lest dataene. Liksom vinneren av den private leaderboarden og den totale konkurransen, kan ikke ha produsert en modell som kan opprettholde sin ytelse på noen annen datasett enn det den er evaluert på.

Nøyaktighet ikke lik forretningsmessig påvirkning

For lenge har vi akseptert denne praksisen, som fører til en langsom tilpasning av modeller til testdatasett. Som resultat, ser det ut som om den beste modellen er middelmådig på beste:

• Målinger som prediktiv nøyaktighet ikke alltid liker forretningsmessig påvirkning
• En forbedring av nøyaktighet på 1% kan ikke oversettes til 1% bedre forretningsresultat
• Det finnes tilfeller hvor en modell med lav ytelse overgår andre, med hensyn til forretningsmessig påvirkning
• Andre faktorer som vedlikehold, scoringshastighet eller robusthet mot endringer over tid (kalt “resiliens”) må også tas med i betraktning.

Det siste punktet er spesielt viktig. De beste modellene vil ikke bare vinne konkurranser eller se bra ut i datavitenskapslaboratoriet, men vil også holde seg i produksjon og fungere bra på en rekke testsett. Disse modellene er det vi refererer til som resiliente modeller.

Drift og viktigheten av resiliens

Alle modeller forverres over tid. Den eneste spørsmålet er hvor raskt dette skjer og hvor godt modellen fortsatt fungerer under de endrede omstendighetene. Årsaken til denne forverringen er at verden ikke er statisk. Derfor endrer også dataene som modellen brukes på, over tid. Hvis disse endringene skjer sakte, kalles dette “konseptdrift”. Hvis endringene skjer brått, kalles dette “konseptskift”. For eksempel kan kunder endre sin forbrukeratferd sakte over tid, påvirket av trender og/eller markedsføring. Propensitetsmodeller kan ikke lenger fungere på et visst tidspunkt. Disse endringene kan akselereres dramatisk i visse situasjoner. COVID-19 har for eksempel drevet salget av artikler som toalettpapir og desinfeksjonsmidler – en uventet skarp økning i bestemte produkter som kan kaste en slik modell helt ut av kurs.

En resiliensmodell kan ikke være den beste modellen basert på målinger som nøyaktighet eller presisjon, men vil fungere bra på en rekke datasett. Av denne grunn vil den også fungere bedre over en lengre periode og være bedre i stand til å levere varig forretningsmessig påvirkning.

Lineære og andre typer enkle modeller er ofte mer resiliensrike fordi det er vanskeligere å overtilpasse dem til et bestemt testsett eller tidspunkt. Mer kraftfulle modeller kan og bør brukes som “utfordrere” for en enkel modell, slik at datavitenskapsfolk kan se om den også kan holde seg over tid. Men dette bør brukes ved sluttpunktet, ikke begynnelsen av modellreisen.

Mens en formell KPI for å måle resiliens ikke ennå er introdusert i datavitenskapsfeltet, finnes det flere måter som datavitenskapsfolk kan evaluere hvor resiliensrike deres modeller er:

• Mindre standardavvik i en kryssvalideringskjøring betyr at modellens ytelse avhenger mindre av de spesifikke testsettene
• Selv om datavitenskapsfolk ikke utfører fullstendige kryssvalideringer, kan de bruke to forskjellige datasett for tester og validering. Mindre diskrepans mellom feilrater for test- og valideringsdatasett indikerer høyere resiliens
• Hvis modellen overvåkes ordentlig i produksjon, kan feilrater sees over tid. Konsistensen i feilrater over tid er et godt tegn på modellresiliens.
• Hvis modell-overvåkingssystemet tar hensyn til drift, bør datavitenskapsfolk også legge merke til hvor godt modellen påvirkes av denne inndata-driften.

Endring av datavitenskapskulturen

Etter at en modell er satt i produksjon, finnes det fortsatt trusler mot modellens nøyaktighet. De to siste punktene ovenfor om modellresiliens krever allerede ordentlig overvåking av modeller i produksjon. Som et utgangspunkt for en endring av kulturen i datavitenskap, er det godt å investere i ordentlig modell-overvåking og å begynne å holde datavitenskapsfolk ansvarlige for mangelen på ytelse etter at modellene er satt i produksjon. Dette vil umiddelbart endre kulturen fra en modellbyggingskultur til en verdiskapende- og vedlikeholdskultur for datavitenskapsfeltet.

Som nylige verdensbegivenheter har vist oss, endrer verden seg raskt. Nå, mer enn noensinne, må vi bygge resiliensmodeller – ikke bare nøyaktige modeller – for å fange meningsfull forretningsmessig påvirkning over tid. Kaggle, for eksempel, arrangerer en konkurranse for å mobilisere datavitenskapsfolk verden over til å hjelpe med å bygge modell-løsninger for å bruke i den globale kampen mot COVID-19. Jeg forventer at de mest suksessfulle modellene som produseres som et resultat av denne konkurranse, vil være de mest resiliensrike, ikke de mest nøyaktige, ettersom vi har sett hvor raskt COVID-19-data kan endre seg på en enkelt dag.

Datavitenskap bør handle om å finne sannheten, ikke om å produsere den “beste” modellen. Ved å holde oss til en høyere standard for resiliens over nøyaktighet, vil datavitenskapsfolk kunne levere mer forretningsmessig påvirkning for våre organisasjoner og hjelpe til å forme fremtiden positivt.