Resiliens > Exakthet: Varför “modellresiliens” bör vara den verkliga metriken för att operationalisera modeller

Av Ingo Mierswa, Grundare, President & Chief Data Scientist på RapidMiner.

Data science har gjort stora framsteg under de senaste åren och många organisationer använder avancerad analys eller maskinlärningsmodeller för att få djupare insikter om processer och, i vissa fall, för att förutsäga sannolika resultat för framtiden. För andra “vetenskaper” är det ofta inte klart om ett projekt kommer att vara framgångsrikt eller inte, och det har rapporterats att så många som 87% av data science-projekt aldrig når produktion. Medan en 100% framgångsgrad inte kan förväntas, finns det vissa mönster i data science-projekt som leder till högre framgångsgrader än vad som borde anses acceptabelt inom området. Dessa problematiska mönster verkar existera oberoende av någon särskild bransch eller användningsfall, vilket tyder på att det finns ett universellt problem inom data science som måste åtgärdas.

Att mäta framgången för maskinlärning

Data scientists som skapar maskinlärningsmodeller (ML) förlitar sig på väldefinierade matematiska kriterier för att mäta hur väl sådana modeller presterar. Vilket av dessa kriterier som tillämpas beror främst på modelltypen. Låt oss anta att en modell ska förutsäga klasser eller kategorier för nya situationer — till exempel om en kund kommer att avsluta eller inte. I situationer som dessa skulle data scientists använda mått som accuracy (hur ofta modellen är korrekt) eller precision (hur ofta kunder faktiskt avslutar om vi förutsäger avslut).

Data scientists behöver objektiva kriterier som dessa eftersom en del av deras jobb är att optimera dessa utvärderingskriterier för att producera den bästa modellen. I själva verket, bredvid att förbereda data för att vara redo för modellering, är byggnaden och finjusteringen av dessa modeller där data scientists tillbringar mest av sin tid.

Nackdelen med detta är att data scientists inte fokuserar så mycket på att få dessa modeller i produktion, vilket är ett problem av flera skäl. Först och främst kan modeller som inte producerar framgångsrika resultat inte användas för att generera affärspåverkan för organisationerna som distribuerar dem. För det andra, eftersom dessa organisationer har lagt tid och pengar på att utveckla, träna och operationalisera modeller som inte har producerat framgångsrika resultat när de körs mot “verkliga” data, är de mer benägna att betrakta ML och andra data science-verktyg som värdelösa för sin organisation och avstå från att gå vidare med framtida data science-initiativ.

Sanningen är att data scientists helt enkelt njuter av att finjustera modeller och tillbringar mycket tid på detta. Men utan affärspåverkan är denna tid inte väl tillbringad, vilket är särskilt smärtsamt med tanke på hur sällsynta data scientists är i dagens värld.

Netflix-priset och produktionsmisslyckande

Vi har sett detta fenomen av överinvestering i modellbyggnad och inte i operationalisering av modeller spela ut under de senaste åren. Netflix-priset (NFLX ) var en öppen tävling för den bästa samarbetsfiltreringsalgoritmen för att förutsäga användarratingar för filmer. Om du skulle ge en ny film en hög rating, så gillade du troligen den här filmen – så med hjälp av det här rating-systemet kommer Netflix att rekommendera vissa titlar till dig och om du gillar den rekommenderade innehållet, så kommer du troligen att stanna längre som kund till Netflix. Den stora prissumman var 1 miljon USD, som gavs till det team som kunde förbättra Netflix eget algoritm med minst 10%.

Utmaningen startade 2006 och under de följande tre åren ledde bidragen från över 40 000 data science-team globalt till en imponerande förbättring av mer än 10% för titelrekommendationens framgång. Men modellerna från det vinnande teamet operationaliserades aldrig. Netflix sa att “förbättringen av noggrannhet inte tycktes motivera den insats som krävdes för att få dessa modeller i produktion.”

Varför optimalt inte alltid är optimalt

Modellnoggrannhet och andra data science-kriterier har länge använts som metric för att mäta en modells framgång innan modellen sätts i produktion. Som vi har sett, når många modeller aldrig ens denna fas – vilket är en slöseri med resurser, både i form av energi och tid som lagts ner.

Men det finns fler problem med denna kultur av överinvestering i modelljustering. Det första är en oavsiktlig överanpassning till testdata, vilket kommer att resultera i modeller som ser bra ut för den ansvarige data scientisten, men som faktiskt presterar dåligt när de sätts i produktion – ibland till och med orsakar skada. Detta sker av två skäl:

1. Det finns en välkänd diskrepans mellan testfel och det som kommer att ses i produktion
2. Affärspåverkan och data science-prestandakriterier är ofta korrelerade, men “optimala” modeller levererar inte alltid den största påverkan

Det första punkten ovan kallas också “överanpassning till testuppsättningen“. Det är ett välkänt fenomen, särskilt bland deltagare i data science-tävlingar som de från Kaggle. För dessa tävlingar kan man se en starkare version av detta fenomen redan mellan den offentliga och den privata leaderboarden. I själva verket kunde en deltagare vinna den offentliga leaderboarden i en Kaggle-tävling utan att någonsin ens läsa datat. Likaså kan vinnaren av den privata leaderboarden och den totala tävlingen inte ha producerat en modell som kan upprätthålla sin prestanda på något annat dataset än det som den har utvärderats på.

Noggrannhet är inte lika med affärspåverkan

För länge sedan har vi accepterat denna praxis, som leder till en långsam anpassning av modeller till testdatauppsättningar. Som ett resultat ser det ut som om den bästa modellen är medelmåttig som bäst:

• Mått som prediktiv noggrannhet motsvarar ofta inte affärspåverkan
• En förbättring av noggrannhet med 1% kan inte översättas till 1% bättre affärsresultat
• Det finns fall där en modell med låg prestanda överträffar andra, med avseende på affärspåverkan
• Andra faktorer som underhåll, poängsättningshastighet eller robusthet mot förändringar över tid (kallad “resiliens”) måste också beaktas.

Denna sista punkt är särskilt viktig. De bästa modellerna kommer inte bara att vinna tävlingar eller se bra ut i data science-laboratoriet, utan kommer också att fungera bra i produktion och prestera väl på en mängd olika testuppsättningar. Dessa modeller är vad vi kallar resilienta modeller.

Drift och vikten av resiliens

Alla modeller försämras över tid. Den enda frågan är hur snabbt detta sker och hur väl modellen fortfarande fungerar under de förändrade omständigheterna. Anledningen till denna försämring är att världen inte är statisk. Därför förändras också datat som modellen tillämpas på över tid. Om dessa förändringar sker långsamt kallar vi det “konceptdrift”. Om förändringarna sker plötsligt kallar vi det “konceptskift”. Till exempel kan kunder förändra sitt konsumtionsbeteende långsamt över tid, påverkade av trender och/eller marknadsföring. Benägenhetsmodeller kan inte fungera vid en viss punkt. Dessa förändringar kan accelereras kraftigt i vissa situationer. COVID-19 har till exempel drivit försäljningen av artiklar som toalettpapper och desinfektionsmedel – en oväntad skarp ökning av vissa produkter som kan kasta en sådan modell helt ur kurs.

En resilient modell kan inte vara den bästa modellen baserat på mått som noggrannhet eller precision, men kommer att fungera bra på en bredare mängd datauppsättningar. Av denna anledning kommer den också att fungera bättre under en längre period och är därför bättre på att leverera varaktig affärspåverkan.

Linjära och andra typer av enkla modeller är ofta mer resilienta eftersom det är svårare att överanpassa dem till en specifik testuppsättning eller tidpunkt. Mer kraftfulla modeller kan och bör användas som “utmanare” för en enklare modell, vilket gör det möjligt för data scientists att se om den också kan stå emot över tid. Men detta bör användas i slutet, inte i början av modellresan.

Medan en formell KPI för att mäta resiliens ännu inte har introducerats i data science-området, finns det flera sätt som data scientists kan utvärdera hur resilienta deras modeller är:

• Små standardavvikelser i en korsvalideringskörning betyder att modellprestandan berodde mindre på specifikationerna för de olika testuppsättningarna
• Även om data scientists inte utför fullständiga korsvalideringar, kan de använda två olika datauppsättningar för tester och validering. Mindre diskrepans mellan felrater för test- och valideringsdatauppsättningarna indikerar högre resiliens
• Om modellen övervakas ordentligt i produktion, kan felraterna ses över tid. Konsekvensen i felraterna över tid är ett gott tecken på modellresiliens.
• Om modellövervakningslösningen tar hänsyn till drift, bör data scientists också uppmärksamma hur väl modellen påverkas av den här indatadriften.

Att förändra data science-kulturen

Efter att en modell har distribuerats i operationaliseringsfasen, finns det fortfarande hot mot modellens noggrannhet. De två sista punkterna ovan om modellresiliens kräver redan ordentlig övervakning av modeller i produktion. Som en startpunkt för en förändring av data science-kulturen är företag välrådda att investera i ordentlig modellövervakning och att börja hålla data scientists ansvariga för bristen på prestanda efter att modeller har satts i produktion. Detta kommer omedelbart att förändra kulturen från en modellbyggarkultur till en värdeskapande- och hållbarhetskultur för data science-området.

Som nyliga världshändelser har visat oss, förändras världen snabbt. Nu, mer än någonsin, behöver vi bygga resilienta modeller – inte bara exakta modeller – för att fånga meningsfull affärspåverkan över tid. Kaggle, till exempel, är värd för en utmaning för att mobilisera data scientists runt om i världen för att hjälpa till att bygga modelllösningar för att användas i den globala kampen mot COVID-19. Jag förväntar mig att de mest framgångsrika modellerna som produceras som ett resultat av denna utmaning kommer att vara de mest resilienta, inte de mest exakta, eftersom vi har sett hur snabbt COVID-19-data kan förändras på en enda dag.

Data science bör handla om att hitta sanningen, inte om att producera den “bästa” modellen. Genom att hålla oss till en högre standard för resiliens över noggrannhet, kommer data scientists att kunna leverera mer affärspåverkan för våra organisationer och hjälpa till att forma framtiden på ett positivt sätt.