Hva er Overfitting?

Hva er Overfitting?

Når du trener et neuralt nettverk, må du unngå overfitting. Overfitting er et problem innen maskinlæring og statistikk der en modell lærer mønsterene i en treningssammenstilling for godt, og fullstendig forklarer treningssammenstillingen, men mislykkes i å generalisere sin prediktive kraft til andre datamengder.

For å si det på en annen måte, i tilfelle av en overfitting-modell vil den ofte vise ekstremt høy nøyaktighet på treningssammenstillingen, men lav nøyaktighet på data som er samlet inn og kjørt gjennom modellen i fremtiden. Dette er en kort definisjon av overfitting, men la oss gå gjennom konseptet om overfitting i mer detalj. La oss se på hvordan overfitting skjer og hvordan det kan unngås.

Forstå “Fit” og Underfitting

Det er nyttig å se på konseptet om underfitting og “fit” generelt når vi diskuterer overfitting. Når vi trener en modell, prøver vi å utvikle en ramme som er i stand til å forutsi naturen, eller klassen, av elementer i en datamengde, basert på egenskapene som beskriver disse elementene. En modell bør være i stand til å forklare et mønster i en datamengde og forutsi klassene til fremtidige datapunkter basert på dette mønsteret. Jo bedre modellen forklarer forholdet mellom egenskapene i treningssammenstillingen, jo bedre “fit” er vår modell.

Blå linje representerer forutsigelser fra en modell som underfitter, mens den grønne linjen representerer en bedre fit-modell. Foto: Pep Roca via Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

En modell som dårlig forklarer forholdet mellom egenskapene i treningssammenstillingen og derfor mislykkes i å nøyaktig klassifisere fremtidige datapunkter, underfitter treningssammenstillingen. Hvis du skulle grafisk fremstille den forventede sammenhengen av en underfitting-modell mot den faktiske sammenhengen av egenskaper og merker, ville forutsigelsene avvike fra merket. Hvis vi hadde en graf med de faktiske verdiene av en treningssammenstilling merket, ville en alvorlig underfitting-modell drastisk misse de fleste datapunktene. En modell med en bedre fit kunne kutte en vei gjennom midten av datapunktene, med enkelt datapunkter som avviker fra de forventede verdiene bare litt.

Underfitting kan ofte skje når det ikke er tilstrekkelig data til å lage en nøyaktig modell, eller når man prøver å designe en lineær modell med ikke-lineær data. Mer treningssammenstilling eller flere egenskaper vil ofte hjelpe med å redusere underfitting.

Hvorfor ville vi ikke bare lage en modell som forklarer hver punkt i treningssammenstillingen fullstendig? Sikkerhet er jo ønskelig? Å lage en modell som har lært mønsterene i treningssammenstillingen for godt, er det som forårsaker overfitting. Treningssammenstillingen og andre, fremtidige datamengder du kjører gjennom modellen, vil ikke være helt like. De vil sannsynligvis være svært like på mange måter, men de vil også skille seg på nøkkelområder. Derfor, å designe en modell som forklarer treningssammenstillingen fullstendig, betyr at du ender opp med en teori om forholdet mellom egenskaper som ikke generaliserer godt til andre datamengder.

Forstå Overfitting

Overfitting skjer når en modell lærer detaljene i treningssammenstillingen for godt, og forårsaker at modellen lider når forutsigelser gjøres på utenforliggende data. Dette kan skje når modellen ikke bare lærer egenskapene i datamengden, men også lærer tilfeldige fluktuasjoner eller støy i datamengden, og legger vekt på disse tilfeldige/uviktige hendelser.

Overfitting er mer sannsynlig å skje når ikke-lineære modeller brukes, da de er mer fleksible når de lærer dataegenskaper. Ikke-parametriske maskinlæringsalgoritmer har ofte flere parametre og tekniker som kan brukes til å begrense modellens sensitivitet til data og dermed redusere overfitting. For eksempel, beslutningstre-modeller er svært sensitive til overfitting, men en teknikk som kalles pruning kan brukes til å fjernet noen av detaljene som modellen har lært.

Hvis du skulle grafisk fremstille forutsigelsene til modellen på X- og Y-aksene, ville du ha en forutsigelseslinje som zigzagger frem og tilbake, som reflekterer det faktum at modellen har prøvd for hardt å passe alle punktene i datamengden inn i sin forklaring.

Kontrollere Overfitting

Når vi trener en modell, ønsker vi ideelt at modellen ikke gjør noen feil. Når modellens ytelse konvergerer mot å gjøre korrekte forutsigelser på alle datapunktene i treningssammenstillingen, blir fiten bedre. En modell med en god fit er i stand til å forklare nesten hele treningssammenstillingen uten å overfitte.

Ettersom modellen trener, blir ytelsen bedre over tid. Modellens feilrate vil avta etterhvert som treningstiden passerer, men den avtar bare til en viss grense. Grensepunktet der modellens ytelse på testsettet begynner å stige igjen, er vanligvis punktet der overfitting skjer. For å få den beste fiten for en modell, ønsker vi å stoppe treningen av modellen på punktet med lavest tap på treningssammenstillingen, før feilen begynner å øke igjen. Det optimale stoppunktet kan fastslås ved å grafisk fremstille modellens ytelse gjennom treningstiden og stoppe treningen når tapet er lavest. Imidlertid er en risiko med denne metoden for å kontrollere overfitting at å angi endepunktet for treningen basert på testytelse betyr at testdataene blir inkludert i treningprosessen, og de mister sin status som ren “utilberørt” data.

Det finnes flere måter å bekjempe overfitting på. En måte å redusere overfitting på er å bruke en resamplingsteknikk, som opererer ved å estimere modellens nøyaktighet. Du kan også bruke en valideringssammenstilling i tillegg til testsettet og plotte treningssammenstillingen mot valideringssammenstillingen i stedet for testsettet. Dette holder testdataene utilberørte. En populær resampling-metode er K-folds kryssvalidering. Denne teknikken gjør det mulig å dele datamengden inn i undermengder som modellen trenes på, og deretter analyseres modellens ytelse på undermengdene for å estimere hvordan modellen vil fungere på utenforliggende data.

Å bruke kryssvalidering er en av de beste måtene å estimere en modells nøyaktighet på utenforliggende data, og når kombinert med en valideringssammenstilling, kan overfitting ofte holdes til et minimum.