Overfortolkning kan være en større og mer uhåndterbar trussel enn overfitting

Hvis din gode venn Alice liker å bære gule gensere, vil du se mange flere gule gensere enn gjennomsnittspersonen. Etter en stund er det mulig at når du ser en annen kvinne som bærer en gul genser, vil hovedkonseptet Alice springe til mente.

Hvis du ser en kvinne som bærer en gul genser som ligner Alice litt, kan du kanskje til og med forveksle henne med din venn.

Men det er ikke Alice. Til slutt vil du innse at gul genser ikke er en nyttig nøkkel for å identifisere Alice, siden hun aldri bærer dem om sommeren, og ikke alltid bærer dem om vinteren heller. Et stykke inn i vennskapet vil du begynne å nedgradere gul genser som en mulig Alice-identifikator, fordi din erfaring med det har vært utilfredsstillende, og den kognitive energien som brukes til å vedlikeholde denne snarveien ikke ofte belønnes.

Hvis du er et datamaskinbasert gjenkjennelsessystem, er det imidlertid mulig at du ser Alice overalt hvor du ser en gul genser.

Dette er ikke din feil; du har blitt bedt om å identifisere Alice til enhver pris, fra den minste tilgjengelige informasjon, og det finnes ingen mangel på kognitive ressurser for å vedlikeholde denne reduserte Alice-krybbe.

Uncanny Discernment

Ifølge en nylig artikkel fra MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) og Amazon Web Services, er dette syndromet, kalt overfortolkning, utbredt i datamaskinbasert gjenkjennelsesforskning; kan ikke mildnes ved å adresse overfitting (siden det ikke er en direkte tilleggsdel til overfitting); er vanligvis å se i forskning som bruker de to mest innflytelsesrike datasettene i bildeigenkjenning og transformasjon, CIFAR-10 og ImageNet; og har ingen enkle løsninger – bestemt ingen billige løsninger.

Forskerne fant at når de reduserte innputt-treningbilder til bare 5% av deres sammenhengende innhold, fortsatte en rekke populære rammer å klassifisere bildene riktig, som i de fleste tilfeller, ser ut som visuelt “rot” for et menneskelig øye:

Opprinnelige treningbilder fra CIFAR-10, redusert til bare 5% av det opprinnelige pikselinnholdet, men klassifisert riktig av en rekke populære datamaskinbaserte gjenkjennelsesrammer med en nøyaktighet på mellom 90-99%. Kilde: https://arxiv.org/pdf/2003.08907.pdf

I noen tilfeller fant klassifiseringsrammene disse reduserte bildene lettere å klassifisere riktig enn de fulle ramene i den opprinnelige treningdataen, med at forfatterne observerte ‘[CNNs] er mer sikre på disse pikselundersettene enn på fulle bilder’.

Dette indikerer en potensielt undergravende type “juks” som skjer som vanlig praksis for datamaskinbaserte gjenkjennelsessystemer som bruker benchmark-datasett som CIFAR-10 og ImageNet, og benchmark-rammer som VGG16, ResNet20 og ResNet18.

Overfortolkning har betydelige konsekvenser for datamaskinbaserte autonome kjøretøysystemer, som har kommet i fokus nylig med Teslas beslutning om å favorisere bilde-tolkning over LiDAR og andre strålebaserte sanntidssystemer for selvkjørende algoritmer.

Selv om “shortcut-læring” er en kjent utfordring, og et felt for aktiv forskning i datamaskinbasert gjenkjennelse, kommenterer artikkelforfatterne at den tysk-kanadiske forskningen som rammet problemet i 2019, ikke anerkjenner at de “spuriøse” pikselundersettene som kjennetegner overfortolkning, er “statistisk gyldige data”, som kan måtte håndteres i termer av arkitektur og høyere-nivå-tilnærminger, snarere enn gjennom mer omhyggelig kurasjon av datasett.

Den artikkelen heter Overfortolkning avslører bildeklassifiseringsmodellpatologier, og kommer fra Brandon Carter, Siddhartha Jain og David Gifford ved CSAIL, i samarbeid med Jonas Mueller fra Amazon Web Services. Kode for artikkelen er tilgjengelig på https://github.com/gifford-lab/overinterpretation.

Paring Down the Data

De data-strippede bildene som forskerne har brukt, kalles av dem Tilstrekkelige Inndata-undersett (SIS) – i virkeligheten, inneholder et SIS-bilde det minste mulige “ytre skjelett” som kan avgrense et bilde godt nok til å la en datamaskinbasert gjenkjennelsessystem identifisere det opprinnelige emnet i bildet (dvs. hund, skip, osv.).

I den øverste raden ser vi komplette ImageNet-valideringsbilder; under, SIS-undersettene, klassifisert riktig av en Inception V3-modell med 90% konfidens, basert, åpenbart, på alt som gjenstår av bildet – bakgrunnskontekst. Naturligvis har den siste kolonnen betydelige implikasjoner for skiltegenkjenning i selvkjørende kjøretøysalgoritmer.

I kommentar til resultater i ovenstående bilde, observerer forskerne:

‘Vi finner at SIS-piksler er konsentrert utenfor det faktiske objektet som bestemmer klasselabelen. For eksempel, i “pizza”-bildet, er SIS konsentrert på formen av tallerkenen og bakgrunnsbordet, snarere enn pizzan selv, hvilket tyder på at modellen kunne generalisere dårlig på bilder som inneholder forskjellige runde objekter på et bord. I “giant panda”-bildet, inneholder SIS bambus, som sannsynligvis dukket opp i samlingen av ImageNet-fotoer for denne klassen.

‘I “trafikkllys” og “gate-skilt”-bildene, består SIS av piksler i skyen, hvilket tyder på at selvkjørende kjøretøysystemer som kan avhenge av disse modellene, bør vurderes nøye for overfortolkningspatologier.’

SIS-bilder er ikke stripet på måfå, men ble skapt for prosjektet ved en Batched Gradient Backselect-prosess, på Inception V3 og ResNet50 via PyTorch. Bildene er avledet av en ablasjonsrutine som tar hensyn til forholdet mellom en modells evne til å klassifisere et bilde nøyaktig og områdene hvor den opprinnelige dataen iterativt fjernes.

For å bekrefte gyldigheten av SIS, testet forfatterne en prosess med tilfeldig piksel-fjerning, og fant resultater som var “betydelig mindre informativ” i tester, hvilket indikerer at SIS-bilder virkelig representerer det minste data som populære modeller og datasett trenger for å gjøre akseptable prediksjoner.

Et blikk på noen av de reduserte bildene tyder på at disse modellene burde feile i samsvar med menneskelige nivåer av visuell diskriminering, som ville føre til en median-nøyaktighet på mindre enn 20%.

Med SIS-bilder redusert til bare 5% av det opprinnelige pikselinnholdet, oppnår mennesker bare en ‘større enn tilfeldig’ klassifiserings-suksessrate, vs. den 90-99% suksessrate som populære datasett og rammer som er studert i artikkelen.

Beyond The Overfit

Overfitting skjer når en maskinlæringsmodell trener så omfattende på et datasett at den blir dyktig i å gjøre prediksjoner for det spesifikke datasettet, men er mye mindre effektiv (eller helt ineffektiv) på fersk data som blir introdusert til den etter trening (utenfor-distribusjon data).

Forskerne bemerker at den nåværende akademiske og industrielle interessen for å bekjempe overfitting, ikke vil løse overfortolkning samtidig, fordi de stripede piksel-undersettene som representerer identifiserbare bilder for datamaskiner og meningsløse klatter for mennesker, faktisk er gyldige data, snarere enn en “obsedd” konsentrasjon på dårlig kurerte eller anemiske data:

‘Overfortolkning er relatert til overfitting, men overfitting kan diagnostiseres via redusert testnøyaktighet. Overfortolkning kan stamme fra sanne statistiske signaler i den underliggende dataset-distribusjonen som skjer fra bestemte egenskaper ved datakilden (f.eks. dermatologers regler).

‘Derfor kan overfortolkning være vanskeligere å diagnostisere, da den tillater beslutninger som tas av statistisk gyldige kriterier, og modeller som bruker slike kriterier kan utmerke seg på benchmark.

Possible Solutions

Forfatterne foreslår at modell-ensembling, hvor flere arkitekturer bidrar til evalueringen og treningprosessen, kunne gå en del av veien for å mildne overfortolkning. De fant også at å bruke input-dropout, opprinnelig designet for å hindre overfitting, ledet til ‘en liten reduksjon’ i CIFAR-10-testnøyaktighet (som sannsynligvis er ønskelig), men en ‘betydelig’ (∼ 6%) økning i modellens nøyaktighet på usette data. Imidlertid tyder de lave tallene på at noen påfølgende kur for overfitting er usannsynlig å fullstendig håndtere overfortolkning.

Forfatterne innrømmer muligheten for å bruke saliens-kart for å indikere hvilke områder av et bilde som er relevante for trekkeutvalg, men bemerker at dette motsier målet om automatisert bilde-parsing, og krever menneskelig annotering som er uforenlig i skala. De observerer videre at saliens-kart har blitt funnet å være kun grove estimatere i termer av innsikt i modell-operasjoner.

Artikkelen konkluderer:

‘Gitt eksistensen av ikke-saliens-piksel-undersett som alene er tilstrekkelige for korrekt klassifisering, kan en modell kun basere seg på slike mønster. I dette tilfelle burde en tolkningsmetode som trofast beskriver modellen, utgi disse meningsløse rasjoner, mens tolkningsmetoder som biaser rasjoner mot menneskelige prioriteringer, kan produsere resultater som misleder brukerne til å tro at deres modeller oppfører seg som intendert.’

Først publisert 13. januar 2022.