Overfortolkning Kan Være En Større Og Mere Uovervindelig Trussel End Overtilpasning

Hvis din gode ven Alice gerne bærer gule sweatre, vil du se mange flere gule sweatre end gennemsnitspersonen. Efter et stykke tid er det muligt, at når du ser en anden kvinde iført en gul sweater, vil kernebegrebet Alice springe til mente.

Hvis du ser en kvinde iført en gul sweater, der ligner Alice lidt, kan du endda midlertidigt tage hende for din ven.

Men det er ikke Alice. Til sidst vil du indse, at gul sweater ikke er en nyttig nøgle til at identificere Alice, da hun aldrig bærer dem om sommeren og ikke altid bærer dem om vinteren heller. På et tidspunkt i venskabet vil du begynde at nedgradere gul sweater som en mulig Alice-identifikator, fordi din oplevelse af det har været utilfredsstillende, og den kognitive energi, der bruges til at opretholde denne genvej, ikke ofte belønnes.

Hvis du er et computerbaseret genkendelsessystem, er det dog muligt, at du ser Alice overalt, hvor du ser en gul sweater.

Det er ikke din fejl; du er blevet bedt om at identificere Alice til enhver pris, fra den mindst tilgængelige information, og der er ingen mangel på kognitive ressourcer til at opretholde denne reductive Alice-kort.

Uncanny Discernment

Ifølge en ny artikel fra MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) og Amazon Web Services er dette syndrom, kaldet overfortolkning, udbredt i computer vision (CV)-forskningsfeltet; kan ikke afhjælpes ved at adresse overtilpasning (da det ikke er en direkte tilføjelse til overtilpasning); vises ofte i forskning, der anvender de to mest indflydelsesrige datasets i billedgenkendelse og transformation, CIFAR-10 og ImageNet; og har ingen lette løsninger – bestemt ingen billige løsninger.

Forskerne fandt, at når de reducerede inputtræningsbilleder til kun 5% af deres samlede indhold, fortsatte en bred vifte af populære rammer med at korrekt klassificere billederne, som i de fleste tilfælde fremstår som visuelt “vrøvl” for et menneskeligt øje:

Oprindelige træningsbilleder fra CIFAR-10, reduceret til kun 5% af det oprindelige pixelindhold, men korrekt klassificeret af en række meget populære computer vision-rammer med en nøjagtighed på mellem 90-99%. Kilde: https://arxiv.org/pdf/2003.08907.pdf

I visse tilfælde fandt klassificeringsrammerne faktisk, at disse reducerede billeder var lettere at klassificere korrekt end de fulde billeder i den oprindelige træningsdata, med forfatterne observerer ‘[CNNs] er mere sikre på disse pixelsundermængder end på fulde billeder’.

Dette indikerer en potentielt undergravende type “snyd” som opstår som almindelig praksis for CV-systemer, der anvender benchmark-datasets som CIFAR-10 og ImageNet, og benchmark-rammer som VGG16, ResNet20 og ResNet18.

Overfortolkning har bemærkelsesværdige konsekvenser for CV-baserede autonome køretøjsystemer, som er kommet i fokus med Teslas beslutning om at favorisere billedfortolkning over LiDAR og andre strålingsbaserede sensorsystemer til selvstyrende algoritmer.

Selvom “genvej-læring” er en kendt udfordring, og et aktivt forskningsområde i computer vision, kommenterer artiklens forfattere, at tysk-canadisk forskning, som fremhævede problemet i 2019, ikke erkender, at de “spurious” pixelsundermængder, der kendetegner overfortolkning, er “statistisk gyldige data”, som måske skal behandles i forhold til arkitektur og højere niveauer, snarere end gennem mere omhyggelig kuratering af datasets.

Artiklen er titleret Overfortolkning afslører billedklassificeringsmodelpatologier og stammer fra Brandon Carter, Siddhartha Jain og David Gifford på CSAIL i samarbejde med Jonas Mueller fra Amazon Web Services. Koden til artiklen er tilgængelig på https://github.com/gifford-lab/overinterpretation.

Paring Down the Data

De datastriberede billeder, som forskerne har anvendt, kaldes af dem Tilstrækkelige Inputundermængder (SIS) – i virkeligheden indeholder et SIS-billede det mindste mulige “ydre chassis”, der kan afgrænse et billede tilstrækkeligt til, at et computer vision-system kan identificere det oprindelige emne for billedet (dvs. hund, skib osv.).

I ovenstående række ser vi komplette ImageNet-valideringsbilleder; nedenfor SIS-undermængderne, korrekt klassificeret af en Inception V3-model med 90% sikkerhed, baseret, åbenbart, på alt, der er tilbage af billedet – baggrundskontekst. Naturligvis har den sidste kolonne bemærkelsesværdige konsekvenser for skiltgenkendelse i selvstyrende køretøjsalgoritmer.

Kommenterende til resultaterne i ovenstående billede, observerer forskerne:

‘Vi finder, at SIS-pixels er koncentreret uden for det faktiske objekt, der bestemmer klasselabel. For eksempel i “pizza”-billedet er SIS koncentreret omkring formen på tallerkenen og baggrunden, snarere end pizzan selv, hvilket antyder, at modellen kunne generalisere dårligt på billeder med forskellige cirkulære genstande på en tallerken. I “giant panda”-billedet indeholder SIS bambus, som sandsynligvis optrådte i samlingen af ImageNet-fotos for denne klasse.

‘I “trafiklys”- og “vejskilt”-billederne består SIS af pixels i himlen, hvilket antyder, at selvstyrende køretøjsystemer, der måske afhænger af disse modeller, bør vurderes omhyggeligt for overfortolkningssyndromer.’

SIS-billeder er ikke klippet tilfældigt, men blev oprettet til projektet ved en Batched Gradient Backselect-proces på Inception V3 og ResNet50 via PyTorch. Billederne er afledt af en ablationsrute, der tager hensyn til forholdet mellem en models evne til at klassificere et billede korrekt og de områder, hvor den oprindelige data iterativt fjernes.

For at bekræfte SIS’ gyldighed testede forfatterne en proces med tilfældig pixel-fjernelse og fandt resultaterne “væsentligt mindre informative” i tests, hvilket antyder, at SIS-billeder virkelig repræsenterer det mindste data, som populære modeller og datasets behøver for at gøre acceptabelle forudsigelser.

Et blik på noget af de reducerede billeder antyder, at disse modeller burde fejle i overensstemmelse med menneskelige niveauer af visuel diskrimination, hvilket ville føre til en median-nøjagtighed på under 20%.

Med SIS-billeder reduceret til kun 5% af deres oprindelige pixels, opnår mennesker kun en “større end tilfældig” klassificeringssuccesrate, vs. 90-99% succesraten for de populære datasets og rammer, der er studeret i artiklen.

Beyond The Overfit

Overtilpasning opstår, når en maskinlæringsmodel træner så omfattende på en dataset, at den bliver dygtig til at gøre forudsigelser for den specifikke data, men er langt mindre effektiv (eller endda helt ineffektiv) på frisk data, der introduceres til den efter træning (out-of-distribution data).

Forskerne bemærker, at den nuværende akademiske og industrielle interesse for at bekæmpe overtilpasning ikke vil løse overfortolkning samtidigt, fordi de reducerede pixelsundermængder, der repræsenterer identificerbare billeder for computere og meningsløse pletter for mennesker, faktisk er gyldige data, snarere end en “besat” koncentration på dårligt kurateret eller anæmisk data:

‘Overfortolkning er relateret til overtilpasning, men overtilpasning kan diagnosticeres via reduceret testnøjagtighed. Overfortolkning kan stamme fra sande statistiske signaler i den underliggende datasetfordeling, der skyldes bestemte egenskaber hos datakilden (f.eks. dermatologers regler).

‘Derfor kan overfortolkning være sværere at diagnosticere, da den tillader beslutninger, der tages på statistisk gyldige kriterier, og modeller, der anvender sådanne kriterier, kan udmærke sig på benchmarks.’

Possible Solutions

Forfatterne foreslår, at model-ensembling, hvor multiple arkitekturer bidrager til evaluering og træning, kunne gå nogen vej til at mindske overfortolkning. De fandt også, at anvendelse af input-dropout, oprindeligt designet til at forhindre overtilpasning, førte til “en lille nedgang” i CIFAR-10-testnøjagtighed (hvilket sandsynligvis er ønskeligt), men en “betydelig” (∼ 6%) øgning i modellernes nøjagtighed på usete data. Imidlertid antyder de lave tal, at eventuelle kureringer for overtilpasning er usandsynlige at fuldstændigt løse overfortolkning.

Forfatterne indrømmer muligheden for at anvende saliency-kort for at angive, hvilke områder af et billede er relevante for funktionsextraktion, men bemærker, at dette modsiger målet om automatisk billedfortolkning, og kræver menneskelig annotering, der er uigennemførlig i stor skala. De observerer yderligere, at saliency-kort er blevet fundet at være kun grove estimater i forhold til indsigt i modeloperationer.