Overfortolkning kan være en større og mere uovervindelig trussel end overtilpasning

Hvis din gode ven Alice gerne bærer gule sweatre, vil du se mange flere gule sweatre end gennemsnittet. Efter et stykke tid er det muligt, at når du ser en anden kvinde, der bærer en gul sweater, vil den grundlæggende idé Alice springe til live.

Hvis du ser en kvinde, der bærer en gul sweater, der ligner Alice en smule, kan du endda midlertidigt forveksle hende med din ven.

Men det er ikke Alice. Til sidst vil du indse, at gul sweater ikke er en nyttig nøgle til at identificere Alice, da hun aldrig bærer dem om sommeren og ikke altid bærer dem om vinteren heller. Et stykke inde i venskabet vil du begynde at nedgradere gul sweater som en mulig Alice-identifikator, fordi din oplevelse af det har været utilfredsstillende, og den kognitive energi, der bruges til at opretholde denne genvej, belønnes ikke ofte.

Hvis du er et computerbaseret genkendelsessystem, er det dog muligt, at du ser Alice overalt, hvor du ser en gul sweater.

Det er ikke din fejl; du er blevet bedt om at identificere Alice til enhver pris, fra den mindste tilgængelige information, og der er ingen mangel på kognitive ressourcer til at opretholde denne reducerende Alice-kryds.

Uncanny Discernment

Ifølge en ny rapport fra MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) og Amazon Web Services, er dette syndrom, kaldet overfortolkning, udbredt i computer vision (CV)-forskningen; kan ikke afhjælpes ved at adresse overtilpasning (da det ikke er en direkte tilføjelse til overtilpasning); er almindeligt forekommende i forskning, der bruger de to mest indflydelsesrige datasæt i billedgenkendelse og -transformation, CIFAR-10 og ImageNet; og har ingen lette løsninger – bestemt ingen billige løsninger.

Forskerne fandt, at når de reducerede inputtræningsbilleder til kun 5% af deres samlede indhold, fortsatte en bred vifte af populære rammer med at korrekt klassificere billederne, som i de fleste tilfælde fremstod som visuelt “nonsens” for et menneskeligt øje:

Oprindelige træningsbilleder fra CIFAR-10, reduceret til kun 5% af det oprindelige pixelindhold, men korrekt klassificeret af en række populære computer vision-rammer med en nøjagtighed på mellem 90-99%. Kilde: https://arxiv.org/pdf/2003.08907.pdf

I nogle tilfælde fandt klassificeringsrammerne disse reducerede billeder lettere at klassificere end de fulde billeder i den oprindelige træningsdata, og forfatterne observerede ‘[CNNs] er mere sikre på disse pixels-undermængder end på fulde billeder’.

Dette indikerer en potentielt undergravende form for “snyd” som forekommer som almindelig praksis for CV-systemer, der bruger benchmark-datasæt som CIFAR-10 og ImageNet, og benchmark-rammer som VGG16, ResNet20 og ResNet18.

Overfortolkning har betydelige konsekvenser for CV-baserede autonome køretøjsystemer, der er kommet i fokus med Teslas beslutning om at favorisere billedfortolkning over LiDAR og andre strålebaserede sensorsystemer til selv kørende algoritmer.

Selvom “genvejslæring” er en kendt udfordring, og et aktivt forskningsområde i computer vision, kommenterer forfatterne, at den tysk-canadiske forskning, der fremhævede problemet i 2019, ikke anerkender, at de “spuriske” pixels-undermængder, der kendetegner overfortolkning, er “statistisk gyldige data”, der måske skal behandles i forhold til arkitektur og højere niveau-tilgange, snarere end gennem mere omhyggelig kuratering af datasæt.

Den rapport hedder Overfortolkning afslører billedklassificeringsmodelpatologier og stammer fra Brandon Carter, Siddhartha Jain og David Gifford fra CSAIL i samarbejde med Jonas Mueller fra Amazon Web Services. Koden til rapporten er tilgængelig på https://github.com/gifford-lab/overinterpretation.

Paring Down the Data

De data-strippede billeder, som forskerne har brugt, kaldes af dem Tilstrækkelige Input-Undermængder (SIS) – i virkeligheden en SIS-billede, der indeholder den mindst mulige “yderste chassis”, der kan afgrænse et billede tilstrækkeligt til, at et computer vision-system kan identificere det oprindelige emne for billedet (dvs. hund, skib osv.).

I ovenstående række ser vi komplette ImageNet-valideringsbilleder; nedenfor SIS-undermængderne, der korrekt klassificeres af en Inception V3-model med 90% sikkerhed, baseret på alt, der er tilbage af billedet – baggrundskontekst. Naturligvis har den sidste kolonne betydelige implikationer for skiltegenkendelse i selv kørende køretøjsalgoritmer.

I forbindelse med resultaterne i ovenstående billede kommenterer forskerne:

‘Vi finder, at SIS-pixels er koncentreret uden for det faktiske objekt, der bestemmer klasselabel. For eksempel i “pizza”-billedet er SIS koncentreret på formen af tallerkenen og baggrundsbordet, snarere end pizzan selv, hvilket antyder, at modellen kan generalisere dårligt på billeder med forskellige cirkulære genstande på et bord. I “giant panda”-billedet indeholder SIS bambus, der sandsynligvis optrådte i samlingen af ImageNet-fotos for denne klasse.

‘I “trafiklys”- og “gade-skilt”-billederne består SIS af pixels i himlen, hvilket sandsynligvis antyder, at autonome køretøjsystemer, der måske afhænger af disse modeller, skal vurderes omhyggeligt for overfortolkningspatologier.’

SIS-billeder er ikke klippet tilfældigt, men er blevet oprettet til projektet ved en Batched Gradient Backselect-proces på Inception V3 og ResNet50 via PyTorch. Billederne er afledt af en ablationsrute, der tager hensyn til forholdet mellem en models evne til at klassificere et billede korrekt og de områder, hvor den oprindelige data iterativt fjernes.

For at bekræfte gyldigheden af SIS testede forfatterne en proces med tilfældig pixel-fjernelse og fandt resultaterne “væsentligt mindre informative” i tests, hvilket indikerer, at SIS-billeder virkelig repræsenterer den mindst mulige data, som populære modeller og datasæt behøver for at gøre acceptabelle forudsigelser.

Et blik på noget af de reducerede billeder antyder, at disse modeller burde fejle i overensstemmelse med menneskeligt visuelt diskriminationsniveau, hvilket ville føre til en median-nøjagtighed på under 20%.

Med SIS-billeder reduceret til kun 5% af deres oprindelige pixels, opnår mennesker kun en “større end tilfældig” klassificeringsrate, i modsætning til de 90-99% succesraten for de populære datasæt og rammer, der er studeret i rapporten.

Beyond The Overfit

Overtilpasning forekommer, når en maskinlæringsmodel træner så omfattende på et datasæt, at den bliver dygtig til at gøre forudsigelser for det specifikke data, men er langt mindre effektiv (eller endda helt ineffektiv) på frisk data, der introduceres til den efter træning (uden for distribution data).

Forskerne bemærker, at den nuværende akademiske og industrielle interesse for at bekæmpe overtilpasning ikke vil løse overfortolkning samtidig, fordi de reducerede pixels-undermængder, der repræsenterer genkendelige billeder for computere og meningsløse prikker for mennesker, faktisk er gyldige data, snarere end en “besat” koncentration på dårligt kurateret eller anæmisk data:

‘Overfortolkning er relateret til overtilpasning, men overtilpasning kan diagnosticeres via reduceret testnøjagtighed. Overfortolkning kan stamme fra sande statistiske signaler i den underliggende datasætsdistribution, der opstår fra bestemte egenskaber af datakilden (f.eks. dermatologers målebånd).

‘Derfor kan overfortolkning være sværere at diagnosticere, da den tillader beslutninger, der tages på statistisk gyldige kriterier, og modeller, der bruger sådanne kriterier, kan udmærke sig på benchmark.

Possible Solutions

Forfatterne foreslår, at model-sammenlægning, hvor multiple arkitekturer bidrager til evalueringen og træningsprocessen, kunne bidrage til at mildne overfortolkning. De fandt også, at anvendelse af input-dropout, der oprindeligt var designed til at forhindre overtilpasning, førte til en “lille nedgang” i CIFAR-10-testnøjagtighed (hvilket sandsynligvis er ønskeligt), men en “væsentlig” (∼ 6%) øgning i modellernes nøjagtighed på usete data. Imidlertid antyder de lave tal, at enhver efterfølgende kur mod overtilpasning er usandsynlig at fuldstændigt løse overfortolkning.

Forfatterne erkender muligheden for at bruge saliency-kort til at angive, hvilke områder af et billede er relevante for funktionsextraktion, men bemærker, at dette modsiger målet om automatiseret billedfortolkning, og kræver menneskelig annotation, der er ufeasibel i stor skala. De observerer yderligere, at saliency-kort er blevet fundet til at være kun grove estimater i forhold til indsigt i modeloperationer.

Rapporten slutter:

‘Givet eksistensen af ikke-saliency-pixels-undermængder, der alene er tilstrækkelige til korrekt klassificering, kan en model kun afhænge af disse mønstre. I dette tilfælde skal en fortolkningsmetode, der troværdigt beskriver modellen, udgive disse meningsløse begrundelser, hvorimod fortolkningsmetoder, der tilskynder begrundelser mod menneskelige prioriteringer, kan producere resultater, der forfører brugere til at tro, at deres modeller opfører sig, som de er tiltænkt.’

Først udgivet den 13. januar 2022.