Övertolkning kan vara ett större och svårare hot än överanpassning

Om din gode vän Alice gillar att bära gula tröjor, kommer du att se många fler gula tröjor än genomsnittspersonen. Efter en tid är det möjligt att när du ser en annan kvinna som bär en gul tröja, kommer grundkonceptet Alice att dyka upp i ditt medvetande.

Om du ser en kvinna som bär en gul tröja som liknar Alice lite, kan du till och med för en kort stund förväxla henne med din vän.

Men det är inte Alice. Till slut kommer du att inse att gul tröja inte är en användbar nyckel för att identifiera Alice, eftersom hon aldrig bär dem på sommaren och inte alltid bär dem på vintern heller. Någonstans i vänskapen kommer du att börja nedvärdera gul tröja som en möjlig Alice-identifierare, eftersom din erfarenhet av det har varit otillfredsställande, och den kognitiva energin som används för att upprätthålla denna genväg inte ofta belönas.

Om du är ett datorseende-baserat erkännande-system, är det dock möjligt att du ser Alice överallt där du ser en gul tröja.

Det är inte ditt fel; du har fått i uppdrag att identifiera Alice till varje pris, från den minsta tillgängliga informationen, och det finns inget underskott på kognitiv energi för att upprätthålla denna reducerande Alice-krycka.

Övertolkning

Enligt en nyligen publicerad artikel från MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) och Amazon Web Services, är detta syndrom, som kallas övertolkning, vanligt i datorseende-forskningen; kan inte lindras genom att adressera överanpassning (eftersom det inte är en direkt följd av överanpassning); är vanligt förekommande i forskning som använder de två mest inflytelserika dataseten för bildigenkänning och transformation, CIFAR-10 och ImageNet; och har inga enkla lösningar – definitivt inga billiga lösningar.

Forskarna fann att när de reducerade indata-träningsbilderna till bara 5% av deras sammanhängande innehåll, fortsatte en stor mängd populära ramverk att korrekt klassificera bilderna, som i de flesta fall ser ut som visuellt “svammel” för en mänsklig observatör:

Original träningsbilder från CIFAR-10, reducerade till bara 5% av det ursprungliga pixelinnehållet, men fortfarande korrekt klassificerade av en mängd olika populära datorseende-ramverk med en noggrannhet på mellan 90-99%. Källa: https://arxiv.org/pdf/2003.08907.pdf

I vissa fall fann klassificeringsramverken att dessa nedskalade bilder var lättare att korrekt klassificera än de fullständiga ramarna i den ursprungliga träningsdatan, med författarna observerade ‘[CNNs] är mer säkra på dessa pixlar än på fullständiga bilder’.

Detta indikerar en potentiellt undergrävande typ av “fusk” som förekommer som vanlig praxis för datorseende-system som använder benchmark-dataset som CIFAR-10 och ImageNet, och benchmark-ramverk som VGG16, ResNet20 och ResNet18.

Övertolkning har betydande konsekvenser för datorseende-baserade autonoma fordonssystem, som nyligen har hamnat i fokus med Teslas beslut att föredra bildtolkning framför LiDAR och andra strålbaserade sensorsystem för självkörande algoritmer.

Även om “genvägsinlärning” är ett känt utmaning, och ett aktivt forskningsområde inom datorseende, kommenterar artikelförfattarna att den tysk-kanadensiska forskningen som ramade in problemet 2019 inte erkänner att de “felaktiga” pixlar-undermängderna som kännetecknar övertolkning är “statistiskt giltiga data”, som kan behöva adresseras i termer av arkitektur och högre nivåer, snarare än genom mer noggrann kurering av dataset.

Artikeln heter Övertolkning avslöjar bildklassificeringsmodellpatologier, och kommer från Brandon Carter, Siddhartha Jain och David Gifford på CSAIL, i samarbete med Jonas Mueller från Amazon Web Services. Koden för artikeln finns tillgänglig på https://github.com/gifford-lab/overinterpretation.

Att reducera datan

De dataredigerade bilderna som forskarna har använt kallas av dem Tillräckliga indata-undermängder (SIS) – i effekt, en SIS-bild innehåller den minsta möjliga “yttre chassi” som kan avgränsa en bild tillräckligt bra för att en datorseende-system ska kunna identifiera den ursprungliga föremålet för bilden (dvs. hund, fartyg, etc.).

I raden ovan ser vi fullständiga ImageNet-valideringsbilder; nedan, SIS-undermängderna, korrekt klassificerade av en Inception V3-modell med 90% säkerhet, baserat på allt som återstår av bilden – bakgrundscontext. Naturligtvis har den sista kolumnen betydande konsekvenser för skyltigenkänning i självkörande fordon-algoritmer.

När de kommenterar resultaten i ovanstående bild, observerar forskarna:

‘Vi finner att SIS-pixlar är koncentrerade utanför det faktiska föremålet som bestämmer klassmärket. Till exempel, i “pizzabilden”, är SIS koncentrerad på formen av tallriken och bakgrundsduken, snarare än pizzan själv, vilket tyder på att modellen kan generalisera dåligt på bilder som innehåller olika cirkulära föremål på en duk. I “jättepandabilden” innehåller SIS bambu, som troligen förekom i samlingen av ImageNet-foton för denna klass.

‘I “trafikljus”- och “vägskylt”-bilderna består SIS av pixlar i himlen, vilket tyder på att autonoma fordonssystem som kan förlita sig på dessa modeller bör utvärderas noggrant för övertolkningspatologier.’

SIS-bilder är inte skurna på måfå, utan skapades för projektet genom en Batched Gradient Backselect-process, på Inception V3 och ResNet50 via PyTorch. Bilderna är härledda genom en ablationsrutin som tar hänsyn till relationen mellan en modells förmåga att korrekt klassificera en bild och de områden där den ursprungliga datan iterativt tas bort.

För att bekräfta giltigheten av SIS, testade författarna en process för slumpmässig pixelborttagning, och fann resultaten “väsentligt mindre informativa” i tester, vilket indikerar att SIS-bilder genuint representerar den minsta datan som populära modeller och dataset behöver för att göra acceptabla förutsägelser.

En blick på någon av de reducerade bilderna antyder att dessa modeller borde misslyckas i linje med mänsklig visuell diskriminering, vilket skulle leda till en median noggrannhet på mindre än 20%.

Med SIS-bilder reducerade till bara 5% av deras ursprungliga pixlar, uppnår människor knappt en ‘större än slumpmässig’ klassificeringsframgång, jämfört med den 90-99% framgång som de populära dataseten och ramverken som studerades i artikeln uppnår.

Bortom överanpassning

Överanpassning inträffar när en maskinlärningsmodell tränas så omfattande på ett dataset att den blir skicklig på att göra förutsägelser för just det specifika datat, men är mycket mindre effektiv (eller till och med helt ineffektiv) på ny data som introduceras till den efter träningsfasen (utanför distributionen data).

Forskarna noterar att det nuvarande akademiska och industriella intresset för att bekämpa överanpassning inte kommer att lösa övertolkning samtidigt, eftersom de reducerade pixel-undermängderna som representerar identifierbara bilder för datorer och meningslösa kladdar för människor faktiskt är genuint tillämpliga data, snarare än en “besatt” koncentration på dåligt kuraterad eller anemisk data:

‘Övertolkning är relaterad till överanpassning, men överanpassning kan diagnostiseras via minskad testnoggrannhet. Övertolkning kan härröra från sanna statistiska signaler i den underliggande dataset-distributionen som härrör från särskilda egenskaper hos datakällan (t.ex. dermatologers linjaler).

‘Således kan övertolkning vara svårare att diagnostisera eftersom den tillåter beslut som görs av statistiskt giltiga kriterier, och modeller som använder sådana kriterier kan utmärka sig på benchmark-tester.’

Möjliga lösningar

Författarna föreslår att modell-ensembling, där flera arkitekturer bidrar till utvärderings- och träningsprocessen, kan gå något väg för att mildra övertolkning. De fann också att tillämpning av inmatningsbortfall, ursprungligen designad för att förhindra överanpassning, ledde till en “liten minskning” i CIFAR-10-testnoggrannhet (vilket troligen är önskvärt), men en “betydande” (∼ 6%) ökning av modellernas noggrannhet på osedda data. Dock tyder de låga siffrorna på att eventuella efterföljande botemedel för överanpassning är osannolika att fullständigt lösa övertolkning.

Författarna medger möjligheten att använda salienskarter för att indikera vilka områden av en bild som är relevanta för funktionsextrahering, men noterar att detta motsäger målet med automatisk bildtolkning, och kräver mänsklig annotering som är omöjlig i stor skala. De observerar vidare att salienskarter har visat sig vara bara grova uppskattningar i termer av insikt i modellens operationer.

Artikeln avslutas med:

‘Givet existensen av icke-saliens pixlar-undermängder som ensam räcker för korrekt klassificering, kan en modell enbart förlita sig på sådana mönster. I detta fall bör en tolkningsmetod som troget beskriver modellen producera dessa meningslösa resonemang, medan tolkningsmetoder som förvränger resonemang mot mänskliga prioriteringar kan producera resultat som vilseleder användare att tro att deras modeller beter sig som avsett.’

Publicerad första gången den 13 januari 2022.