Overinterpretatie kan een grotere en hardnekkigere bedreiging zijn dan overfitting

Als je goede vriendin Alice graag gele truien draagt, zul je veel meer gele truien zien dan de gemiddelde persoon. Na een tijdje is het mogelijk dat wanneer je een anders vrouw die een gele trui draagt, het kernconcept shot voor de geest zal komen.

Als je een vrouw ziet die een gele trui draagt ​​die lijkt op Alice een beetje, je zou haar zelfs even voor je vriend kunnen aanzien.

Maar het is niet Alice. Uiteindelijk ga je dat beseffen gele trui is geen bruikbare sleutel om Alice te identificeren, aangezien ze ze nooit in de zomer draagt, en ook niet altijd in de winter. Op een bepaald moment in de vriendschap begin je te downgraden gele trui als mogelijk shot identifier, omdat uw ervaring ervan onbevredigend is geweest, en de cognitieve energie die is gebruikt om dit in stand te houden kortere weg wordt niet vaak beloond.

Als je echter een op computervisie gebaseerd herkenningssysteem hebt, is het heel goed mogelijk dat je Alice overal ziet waar je een gele trui ziet.

Het is niet jouw fout; je bent belast met het identificeren van Alice ten koste van alles, op basis van de minimaal beschikbare informatie, en er is geen tekort aan cognitieve middelen om deze reductieve shot wieg.

Griezelig onderscheidingsvermogen

Volgens een recent artikel van het MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) en Amazon Web Services wordt dit syndroom, genaamd overinterpretatie, is wijdverbreid in het onderzoeksveld van computervisie (CV); kan niet worden verminderd door overfitting aan te pakken (aangezien het geen directe toevoeging is aan overfitting); komt vaak naar voren in onderzoek dat gebruik maakt van de twee meest invloedrijke datasets op het gebied van beeldherkenning en -transformatie, CIFAR-10 en IMAGEnet; en heeft geen gemakkelijke remedies - zeker niet goedkoop remedies.

De onderzoekers ontdekten dat bij het reduceren van invoertrainingsbeelden tot slechts 5% van hun coherente inhoud, een breed scala aan populaire kaders de beelden correct bleef classificeren, die in de meeste gevallen als visueel 'gebrabbel' voor elke menselijke waarnemer verschijnen:

Originele trainingsbeelden van CIFAR-10, teruggebracht tot slechts 5% van de originele pixelinhoud, maar toch correct geclassificeerd door een reeks zeer populaire computer vision-frameworks met een nauwkeurigheid van 90-99%. Bron: https://arxiv.org/pdf/2003.08907.pdf

In sommige gevallen vinden de classificatiekaders deze uitgeklede afbeeldingen daadwerkelijk gemakkelijker om correct te classificeren dan de volledige frames in de oorspronkelijke trainingsgegevens, waarbij de auteurs observeren '[CNN's] hebben meer vertrouwen in deze subsets van pixels dan in volledige afbeeldingen'.

Dit duidt op een potentieel ondermijnende vorm van 'vals spelen' dat gebruikelijk is voor CV-systemen die gebruikmaken van benchmark-datasets zoals CIFAR-10 en ImageNet, en benchmark-frameworks zoals VGG16, ResNet 20, en ResNet18.

Overinterpretatie heeft opmerkelijke gevolgen voor CV-gebaseerde autonome voertuigsystemen, die de laatste tijd in beeld zijn gekomen De beslissing van Tesla om beeldinterpretatie te verkiezen boven LiDAR en andere op stralen gebaseerde detectiesystemen voor zelfrijdende algoritmen.

Hoewel 'shortcut learning' een bekende uitdaging, en een veld van actief onderzoek in computervisie, merken de auteurs van het artikel op dat de  Duits/Canadees onderzoek die met name het probleem in 2019 omkaderde, erkent niet dat de 'onechte' pixelsubsets die kenmerkend zijn voor overinterpretatie, 'statistisch geldige gegevens' zijn, die mogelijk moeten worden aangepakt in termen van architectuur en benaderingen op hoger niveau, in plaats van door een zorgvuldiger curatie van datasets.

De papier is getiteld Overinterpretatie onthult pathologieën van beeldclassificatiemodellen, en komt van Brandon Carter, Siddhartha Jain en David Gifford van CSAIL, in samenwerking met Jonas Mueller van Amazon Web Services. Code voor het papier is beschikbaar op https://github.com/gifford-lab/overinterpretation.

De gegevens opsplitsen

De van gegevens ontdane afbeeldingen die de onderzoekers hebben gebruikt, worden door hen genoemd Voldoende invoersubsets (SIS) – in feite bevat een SIS-afbeelding het minimaal mogelijke 'buitenste chassis' dat een afbeelding goed genoeg kan afbakenen om een ​​computervisiesysteem in staat te stellen het oorspronkelijke onderwerp van de afbeelding te identificeren (dwz hond, verzenden, Enz.).

In de bovenstaande rij zien we volledige ImageNet-validatieafbeeldingen; hieronder de SIS-subsets, correct geclassificeerd door een Inception V3-model met 90% betrouwbaarheid, blijkbaar gebaseerd op alles wat overblijft van de afbeelding - achtergrondcontext. Uiteraard heeft de laatste kolom opmerkelijke implicaties voor de herkenning van bewegwijzering in algoritmen voor zelfrijdende voertuigen.

In reactie op de verkregen resultaten in de bovenstaande afbeelding, merken de onderzoekers op:

'We zien dat SIS-pixels geconcentreerd zijn buiten het daadwerkelijke object dat het klassenlabel bepaalt. In de 'pizza'-afbeelding is het SIS bijvoorbeeld geconcentreerd op de vorm van het bord en de achtergrondtafel, in plaats van op de pizza zelf, wat suggereert dat het model slecht zou kunnen generaliseren op afbeeldingen met verschillende ronde items op een tafel. In de afbeelding van de "reuzenpanda" bevat de SIS bamboe, die waarschijnlijk is verschenen in de verzameling ImageNet-foto's voor deze klas.

'In de afbeeldingen van 'verkeerslichten' en 'straatborden' bestaat het SIS uit pixels in de lucht, wat suggereert dat autonome voertuigsystemen die mogelijk afhankelijk zijn van deze modellen, zorgvuldig moeten worden geëvalueerd op overinterpretatiepathologieën.'

SIS-afbeeldingen worden niet willekeurig geschoren, maar zijn gemaakt voor het project door middel van een batchgradiënt-terugselectieproces, op Inception V3 en ResNet50 via PyTorch. De afbeeldingen worden afgeleid door een ablatieroutine die rekening houdt met de relatie tussen het vermogen van een model om een ​​afbeelding nauwkeurig te classificeren en de gebieden waarin de originele gegevens iteratief worden verwijderd.

Om de geldigheid van SIS te bevestigen, testten de auteurs een proces van willekeurige pixelverwijdering, en vond de resultaten 'aanzienlijk minder informatief' in tests, wat aangeeft dat SIS-afbeeldingen echt de minimale gegevens vertegenwoordigen die populaire modellen en datasets nodig hebben om acceptabele voorspellingen te doen.

Een blik op een van de verkleinde afbeeldingen suggereert dat deze modellen zouden moeten falen in overeenstemming met het menselijke niveau van visueel onderscheidingsvermogen, wat zou leiden tot een mediane nauwkeurigheid van minder dan 20%.

Met SIS-afbeeldingen teruggebracht tot slechts 5% van hun oorspronkelijke pixels, behalen mensen nauwelijks een 'groter dan willekeurig' classificatiesuccespercentage, vergeleken met het succespercentage van 90-99% van de populaire datasets en raamwerken die in de paper zijn bestudeerd.

Voorbij de overfit

Overfitting vindt plaats wanneer een machine learning-model zo uitgebreid traint op een dataset dat het bedreven wordt in het maken van voorspellingen die specifieke gegevens, maar is veel minder effectief (of zelfs totaal ineffectief) op nieuwe gegevens die na de training worden ingevoerd (buiten distributie gegevens).

De onderzoekers merken op dat de huidige academische en industriële interesse in het bestrijden van overfitting niet tegelijkertijd overinterpretatie zal oplossen, omdat de uitgeklede pixelsubsets die identificeerbare beelden voor computers vertegenwoordigen en onzinnige bekladden voor mensen eigenlijk zijn werkelijk toepasbare gegevens, in plaats van een 'geobsedeerde' concentratie op slecht samengestelde of bloedarme gegevens:

'Overinterpretatie is gerelateerd aan overfitting, maar overfitting kan worden gediagnosticeerd via verminderde testnauwkeurigheid. Overinterpretatie kan voortkomen uit echte statistische signalen in de onderliggende datasetdistributie die toevallig voortkomen uit bepaalde eigenschappen van de databron (bijv. Heersers van dermatologen).

'Overinterpretatie kan dus moeilijker te diagnosticeren zijn, omdat het beslissingen toelaat die zijn genomen op basis van statistisch geldige criteria, en modellen die dergelijke criteria gebruiken, kunnen uitblinken in benchmarks.'

Mogelijke oplossingen

De auteurs suggereren dat model samenstellen, waar meerdere architecturen bijdragen aan het evaluatie- en trainingsproces, zou een manier kunnen zijn om overinterpretatie tegen te gaan. Dat vonden ze ook solliciteren invoer uitval, oorspronkelijk ontworpen om overfitting te belemmeren, leidde tot 'een kleine afname' van de CIFAR-10-testnauwkeurigheid (wat waarschijnlijk wenselijk is), maar een 'significante' (∼ 6%) toename van de nauwkeurigheid van de modellen op ongeziene gegevens. De lage cijfers suggereren echter dat het onwaarschijnlijk is dat latere behandelingen voor overfitting de overinterpretatie volledig zullen aanpakken.

De auteurs erkennen de mogelijkheid om te gebruiken saliency kaarten om aan te geven welke delen van een afbeelding relevant zijn voor het extraheren van kenmerken, maar houd er rekening mee dat dit het doel van geautomatiseerde beeldparsing tenietdoet en menselijke annotatie vereist die op schaal onhaalbaar is. Ze merken verder op dat er saliency-kaarten zijn gevonden alleen ruwe schatters in termen van inzicht in modeloperaties.

Het blad concludeert:

'Gezien het bestaan ​​van niet-uitspringende pixel-subsets die alleen voldoende zijn voor een correcte classificatie, kan een model alleen op dergelijke patronen vertrouwen. In dit geval zou een interpreteerbaarheidsmethode die het model getrouw beschrijft, deze onzinnige rationales moeten opleveren, terwijl interpreteerbaarheidsmethoden die rationales naar menselijke priors vertekenen, resultaten kunnen opleveren die gebruikers misleiden om te denken dat hun modellen zich gedragen zoals bedoeld.'

Voor het eerst gepubliceerd op 13 januari 2022.