Overinterpretatie kan een grotere en moeilijker te overwinnen bedreiging zijn dan overfitting

Als uw goede vriendin Alice graag gele truien draagt, zult u meer gele truien zien dan de gemiddelde persoon. Na een tijdje is het mogelijk dat wanneer u een andere vrouw ziet met een gele trui, het kernconcept Alice bij u opkomt.

Als u een vrouw ziet met een gele trui die op Alice lijkt een beetje, kunt u haar zelfs even voor Alice aanzien.

Maar het is niet Alice. Uiteindelijk zult u beseffen dat gele trui geen nuttige sleutel is om Alice te identificeren, omdat ze die nooit draagt in de zomer en niet altijd in de winter. Op een gegeven moment zult u gele trui als mogelijke Alice-identifier gaan degraderen, omdat uw ervaring ermee onbevredigend is geweest en de cognitieve energie die wordt gebruikt om deze snelkoppeling in stand te houden niet vaak wordt beloond.

Als u een computer vision-gebaseerd herkenningssysteem bent, is het heel goed mogelijk dat u Alice overal ziet waar u een gele trui ziet.

Het is niet uw schuld; u bent opgedragen om Alice te identificeren tegen elke prijs, vanuit de minimale beschikbare informatie, en er is geen gebrek aan cognitieve middelen om deze reductieve Alice-hulp in stand te houden.

Ongekende onderscheiding

Volgens een recente publicatie van het MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) en Amazon Web Services, komt dit syndroom, overinterpretatie genoemd, veel voor in het computer vision (CV)-onderzoeksveld; kan niet worden gemilderd door overfitting aan te pakken (aangezien het geen direct gevolg is van overfitting); komt veel voor in onderzoek dat de twee meest invloedrijke datasets in beeldherkenning en -transformatie gebruikt, CIFAR-10 en ImageNet; en heeft geen gemakkelijke oplossingen – zeker geen goedkope oplossingen.

De onderzoekers vonden dat wanneer de invoertrainingsafbeeldingen werden teruggebracht tot slechts 5% van hun samenhangende inhoud, een breed scala aan populaire frameworks de afbeeldingen nog steeds correct classificeerde, die in de meeste gevallen als visueel ‘onzin’ voor een menselijke waarnemer lijken:

Oorspronkelijke trainingsafbeeldingen van CIFAR-10, teruggebracht tot slechts 5% van de oorspronkelijke pixelinhoud, maar correct geclassificeerd door een breed scala aan populaire computer vision-frameworks met een nauwkeurigheid van tussen 90-99%. Bron: https://arxiv.org/pdf/2003.08907.pdf

In sommige gevallen vonden de classificatieframeworks deze afgeslankte afbeeldingen gemakkelijker om correct te classificeren dan de volledige frames in de oorspronkelijke trainingsgegevens, waarbij de auteurs opmerkten ‘[CNN’s] zijn meer vertrouwd op deze pixelsubsets dan op volledige afbeeldingen’.

Dit wijst op een potentieel ondermijnende vorm van ‘valsspelen’ die optreedt als gebruikelijke praktijk voor CV-systemen die benchmarkdatasets zoals CIFAR-10 en ImageNet en benchmarkframeworks zoals VGG16, ResNet20 en ResNet18 gebruiken.

Overinterpretatie heeft opvallende gevolgen voor CV-gebaseerde autonome voertuigsystemen, die onlangs in de schijnwerpers zijn komen te staan met Tesla’s beslissing om beeldinterpretatie te bevorchten boven LiDAR en andere stralingsgebaseerde sensoren voor zelfrijdende algoritmen.

Hoewel ‘shortcut learning’ een bekende uitdaging is en een actief onderzoeksgebied in computer vision, merken de auteurs op dat de Duits-Canadese onderzoek dat het probleem in 2019 heeft gekaderd, niet erkent dat de ‘spurieuze’ pixelsubsets die overinterpretatie kenmerken ‘statistisch valide gegevens’ zijn, die mogelijk moeten worden aangepakt in termen van architectuur en hogere benaderingen, in plaats van door zorgvuldiger curatie van datasets.

De publicatie heeft als titel Overinterpretatie onthult pathologieën van beeldclassificatiemodellen en komt van Brandon Carter, Siddhartha Jain en David Gifford bij CSAIL, in samenwerking met Jonas Mueller van Amazon Web Services. De code voor de publicatie is beschikbaar op https://github.com/gifford-lab/overinterpretation.

De gegevens terugbrengen

De gegevensgestripte afbeeldingen die de onderzoekers hebben gebruikt, worden door hen Voldoende Invoersubsets (SIS) genoemd – in feite bevat een SIS-afbeelding het minimum ‘buitenkader’ dat nodig is om een afbeelding voldoende te kunnen onderscheiden om een computer vision-systeem in staat te stellen het oorspronkelijke onderwerp van de afbeelding te identificeren (d.w.z. hond, schip, enz.).

In de bovenste rij zien we complete ImageNet-validatieafbeeldingen; hieronder de SIS-subsets, correct geclassificeerd door een Inception V3-model met 90% vertrouwen, gebaseerd, schijnbaar, op alles wat overblijft van de afbeelding – achtergrondcontext. Natuurlijk heeft de laatste kolom opvallende implicaties voor het herkennen van borden in zelfrijdende voertuigalgoritmen.

In commentaar op de resultaten die in de bovenstaande afbeelding zijn verkregen, merken de onderzoekers op:

‘We vinden dat SIS-pixels zijn geconcentreerd buiten het daadwerkelijke object dat de klaslabel bepaalt. Bijvoorbeeld, in de “pizza”-afbeelding is de SIS geconcentreerd op de vorm van het bord en de achtergrondtafel, in plaats van de pizza zelf, wat suggereert dat het model mogelijk slecht generaliseert op afbeeldingen met verschillende ronde voorwerpen op een tafel. In de “reuzenpanda”-afbeelding bevat de SIS bamboe, die waarschijnlijk in de collectie van ImageNet-foto’s voor deze klas is verschenen.

‘In de “verkeerslicht”- en “straatbord”-afbeeldingen bestaat de SIS uit pixels in de lucht, wat suggereert dat autonome voertuigsystemen die mogelijk afhankelijk zijn van deze modellen zorgvuldig moeten worden geëvalueerd voor overinterpretatiepathologieën.’

SIS-afbeeldingen worden niet willekeurig afgeknipt, maar zijn voor het project gemaakt door een Batched Gradient Backselect-proces op Inception V3 en ResNet50 via PyTorch. De afbeeldingen zijn afgeleid door een ablatieroutine die rekening houdt met de relatie tussen de mogelijkheid van een model om een afbeelding correct te classificeren en de gebieden waarin de oorspronkelijke gegevens iteratief worden verwijderd.

Om de geldigheid van SIS te bevestigen, testten de auteurs een proces van willekeurige pixelverwijdering en vonden de resultaten ‘aanzienlijk minder informatief’ in tests, wat aangeeft dat SIS-afbeeldingen echt de minimale gegevens vertegenwoordigen die populaire modellen en datasets nodig hebben om aanvaardbare voorspellingen te doen.

Een blik op een van de gereduceerde afbeeldingen suggereert dat deze modellen zouden moeten falen in overeenstemming met het menselijke niveau van visuele onderscheiding, wat zou leiden tot een mediaan nauwkeurigheid van minder dan 20%.

Met SIS-afbeeldingen teruggebracht tot slechts 5% van hun oorspronkelijke pixels, halen mensen nauwelijks een ‘groter dan willekeurig’ classificatiesuccesrate, vs. de 90-99% succesrate van de populaire datasets en frameworks die in de publicatie zijn bestudeerd.

Verder dan de overfit

Overfitting treedt op wanneer een machine learning-model zo uitgebreid traint op een dataset dat het vaardig wordt in het maken van voorspellingen voor die specifieke gegevens, maar veel minder effectief (of zelfs totaal ineffectief) is op verse gegevens die na de training aan het model worden gepresenteerd (buiten de distributie gegevens).

De onderzoekers merken op dat de huidige academische en industriële interesse in het bestrijden van overfitting niet zal helpen om overinterpretatie simultaan op te lossen, omdat de afgeslankte pixelsubsets die herkenbare afbeeldingen voor computers en nonsensuele klodders voor mensen vertegenwoordigen, eigenlijk echt toepasbare gegevens zijn, in plaats van een ‘geobsedeerde’ concentratie op slecht gecurateerde of anemische gegevens:

‘Overinterpretatie is verwant aan overfitting, maar overfitting kan worden gediagnosticeerd via verlaagde testnauwkeurigheid. Overinterpretatie kan voortkomen uit echte statistische signalen in de onderliggende gegevensverdeling die ontstaan uit specifieke eigenschappen van de gegevensbron (bijv. dermatologenregels).

‘Dus overinterpretatie kan moeilijker te diagnosticeren zijn, omdat het beslissingen toelaat die zijn gemaakt op basis van statistisch geldige criteria, en modellen die dergelijke criteria gebruiken kunnen uitstekend presteren op benchmarks.’

Mogelijke oplossingen

De auteurs suggereren dat model-ensembling, waarbij meerdere architectuur bijdraagt aan het evaluatie- en trainingsproces, enige weg kan zijn om overinterpretatie te mitigeren. Ze vonden ook dat het toepassen van input dropout, oorspronkelijk ontworpen om overfitting te voorkomen, leidde tot ‘een kleine daling’ in CIFAR-10-testnauwkeurigheid (wat waarschijnlijk wenselijk is), maar een ‘aanzienlijke’ (∼ 6%) toename in de nauwkeurigheid van de modellen op ongezien gegevens. Echter, de lage cijfers suggereren dat enige latere remedies voor overfitting waarschijnlijk niet volledig overinterpretatie zullen aanpakken.

De auteurs geven toe dat het gebruik van saliency-kaarten om aan te geven welke delen van een afbeelding relevant zijn voor kenmerkextractie mogelijk is, maar merken op dat dit het doel van geautomatiseerde beeldparsing tenietdoet en menselijke annotatie vereist die op grote schaal niet haalbaar is. Ze merken verder op dat saliency-kaarten zijn aangetoond als slechts grove schatters in termen van inzicht in modeloperaties.

De publicatie concludeert:

‘Gezien het bestaan van niet-saliënte pixelsubsets die alleen voldoende zijn voor correcte classificatie, kan een model alleen afhankelijk zijn van dergelijke patronen. In dit geval zou een interpretatietechniek die het model trouw beschrijft, deze nonsensuele rationales moeten uitvoeren, terwijl interpretatietechnieken die rationales naar menselijke aannamen neigen, resultaten kunnen produceren die gebruikers misleiden om te denken dat hun modellen zich zoals bedoeld gedragen.’

Publicatie voor het eerst op 13 januari 2022.