Beoordeling van de historische nauwkeurigheid van ImageNet

Een nieuwe studie van Google Research en UC Berkeley voegt zich bij de langdurige kritiek met betrekking tot de afhankelijkheid van de computer vision (CV) onderzoekssector van de vermaarde ImageNet dataset en zijn vele afgeleiden. Na een grote hoeveelheid arbeidsintensieve handmatige evaluatie concluderen de auteurs dat bijna 50% van de vermeende fouten die de beste modellen maken op de multi-label subset evaluatie van ImageNet (waar de huidige top-presterende modellen meer dan 97% top-1 nauwkeurigheid behalen) geen echte fouten zijn.

Uit het artikel:

‘Onze analyse toont aan dat bijna de helft van de vermeende fouten geen fouten zijn en we ontdekken nieuwe geldige multi-labels, waardoor we zonder zorgvuldige beoordeling de prestaties van deze modellen aanzienlijk onderschatten.

‘Aan de andere kant vinden we ook dat de beste modellen van vandaag nog steeds een aanzienlijk aantal fouten maken (40%) die voor menselijke beoordelaars duidelijk verkeerd zijn.’

De mate waarin het mislabelen van datasets – met name door ongeschoolde crowdsourcemedewerkers – de sector kan beïnvloeden, werd onthuld door de zorgvuldige aanpak van de evaluatie van de beeld/textparen over een groot deel van de geschiedenis van ImageNet.

In de bovenste rij, voorbeelden van Fouterniveau: in de eerste twee voorbeelden hier, krijgt het nieuwe model gewoon de voorspelde label verkeerd; in het derde voorbeeld identificeert het nieuwe model een eerder ontbrekende multi-label (een label dat een nieuwe categorisatie van de afbeelding aanspreekt); in de laatste afbeelding in de bovenste rij is de voorspelling van het model ambigu, omdat de afbeelding een vlieg is en geen vlieg. Echter, de gemiddelde bij behoort tot de Diptera-insectenorde, en dus zou deze uitzondering bijna onmogelijk te herkennen zijn, zelfs voor een expert-annotator. In de rij eronder zijn vier foutcategorieën met voorbeelden.  Bron: https://arxiv.org/pdf/2205.04596.pdf

De onderzoekers hebben een kleine groep toegewijde beoordelaars ingezet om de historische foutrecords in de ImageNet-datasetbeoordeling zorgvuldig te beoordelen en ontdekten dat een groot deel van de foutbeoordelingen zelf fouten zijn – een ontdekking die mogelijk enkele van de slechte scores die veel projecten in de loop der jaren op ImageNet-benchmarks hebben behaald, herziet.

Terwijl ImageNet zich in de CV-cultuur vestigt, betogen de onderzoekers dat verbeteringen in nauwkeurigheid als het ware afnemende rendementen opleveren en dat nieuwe modellen die de gevestigde labelnauwkeurigheid overschrijden en die nieuwe (d.w.z. extra) labels suggereren, eigenlijk worden gestraft voor niet-conformiteit.

‘Bijvoorbeeld,’ merken de auteurs op. ‘moeten we modellen bestraffen voor het feit dat ze als eerste voorspellen dat een vooraf gebakken bagel een bagel is, zoals een van de modellen die we in dit onderzoek beoordelen?’

Uit het artikel, een nieuw model tart de eerdere voorspelling dat het object in de foto deeg is en suggereert dat het object eigenlijk al een bagel is).

Vanuit het perspectief van een crowdsourcemedewerker die zo’n object moet identificeren, is dit een semantische en zelfs filosofische vraag die alleen kan worden opgelost door multi-labeling (zoals vaak gebeurt in latere subsets en latere iteraties van ImageNet); in het bovenstaande geval is het object inderdaad zowel deeg als minstens een embryonale bagel.

Grote (boven) en kleine (onder) fouten die opdoken bij het testen van aangepaste modellen in het onderzoek. De oorspronkelijke ImageNet-labels zijn de eerste afbeeldingen links.

De twee voor de hand liggende oplossingen zijn het toewijzen van meer middelen aan labeling (wat een uitdaging is binnen de budgettaire beperkingen van de meeste computer vision-onderzoeksprojecten) en, zoals de auteurs benadrukken, het regelmatig bijwerken van datasets en labelbeoordelings subsets (wat, onder andere obstakels, het risico loopt om de historische continuïteit van benchmarks te doorbreken en om nieuwe onderzoeksartikelen te bezaaien met kwalificaties en voorbehouden met betrekking tot equivalentie).

Als stap om de situatie te verhelpen, hebben de onderzoekers een nieuwe subset van ImageNet ontwikkeld, genaamd ImageNet-Major (ImageNet-M), die ze beschrijven als ‘een 68-voorbeeld “grote fout” slice van de voor de hand liggende fouten die vandaag’s topmodellen maken – een slice waarop modellen bijna perfect zouden moeten presteren, maar vandaag verre van doen.’

Het artikel heet Wanneer wordt deeg een bagel? Analyse van de resterende fouten in ImageNet en is geschreven door vier auteurs van Google Research, samen met Sara Fridovich-Keil van UC Berkeley.

Technische Schulden

De bevindingen zijn belangrijk omdat de resterende fouten die in ImageNet zijn geïdentificeerd (of verkeerd geïdentificeerd) in de 16 jaar sinds zijn oprichting, het centrale onderwerp van het onderzoek, het verschil kunnen vertegenwoordigen tussen een inzetbaar model en een model dat foutgevoelig genoeg is om niet losgelaten te worden op live data. Zoals altijd is de laatste mijl kritiek.

De computer vision en image synthesis onderzoekssector heeft effectief ‘zelf-geselecteerd’ ImageNet als een benchmark-metric, om een aantal redenen – niet in de laatste plaats omdat een aantal vroege aanhangers, op een moment waarop high-volume en goed gelabelde datasets zeldzamer waren dan ze nu zijn, zo veel onderzoeksinitiatieven produceerden dat testen tegen ImageNet snel de enige breed toepasbare historische ‘standaard’ voor benchmarking van nieuwe kaders werd.

Methode

Op zoek naar de ‘resterende fouten’ in ImageNet, gebruikten de onderzoekers een standaard ViT model (in staat om een nauwkeurigheid van 89,5% te behalen) met 3 miljard parameters, Vit-3B, vooraf getraind op JFT-3B en fijngeregeld op ImageNet-1K.

Met behulp van de ImageNet2012_multilabel dataset, registreerden de onderzoekers de initiële multi-label nauwkeurigheid (MLA) van ViT-3B als 96,3%, tijdens welke het model 676 vermeende fouten maakte. Het waren deze fouten (en ook fouten gegenereerd door een Greedy Soups model) die de auteurs wilden onderzoeken.

Om de resterende 676 fouten te evalueren, vermijdden de auteurs crowdsourcemedewerkers, waarbij ze opmerkten dat fouten van dit type moeilijk voor gemiddelde annotators zijn om te herkennen, maar verzamelden een panel van vijf expertbeoordelaars en creëerden een speciaal instrument om elke beoordelaar in één oogopslag de voorspelde klasse, de voorspelde score, de grondwaarheidslabels en de afbeelding zelf te laten zien.

De UI die voor het project is gebouwd.

In sommige gevallen was verdere onderzoek nodig om meningsverschillen onder het panel op te lossen en werd Google Image-zoek gebruikt als aanvullend instrument.

‘[In] een interessant maar niet geïsoleerd geval, was een voorspelling van een taxi (zonder duidelijke taxi-indicatoren behalve de gele kleur) aanwezig in de afbeelding; we hebben vastgesteld dat de voorspelling correct was en niet alleen een standaard voertuig was door een landmarkbrug in de achtergrond te identificeren om de stad te lokaliseren, en een daaropvolgende afbeeldingzoeking naar taxi’s in die stad opleverde afbeeldingen van hetzelfde taximodel en kentekenontwerp, waardoor de voorspelling van het model eigenlijk correct was.’

Na de initiële beoordeling van de fouten die tijdens meerdere fasen van het onderzoek werden gevonden, formuleerden de auteurs vier nieuwe fouttypen: fijne fout, waar de voorspelde klasse vergelijkbaar is met een grondwaarheidslabel; fijne fout met out-of-vocabulary (OOV), waar het model een object identificeert waarvan de klasse correct is maar niet aanwezig is in ImageNet; spurieuze correlatie, waar de voorspelde label uit de context van de afbeelding wordt gelezen; en non-prototypisch, waar het grondwaarheidsobject een specieus voorbeeld is van de klasse die lijkt op de voorspelde label.

In bepaalde gevallen was de grondwaarheid zelf niet ‘waar’:

‘Na beoordeling van de oorspronkelijke 676 fouten [gevonden in ImageNet], vonden we dat 298 correct of onduidelijk waren, of dat de oorspronkelijke grondwaarheid incorrect of problematisch was.’

Na een uitputtende en complexe ronde van experimenten over een reeks datasets, subsets en validatiesets, vonden de auteurs dat de twee modellen die werden onderzocht, eigenlijk correct werden geacht (door de menselijke beoordelaars) voor de helft van de ‘fouten’ die ze maakten onder conventionele technieken.

Het artikel concludeert:

‘In dit artikel hebben we elke resterende fout geanalyseerd die de ViT-3B en Greedy Soups-modellen maken op de ImageNet multi-label validatie-set.

‘Over het algemeen vonden we dat: 1) wanneer een groot, hoog-nauwkeurigheidsmodel een nieuwe voorspelling maakt die niet door andere modellen wordt gemaakt, het eindigt met een correcte nieuwe multi-label bijna de helft van de tijd; 2) modellen met hogere nauwkeurigheid vertonen geen duidelijk patroon in onze categorieën en ernst van fouten die ze oplossen; 3) SOTA-modellen van vandaag komen grotendeels overeen met of overtreffen de prestaties van de beste menselijke expert op de door de mens beoordeelde multi-label subset; 4) lawaaierige trainingsdata en onduidelijk gedefinieerde klassen kunnen een factor zijn die de effectieve meting van verbeteringen in beeldclassificatie beperkt.’

First published 15th mei 2022.