Vurdering av den historiske nøyaktigheten av ImageNet

En ny studie fra Google Research og UC Berkeley legger til langvarig kritikk når det gjelder datavitenskapsforskningens avhengighet av det velkjente ImageNet-datasettet og dets mange derivater. Etter en stor mengde manuell evaluering, konkluderer forfatterne med at nesten 50% av de påståtte feilene som de beste modellene gjør på den multi-etikettede undermengden av ImageNet (hvor nåværende topp-presterende modeller oppnår mer enn 97% topp-1 nøyaktighet) ikke faktisk er feil.

Fra artikkelen:

‘Vår analyse viser at nesten halvparten av de påståtte feilene ikke er feil i det hele tatt, og vi avdekker nye gyldige multi-etiketter, som viser at uten en nøye gjennomgang, vi underskattar betydelig ytelsen til disse modellene.

‘På den andre siden, finner vi også at dagens beste modeller fortsatt gjør en betydelig mengde feil (40%) som er åpenbart feil for menneskelige vurderere.’

Omfanget av feil i datasettene – spesielt feil fra ukvalifiserte crowdsourcere – kan ha en skjev effekt på sektoren, ble avdekket av studiens omfattende tilnærming til evaluering av bilde- og tekstpar i en stor del av ImageNets historie.

I øvre rad, eksempler på feilalvor: I de to første eksemplene her, får den nye modellen bare feil etikett; i det tredje eksemplet, identifiserer den nye modellen en tidligere manglende multi-etikett (en etikett som omhandler en ny kategorisering av bildet); i det siste bildet i øvre rad, er modellens prediksjon tvetydig, fordi bildet er en blomstflue og ikke en flue. Men den gjennomsnittlige bie hører til Diptera-insektordenen, og så dette unntaket ville være nesten umulig å oppdage, selv for en ekspertannotator. I raden under er fire feilkategorier, med eksempler. Kilde: https://arxiv.org/pdf/2205.04596.pdf

Forskerne anvendte en liten gruppe dedikerte evaluatore til å nøye gjennomgå historiske feilregistreringer i ImageNet-datasettet, og fant at mange av feilvurderingene selv var feil – en oppdagelse som potensielt reviderer noen av de dårlige poengsummene som mange prosjekter har oppnådd på ImageNet-benchmarkene over årene.

Ettersom ImageNet blir mer etablert i datavitenskapskulturen, hevder forskerne at forbedringer i nøyaktighet anses å gi avtagende avkastning, og at nye modeller som overstiger etablerte etikett-nøyaktighet, og som foreslår nye (dvs. tilleggs-) etiketter, kan straffes for ikke å konformere seg.

‘For eksempel,’ observerer forfatterne. ‘bør vi straffe modeller for å være de første til å predikere at en forhåndsbakt bagel kan være en bagel, som en av modellene vi gjennomgår i denne studien gjør?’

Fra artikkelen, en nyere modell motsier tidligere prediksjon om at objektet på bildet er deig, og foreslår at objektet faktisk allerede er en bagel).

Fra synspunktet til en crowdsourcer som er tildelt å identifisere et slikt objekt, er dette en semantisk og filosofisk dilemma som bare kan løses ved hjelp av multi-etikettering (som ofte skjer i senere undermengder og påfølgende iterasjoner av ImageNet); i ovennevnte tilfelle er objektet faktisk både deig og en ny bagel.

Store (øverst) og små (nederst) feil som oppstod når man testet egendefinerte modeller i studien. Opprinnelige ImageNet-etiketter er de første bildene til venstre.

De to åpenbare løsningene er å tildele flere ressurser til etikettering (som er en utfordring, innenfor budsjetteringsbegrensningene til de fleste datavitenskapsprosjektene); og, som forfatterne understreker, å oppdatere datasettene og etikett-evalueringen jevnlig (som, blant andre hindringer, risikerer å bryte ‘like-for-like’-historisk kontinuitet av benchmarkene, og å strø ut nye forskningsartikler med kvalifikasjoner og forbehold om ekvivalens).

Som et skritt mot å løse situasjonen, har forskerne utviklet en ny underdatasett av ImageNet kalt ImageNet-Major (ImageNet-M), som de beskriver som ‘en 68-eksempler “stor feil”-snitt av de åpenbare feilene som dagens beste modeller gjør – en snitt hvor modellene burde oppnå nesten fullkommenhet, men i dag er langt ifra å gjøre det.’

Artikkelen hele artikkelen har tittelen Når blir deigen en bagel? Analyse av de gjenværende feilene på ImageNet, og er skrevet av fire forfattere fra Google Research, sammen med Sara Fridovich-Keil fra UC Berkeley.

Teknisk gjeld

Funnene er viktige fordi de gjenværende feilene som er identifisert (eller feilidentifisert) i ImageNet, i de 16 årene siden det ble etablert, den sentrale studien av forskningen, kan representere forskjellen mellom en deploybar modell og en som er feilpregede nok til at den ikke kan slippe løs på live-data. Som alltid, er siste mil er kritisk.

Datavitenskaps- og bilde-synteseforskningssektoren har effektivt ‘auto-valgt’ ImageNet som en benchmark-målestokk, av en rekke grunner – ikke minst fordi en rekke tidlige brukere, på en tid hvor høy-volum og godt-etiketterte datasett var sjeldnere enn de er nå, produserte så mange forskningsinitiativer at testing mot ImageNet raskt ble den eneste bredt anvendelige historiske ‘standard’ for benchmarking nye rammer.

Metode

I jakten på de ‘gjenværende feilene’ i ImageNet, brukte forskerne en standard ViT-modell (i stand til å oppnå en nøyaktighet på 89,5%) med 3 milliarder parametre, Vit-3B, forhåndstrengt på JFT-3B og finjustert på ImageNet-1K.

Ved å bruke ImageNet2012_multilabel-datasettet, registrerte forskerne den initielle multi-etikett-nøyaktigheten (MLA) til ViT-3B som 96,3%, under hvilken modellen gjorde 676 åpenbare feil. Det var disse feilene (og også feil produsert av en Greedy Soups-modell) som forfatterne søkte å undersøke.

For å evaluere de gjenværende 676 feilene, unngikk forfatterne crowdsourcere, og observerte at feil av denne typen kan være vanskelige for gjennomsnittlige annotatorer å oppdage, men samlet en panel av fem ekspertvurderere, og utviklet et dedikert verktøy for å la hver vurderer se på en gang den predikerte klassen; den predikerte scoren; de grunnleggende etikettene; og bildet selv.

Brukergrensesnittet som ble bygget for prosjektet.

I noen tilfeller var videre forskning nødvendig for å løse uenigheter blant panelet, og Google Bildesøk ble brukt som et hjelpemiddel.

‘[I] et interessant, men ikke isolert tilfelle, var en prediksjon av en drosje (uten noen åpenbare drosjeindikatorer bortsett fra gul farge) til stede i bildet; vi fastslo prediksjonen til å være korrekt en drosje og ikke bare et standard kjøretøy ved å identifisere et landemerkebro i bakgrunnen for å lokalisere byen, og en påfølgende bildesøk etter drosjer i den byen ga bilder av samme drosjemodell og nummerskilt-design, og bekreftet modellens faktisk korrekte prediksjon.’

Etter den initielle gjennomgangen av feilene funnet over flere faser av forskningen, formulerte forfatterne fire nye feiltypene: fin-granet feil, hvor den predikerte klassen er lignende en grunnleggende etikett; fin-granet med utenfor-vokabular (OOV), hvor modellen identifiserer et objekt hvis klasse er korrekt, men ikke til stede i ImageNet; spuriøs korrelasjon, hvor den predikerte etiketten leses ut av konteksten av bildet; og ikke-prototypisk, hvor den grunnleggende etiketten er et tvilsomt eksempel på klassen som ligner den predikerte etiketten.

I visse tilfeller var ikke grunnleggende etiketten selv ‘sann’:

‘Etter gjennomgang av de opprinnelige 676 feil [funnet i ImageNet], fant vi at 298 var enten korrekte eller uklare, eller fastslo at den opprinnelige grunnleggende etiketten var feil eller problematisk.’

Etter en omfattende og kompleks runde med eksperimenter over en rekke datasett, undermengder og valideringssett, fant forfatterne at de to modellene under studie faktisk ble funnet korrekte (av menneskelige vurderere) for halvparten av ‘feilene’ de gjorde under konvensjonelle teknikker.

Artikkelen konkluderer:

‘I denne artikkelen, analyserte vi hver eneste gjenværende feil som ViT-3B- og Greedy Soups-modellene gjør på ImageNet multi-etikett-valideringssettet.

‘Samlet sett fant vi at: 1) når en stor, høy-akkurat modell gjør en ny prediksjon som ikke er gjort av andre modeller, den ender opp med å være en korrekt ny multi-etikett nesten halvparten av tiden; 2) høyere akkurat modeller viser ikke en åpenbar mønster i våre kategorier og alvorlighetsgrader av feil de løser; 3) SOTA-modeller i dag matcher eller slår ytelsen til den beste ekspert-menneske på den menneske-vurderte multi-etikett-undermengden; 4) støyende treningdata og under-spesifiserte klasser kan være en faktor som begrenser den effektive målingen av forbedringer i bilde-klassifisering.’

Først publisert 15. mai 2022.