Vurdering af den historiske nøjagtighed af ImageNet

En ny studie fra Google Research og UC Berkeley tilføjer til den længvarige kritik af computer vision (CV)-forskningssæktorens afhængighed af det værdsatte ImageNet-datasæt og dets mange afledninger. Efter en stor mængde manuelt arbejde med evaluering konkluderer forfatterne, at næsten 50% af de påståede fejl, som de bedste modeller committerer på den multi-label-underdel af ImageNet (hvor de nuværende top-performende modeller opnår mere end 97% top-1-nøjagtighed), ikke er fejl i virkeligheden.

Fra artiklen:

‘Vores analyse viser, at næsten halvdelen af de påståede fejl ikke er fejl overhovedet, og vi afslører nye gyldige multi-labels, der viser, at uden en omhyggelig gennemgang, vi underestimerer betydeligt disse modellers præstationer.

‘På den anden side finder vi også, at dagens bedste modeller stadig committerer en betydelig mængde fejl (40%), der er åbenlyse for menneskelige evalueringer.’

Omfanget af, hvor meget fejlafmærkning af datasæt – især af ukyndige crowdsourcere – kan have en skæv effekt på sektoren, blev afsløret af studiets omhyggelige tilgang til evaluering af billed- og tekstpar i en stor del af ImageNets historie.

I den øverste række, eksempler på fejlalvor: i de to første eksempler her, får den nye model blot den forudsagte mærke forkert; i det tredje eksempel, identificerer den nye model en tidligere manglende multi-mærke (en mærke, der adresserer en ny kategorisering af billedet); i det sidste billede i den øverste række, er modellens forudsigelse tvetydig, fordi billedet er en bie-flue og ikke en flue. Men den gennemsnitlige bi tilhører Diptera-insektordenen, og således ville denne undtagelse være næsten umulig at spotte, selv for en ekspertannotator. I rækken nedenfor er fire fejlkategorier med eksempler. Kilde: https://arxiv.org/pdf/2205.04596.pdf

Forskerne anvendte en lille gruppe dedikerede evalueringer til at gennemgå historiske fejlregistreringer i ImageNet-datasættets evaluering, og fandt, at en stor del af fejlbedømmelserne selv er fejl – en opdagelse, der potentielt reviderer nogle af de dårlige score, som mange projekter har opnået på ImageNet-benchmark over årene.

Da ImageNet fastholder sin position i CV-kulturen, mener forskerne, at forbedringerne i nøjagtighed anses for at give aftagende udbytte, og at nye modeller, der overgår etablerede mærkenøjagtigheder, og som foreslår nye (dvs. ekstra) mærker, kan straffes for ikke at være konforme.

‘For eksempel,’ observerer forfatterne. ‘skal vi straffe modeller for at være de første til at forudsige, at en forbagt bagel kan være en bagel, som en af de modeller, vi gennemgår i dette arbejde, gør?’

Fra artiklen, en nyere model modsiger tidligere forudsigelse, at objektet på billedet er dej, og foreslår, at objektet i virkeligheden er en bagel).

Set fra synspunktet af en crowdsourcer, der er ansvarlig for at identificere sådanne objekter, er dette en semantisk og endda filosofisk dilemma, der kun kan løses ved multi-mærkning (som ofte sker i senere undermængder og efterfølgende iterationer af ImageNet); i dette tilfælde er objektet både dej og en bagel.

Store (øverst) og mindre (nederst) fejl, der opstod under test af brugerdefinerede modeller i forskningen. De oprindelige ImageNet-mærker er de første billeder til venstre.

De to åbenlyse løsninger er at tildele flere ressourcer til mærkning (hvad der er en udfordring inden for de budgetmæssige begrænsninger af de fleste computer vision-forskningsprojekter); og, som forfatterne understreger, at opdatere datasæt og mærkeevalueringsundermængder regelmæssigt (hvad, blandt andre hindringer, risikerer at bryde ‘lige-for-lige’-historisk kontinuitet af benchmark og at sprede nye forskningsartikler med kvalifikationer og forbehold omkring ækvivalens).

Som et skridt til at løse situationen har forskerne udviklet en ny underdatasæt af ImageNet kaldet ImageNet-Major (ImageNet-M), som de beskriver som ‘en 68-eksempler “stor fejl”-skive af de åbenlyse fejl, som dagens topmodeller committerer – en skive, hvor modellerne burde opnå næsten perfektion, men i dag er langt fra det.’

Artiklen artiklen har titlen When does dough become a bagel? Analyzing the remaining mistakes on ImageNet og er skrevet af fire forfattere fra Google Research sammen med Sara Fridovich-Keil fra UC Berkeley.

Teknisk Gæld

Forskningens resultater er vigtige, fordi de resterende fejl, der er identificeret (eller misidentificeret) i ImageNet i de 16 år siden dets oprettelse, den centrale studie af forskningen, kan repræsentere forskellen mellem en deployabel model og en, der er fejlbehæftet nok til, at den ikke kan slippe løs på live-data. Som altid er det sidste mile kritisk.

Computer vision- og billedsyntheseforskningssektoren har effektivt ‘selvvalgt’ ImageNet som en benchmark-metode, af en række årsager – ikke mindst fordi en række tidlige brugere, på et tidspunkt hvor store og velmærkede datasæt var sjældnere end de er nu, producerede så mange forskningsinitiativer, at testning mod ImageNet hurtigt blev den eneste bredt anvendelige historiske ‘standard’ for benchmarking af nye rammer.

Metode

I søgen efter ‘de resterende fejl’ i ImageNet anvendte forskerne en standard ViT-model (i stand til at opnå en nøjagtighed på 89,5%) med 3 milliarder parametre, Vit-3B, forudtrænet på JFT-3B og finjusteret på ImageNet-1K.

Med anvendelse af ImageNet2012_multilabel-datasættet optog forskerne den initielle multi-mærke-nøjagtighed (MLA) af ViT-3B som 96,3%, under hvilken modellen committerede 676 åbenlyse fejl. Det var disse fejl (og også fejl produceret af en Greedy Soups-model), som forfatterne søgte at undersøge.

For at evaluere de resterende 676 fejl undgik forfatterne crowdsourcere og observerede, at fejl af denne type kan være svært for gennemsnitlige annotatorer at spotte, men samlede en panel af fem ekspertere og udviklede et dedikeret værktøj til at låse hver reviewer til at se på et øjeblik den forudsagte klasse; den forudsagte score; de grundsandhedsmærker; og billedet selv.

Brugergrænsefladen bygget til projektet.

I visse tilfælde var yderligere forskning nødvendig for at løse uenigheder mellem panelet, og Google-billedsøgning blev anvendt som et hjælpeværktøj.

‘[I] et interessant, men ikke isoleret tilfælde, var en forudsigelse af en taxa (uden åbenlyse taxa-indikatorer ud over gul farve) til stede i billedet; vi fastslog forudsigelsen som korrekt en taxa og ikke blot en standardkøretøj ved at identificere et landemærkebro i baggrunden for at lokaliserer byen, og en efterfølgende billedsøgning efter taxaer i den byen resulterede i billeder af den samme taxamodel og nummerplade-design, hvilket validerede modellens faktisk korrekte forudsigelse.’

Efter den initielle gennemgang af fejlene fundet over flere faser af forskningen formulerede forfatterne fire nye fejltyper: fin-granuleret fejl, hvor den forudsagte klasse er lignende en grundsandhedsmærke; fin-granuleret med udenfor-vokabular (OOV), hvor modellen identificerer et objekt, hvis klasse er korrekt, men ikke til stede i ImageNet; spurios korrelation, hvor den forudsagte mærke læses ud af kontekst af billedet; og ikke-prototypisk, hvor den grundsandhedobjekt er et tvivlsomt eksempel på klassen, der minder om den forudsagte mærke.

I visse tilfælde var grundsandheden ikke selv ‘sandheden’:

‘Efter gennemgang af de oprindelige 676 fejl [fundet i ImageNet], fandt vi, at 298 var enten korrekte eller uklare, eller fastslog, at den oprindelige grundsandhed var forkert eller problematisk.’

Efter en udførlig og kompleks række af eksperimenter på tværs af en række datasæt, undermængder og valideringssæt fandt forfatterne, at de to modeller under studie faktisk blev betragtet som korrekte (af menneskelige evalueringer) for halvdelen af ‘fejlene’, de committerede under konventionelle metoder.

Artiklen slutter:

‘I denne artikel har vi analyseret hver eneste resterende fejl, som ViT-3B- og Greedy Soups-modellerne committerer på ImageNet multi-label-valideringsmængden.

‘Samlet set fandt vi, at: 1) når en stor, høj-nøjagtighedsmodel committerer en ny forudsigelse, som ikke er lavet af andre modeller, den ender med at være en korrekt ny multi-mærke næsten halvdelen af tiden; 2) højere nøjagtighedsmodeller ikke viser en åbenlyst mønster i vores kategorier og fejlalvor; 3) SOTA-modeller i dag matcher eller slår præstationen af den bedste ekspertmenneske på den menneske-evaluerede multi-mærke-undermængde; 4) støjende træningsdata og under-specifikke klasser kan være en faktor, der begrænser den effektive måling af forbedringer i billedklassificering.’

Offentliggjort første gang den 15. maj 2022.