Utvärdering av den historiska noggrannheten i ImageNet

En ny studie från Google Research och UC Berkeley tillför långvarig kritik gällande datorseende (CV) forskningsektorns beroende av den välkända ImageNet datamängden och dess många derivat. Efter en stor mängd manuell utvärdering, drar författarna slutsatsen att nästan 50% av de påstådda felen som de bästa modellerna gör på den multi-etikettsubseten av ImageNet (där nuvarande toppresterande modeller uppnår mer än 97% topp-1 noggrannhet) inte faktiskt är fel.

Från artikeln:

‘Vår analys visar att nästan hälften av de påstådda felen inte är fel alls, och vi upptäcker nya giltiga multi-etiketter, vilket visar att utan noggrann granskning, underskattar vi betydligt prestationen hos dessa modeller.

‘Å andra sidan finner vi också att dagens bästa modeller fortfarande gör ett betydande antal fel (40%) som är uppenbart fel för mänskliga granskare.’

Omständigheterna till vilka felmärkning av datamängder – särskilt av outbildade crowdsource-arbetare – kan påverka sektorn, avslöjades av studiens noggranna tillvägagångssätt för utvärdering av bild/textrutinerna över en stor del av ImageNets historia.

I den översta raden, exempel på felallvar: i de två första exemplen här, får den nya modellen helt enkelt fel etikett; i det tredje exemplet identifierar den nya modellen en tidigare saknad multi-etikett (en etikett som behandlar en ny kategorisering av bilden); i den sista bilden i den översta raden är modellens förutsägelse tvetydig, eftersom bilden är en fluga och inte en fluga. Men den genomsnittliga bin tillhör insektsordningen Diptera, och sådan undantag skulle vara nästan omöjligt att upptäcka, även för en expertannotator. I raden nedan finns fyra felkategorier, med exempel. Källa: https://arxiv.org/pdf/2205.04596.pdf

Forskarna anställde ett litet antal dedikerade utvärderare för att noggrant granska historiska felregister i ImageNet datamängden, och fann att många av felbedömningarna i sig är fel – en upptäckt som potentiellt reviderar en del av de dåliga poäng som många projekt har fått på ImageNet-benchmark under åren.

Så länge ImageNet befäster sig i CV-kulturen, hävdar forskarna att förbättringar av noggrannhet anses ge avtagande avkastning, och att nya modeller som överträffar etablerad etikett-noggrannhet, och som föreslår nya (dvs. tilläggsetiketter) kan bestraffas, i princip, för icke-konformitet.

‘Till exempel,’ observerar författarna. ‘ska vi bestraffa modeller för att de är de första som förutsäger att en förbakad bagel kan vara en bagel, som en av modellerna vi granskar i det här arbetet gör?’

Från artikeln, en nyare modell utmanar tidigare förutsägelse att objektet på bilden är deg, och föreslår att objektet faktiskt redan är en bagel).

Från synvinkeln hos en crowdsource-arbetare som är uppgiven att identifiera ett sådant objekt, är detta ett semantiskt och till och med filosofiskt dilemma som bara kan lösas genom multi-etikettering (som ofta förekommer i senare undermängder och efterföljande iterationer av ImageNet); i det ovannämnda fallet är objektet faktiskt både deg och åtminstone en embryonisk bagel.

Stora (ovan) och små (nedan) fel som uppkom när anpassade modeller testades i forskningen. Original ImageNet-etiketter är de första bilderna till vänster.

De två uppenbara lösningarna är att tilldela fler resurser till etikettering (vilket är en utmaning, inom de budgetmässiga begränsningarna för de flesta datorseende-forskningsprojekt); och, som författarna betonar, att regelbundet uppdatera datamängder och etikett-utvärderingsundermängder (vilket, bland andra hinder, riskerar att bryta ‘lika för lika’ historisk kontinuitet av benchmark och att strö ut nya forskningsartiklar med kvalifikationer och förbehåll angående ekvivalens).

Som ett steg för att lösa situationen, har forskarna utvecklat en ny undermängd av ImageNet som kallas ImageNet-Major (ImageNet-M), som de beskriver som ‘en 68-exempel “stor fel” skiva av de uppenbara felen som dagens bästa modeller gör – en skiva där modellerna borde uppnå nästan fullständig perfektion, men idag är långt ifrån att göra det.’

Artikeln artikel heter När blir deg en bagel? Analys av de återstående felen på ImageNet, och är skriven av fyra författare från Google Research, tillsammans med Sara Fridovich-Keil från UC Berkeley.

Teknisk skuld

Resultaten är viktiga eftersom de återstående felen som identifierats (eller feltolkats) i ImageNet, under de 16 år som har passerat sedan dess tillkomst, den centrala studien av forskningen, kan representera skillnaden mellan en distribuerbar modell och en som är felbenägen nog att den inte kan släppas ut på levande data. Som alltid är den sista milen kritisk.

Datorseende- och bildsynthesforskningssektorn har i princip ‘självvalt’ ImageNet som en benchmark-mätning, av en mängd olika skäl – inte minst för att en mängd tidiga antagare, vid en tidpunkt då stora och väl-etiketterade datamängder var sällsynta, producerade så många forskningsinitiativ att testning mot ImageNet snabbt blev den enda allmänt tillämpliga historiska ‘standarden’ för benchmarkning av nya ramverk.

Metod

I sökandet efter de ‘återstående felen’ i ImageNet, använde forskarna en standard ViT modell (kapabel att uppnå en noggrannhet på 89,5%) med 3 miljarder parametrar, Vit-3B, förtränad på JFT-3B och finjusterad på ImageNet-1K.

Användande ImageNet2012_multilabel datamängden, spelade forskarna in den initiala multi-etikett-noggrannheten (MLA) för Vit-3B som 96,3%, under vilken modellen gjorde 676 uppenbara fel. Det var dessa fel (och också fel producerade av en Greedy Soups-modell) som författarna försökte undersöka.

För att utvärdera de återstående 676 felen, undvek författarna crowdworkers, med observeringen att fel av den här typen kan vara svåra för genomsnittliga annotatorer att upptäcka, men samlade en panel av fem expertriktade granskare, och skapade ett dedikerat verktyg för att låta varje granskare se på en gång den förutsagda klassen; den förutsagda poängen; grund-sanningsetiketterna; och bilden i sig.

Användargränssnittet som byggdes för projektet.

I vissa fall var ytterligare forskning nödvändig för att lösa tvister mellan panelen, och Google Bildsök användes som ett hjälpmedel.

‘[I] ett intressant men inte isolerat fall, var en förutsägelse av en taxi (med inga uppenbara taxiskyltar utöver gul färg) närvarande i bilden; vi fastställde förutsägelsen som korrekt en taxi och inte bara ett standardfordon genom att identifiera en landmärkesbro i bakgrunden för att lokalisera staden, och en efterföljande bildsökning efter taxibilar i den staden gav bilder av samma taximodell och skyltutformning, vilket validerade modellens faktiskt korrekta förutsägelse.’

Efter den första granskningen av felen som hittades under flera faser av forskningen, formulerade författarna fyra nya feltyper: fin-granulerat fel, där den förutsagda klassen är liknande en grund-sanningsetikett; fin-granulerat med utom-vokabulär (OOV), där modellen identifierar ett objekt vars klass är korrekt men inte närvarande i ImageNet; spuriös korrelation, där den förutsagda etiketten läses ut ur kontexten av bilden; och icke-prototypisk, där grund-sanningsetiketten är ett tvivelaktigt exempel på den klass som liknar den förutsagda etiketten.

I vissa fall var grund-sanningen inte i sig ‘sann’:

‘Efter granskning av de ursprungliga 676 felen [funna i ImageNet], fann vi att 298 var antingen korrekta eller oklara, eller fastställde att den ursprungliga grund-sanningen var felaktig eller problematisk.’

Efter en uttömmande och komplex serie av experiment över en mängd olika datamängder, undermängder och valideringsmängder, fann författarna att de två modellerna som studerades faktiskt var korrekta (enligt mänskliga granskare) för hälften av ‘felen’ de gjorde under konventionella metoder.

Artikeln slutsats:

‘I den här artikeln analyserade vi varje återstående fel som Vit-3B och Greedy Soups-modellerna gör på ImageNet multi-etikettvalideringsmängden.

‘Sammanfattningsvis fann vi att: 1) när en stor, hög-noggrann modell gör en ny förutsägelse som inte görs av andra modeller, visar det sig vara en korrekt ny multi-etikett nästan hälften av tiden; 2) modeller med högre noggrannhet visar inte en uppenbar mönster i våra kategorier och svårighetsgrader av fel de löser; 3) SOTA-modeller idag är i stort sett lika med eller överträffar prestationen hos den bästa expert-mänskliga på den mänskligt utvärderade multi-etikett-undermängden; 4) bullriga träningsdata och under-specifierade klasser kan vara en faktor som begränsar den effektiva mätningen av förbättringar i bildklassificering.’

Publicerad första gången den 15:e maj 2022.