Utvärdering av den historiska noggrannheten i ImageNet

En ny studie från Google Research och UC Berkeley tillför långvarig kritik gällande datorseende (CV) forskningsektorns beroende av den välkända ImageNet datamängden och dess många derivat. Efter en stor mängd manuell utvärdering, drar författarna slutsatsen att nästan 50% av de påstådda felen som de bästa modellerna gör på den multi-etikettsubseten av ImageNet (där nuvarande toppresterande modeller uppnår mer än 97% topp-1 noggrannhet) inte faktiskt är fel.

Från artikeln:

‘Vår analys visar att nästan hälften av de påstådda felen inte är fel alls, och vi upptäcker nya giltiga multi-etiketter, vilket visar att utan noggrann granskning, underskattar vi betydligt prestationen hos dessa modeller.

‘Å andra sidan finner vi också att dagens bästa modeller fortfarande gör ett betydande antal fel (40%) som är uppenbart fel för mänskliga granskare.’

Omständigheterna till vilka felmärkning av datamängder – särskilt av outbildade crowdsource-arbetare – kan påverka sektorn, avslöjades av studiens noggranna tillvägagångssätt för utvärdering av bild- och textparen över en stor del av ImageNets historia.

I den översta raden, exempel på felallvar: i de två första exemplen här, får den nya modellen helt enkelt fel etikett; i det tredje exemplet identifierar den nya modellen en tidigare saknad multi-etikett (en etikett som behandlar en ny kategorisering av bilden); i den sista bilden i den översta raden är modellens förutsägelse tvetydig, eftersom bilden visar en svävfluga och inte en vanlig fluga. Men det genomsnittliga biet tillhör insektsordningen Diptera, och ett sådant undantag skulle vara nästan omöjligt att upptäcka, även för en expertannotator. I raden nedan finns fyra felkategorier, med exempel. Källa: https://arxiv.org/pdf/2205.04596.pdf

Forskarna anställde ett litet antal dedikerade utvärderare för att noggrant granska historiska felregister i ImageNet datamängden, och fann att många av felbedömningarna i sig är fel – en upptäckt som potentiellt reviderar en del av de dåliga poäng som många projekt har fått på ImageNet-benchmark under åren.

Så länge ImageNet befäster sig i CV-kulturen, hävdar forskarna att förbättringar av noggrannhet anses ge avtagande avkastning, och att nya modeller som överträffar etablerad etikett-noggrannhet, och som föreslår nya (dvs. tilläggsetiketter) kan bestraffas, i princip, för icke-konformitet.

‘Till exempel,’ observerar författarna. ‘ska vi bestraffa modeller för att de är de första som förutsäger att en förbakad bagel kan vara en bagel, som en av modellerna vi granskar i det här arbetet gör?’

Från artikeln, en nyare modell utmanar tidigare förutsägelse att objektet på bilden är deg, och föreslår att objektet faktiskt redan är en bagel).

Från synvinkeln hos en crowdsource-arbetare som har fått i uppdrag att identifiera ett sådant objekt, är detta ett semantiskt och till och med filosofiskt dilemma som bara kan lösas genom multi-etikettering (som ofta förekommer i senare undermängder och efterföljande iterationer av ImageNet); i det ovannämnda fallet är objektet faktiskt både deg och åtminstone en embryonisk bagel.

Stora (ovan) och små (nedan) fel som uppkom när anpassade modeller testades i forskningen. Original ImageNet-etiketter är de första bilderna till vänster.

De två uppenbara lösningarna är att tilldela fler resurser till etikettering (vilket är en utmaning, inom de budgetmässiga begränsningarna för de flesta datorseende-forskningsprojekt); och, som författarna betonar, att regelbundet uppdatera datamängder och etikett-utvärderingsundermängder (vilket, bland andra hinder, riskerar att bryta ‘lika för lika’ historisk kontinuitet av benchmark och att fylla nya forskningsartiklar med preciseringar och förbehåll angående ekvivalens).

Som ett steg för att lösa situationen, har forskarna utvecklat en ny undermängd av ImageNet som kallas ImageNet-Major (ImageNet-M), som de beskriver som ‘en delmängd med 68 exempel på “stora fel” bland de uppenbara felen som dagens bästa modeller gör – en delmängd där modellerna borde uppnå nästan fullständig perfektion, men idag är långt ifrån att göra det.’

Artikeln heter När blir deg en bagel? Analys av de återstående felen på ImageNet, och är skriven av fyra författare från Google Research, tillsammans med Sara Fridovich-Keil från UC Berkeley.

Teknisk skuld

Resultaten är viktiga eftersom de återstående felen som identifierats (eller feltolkats) i ImageNet, under de 16 år som har passerat sedan dess tillkomst, den centrala studien av forskningen, kan representera skillnaden mellan en distribuerbar modell och en som är felbenägen nog att den inte kan släppas ut på verkliga data. Som alltid är den sista milen kritisk.

Datorseende- och bildsynthesforskningssektorn har i princip ‘självvalt’ ImageNet som en benchmark-mätning, av en mängd olika skäl – inte minst för att en mängd tidiga användare, vid en tidpunkt då stora och väl-etiketterade datamängder var sällsynta, producerade så många forskningsinitiativ att testning mot ImageNet snabbt blev den enda allmänt tillämpliga historiska ‘standarden’ för benchmarkning av nya ramverk.

Metod

I sökandet efter de ‘återstående felen’ i ImageNet, använde forskarna en standard ViT modell (kapabel att uppnå en noggrannhet på 89,5%) med 3 miljarder parametrar, Vit-3B, förtränad på JFT-3B och finjusterad på ImageNet-1K.

Användande ImageNet2012_multilabel datamängden, registrerade forskarna den ursprungliga multi-etikett-noggrannheten (MLA) för Vit-3B som 96,3%, under vilken modellen gjorde 676 uppenbara fel. Det var dessa fel (och också fel producerade av en Greedy Soups-modell) som författarna försökte undersöka.

För att utvärdera de återstående 676 felen, undvek författarna crowdworkers, med observeringen att fel av den här typen kan vara svåra för genomsnittliga annotatorer att upptäcka, men samlade en panel av fem expertgranskare, och skapade ett dedikerat verktyg för att låta varje granskare se på en gång den förutsagda klassen; den förutsagda poängen; referensetiketterna; och bilden i sig.

Användargränssnittet som byggdes för projektet.

I vissa fall var ytterligare forskning nödvändig för att lösa tvister mellan panelen, och Google Bildsök användes som ett hjälpmedel.

‘[I] ett intressant men inte isolerat fall, var en förutsägelse av en taxi (med inga uppenbara taxiskyltar utöver gul färg) närvarande i bilden; vi fastställde förutsägelsen som korrekt en taxi och inte bara ett standardfordon genom att identifiera en landmärkesbro i bakgrunden för att lokalisera staden, och en efterföljande bildsökning efter taxibilar i den staden gav bilder av samma taximodell och skyltutformning, vilket validerade modellens faktiskt korrekta förutsägelse.’

Efter den första granskningen av felen som hittades under flera faser av forskningen, formulerade författarna fyra nya feltyper: finkornigt fel, där den förutsagda klassen är liknande en referensetikett; finkornigt fel med en klass utanför ordförrådet (OOV), där modellen identifierar ett objekt vars klass är korrekt men inte närvarande i ImageNet; spuriös korrelation, där den förutsagda etiketten tolkas utan hänsyn till bildens sammanhang; och icke-prototypisk, där referensetiketten är ett tvivelaktigt exempel på den klass som liknar den förutsagda etiketten.

I vissa fall var referensfacit inte i sig ‘sann’:

‘Efter granskning av de ursprungliga 676 felen [funna i ImageNet], fann vi att 298 var antingen korrekta eller oklara, eller fastställde att den ursprungliga referensfacit var felaktig eller problematisk.’

Efter en uttömmande och komplex serie av experiment över en mängd olika datamängder, undermängder och valideringsmängder, fann författarna att de två modellerna som studerades faktiskt var korrekta (enligt mänskliga granskare) för hälften av ‘felen’ de gjorde under konventionella metoder.

Artikelns slutsats:

‘I den här artikeln analyserade vi varje återstående fel som Vit-3B och Greedy Soups-modellerna gör på ImageNet multi-etikettvalideringsmängden.

‘Sammanfattningsvis fann vi att: 1) när en stor, hög-noggrann modell gör en ny förutsägelse som inte görs av andra modeller, visar det sig vara en korrekt ny multi-etikett nästan hälften av tiden; 2) modeller med högre noggrannhet visar inte ett uppenbart mönster i våra kategorier och svårighetsgrader av fel de löser; 3) SOTA-modeller idag är i stort sett lika med eller överträffar prestationen hos den bästa mänskliga experten på den mänskligt utvärderade multi-etikett-undermängden; 4) brusiga träningsdata och under-specifierade klasser kan vara en faktor som begränsar den effektiva mätningen av förbättringar i bildklassificering.’

Publicerad första gången den 15:e maj 2022.