Hodnocení historické přesnosti ImageNet

Nová studie z Google Research a UC Berkeley přispívá k dlouhodobé kritice ohledně závislosti počítačového vidění (CV) na datasetu ImageNet a jeho mnoha derivátech. Po pečlivé manuální evaluaci autoři dospěli k závěru, že téměř 50 % chyb, které nejlepší modely dělají na multi-label subsetu ImageNet (kde současné nejlepší modely dosahují přes 97% top-1 přesnosti), nejsou ve skutečnosti chyby.

Z dokumentu:

‘Naše analýza ukazuje, že téměř polovina předpokládaných chyb nejsou ve skutečnosti chyby, a objevujeme nové platné multi-labely, což ukazuje, že bez pečlivé kontroly významně podceňujeme výkon těchto modelů.

‘Na druhé straně jsme také zjistili, že nejlepší modely dneška stále dělají značné množství chyb (40%), které jsou zjevně špatné pro lidské recenzenty.’

Rozsah, ve kterém nesprávné označení datasetů – zejména nesprávné označení datasetů nekvalifikovanými crowdsourcingovými pracovníky – může ovlivňovat sektor, byl odhalen pečlivým přístupem k evaluaci obrazů a textových párů napříč velkou částí historie ImageNet.

V horním řádku jsou příklady závažnosti chyb: v prvních dvou příkladech nový model jednoduche chybně předpovídá label; ve třetím příkladu nový model identifikuje dříve chybějící multi-label (label, který řeší novou kategorizaci obrázku); ve čtvrtém obrázku v horním řádku je předpověď modelu nejednoznačná, protože na obrázku je dlouhososka, nikoli běžná moucha. Nicméně, průměrná včela patří do řádu Diptera, a proto by tato výjimka byla téměř nemožné rozpoznat, i pro odborného annotátora. V řádku níže jsou čtyři kategorie chyb s příklady. Původ: https://arxiv.org/pdf/2205.04596.pdf

Vědci zaměstnávali malé množství vyhrazených evaluatorů, kteří pečlivě přezkoumali historické záznamy chyb v datasetu ImageNet, a zjistili, že mnoho z chyb je samo o sobě chybné – objev, který potenciálně reviduje některé špatné hodnocení, které mnoho projektů získalo na ImageNet benchmarcích v průběhu let.

Jak se ImageNet upevňuje v kultuře CV, vědci tvrdí, že zlepšení přesnosti se považují za poskytující klesající návratnost, a že nové modely, které překračují zavedenou přesnost labelů a které navrhují nové (tj. další) labely, mohou být trestány, v podstatě, za nekonformitu.

‘Například,’ autoři pozorují. ‘měli bychom trestat modely za to, že jsou první, kdo předpovídá, že předpečený bagel může být bagel, jako jeden z modelů, které jsme přezkoumali v této práci?’

Z dokumentu, nový model popírá předchozí předpověď, že objekt na fotografii je těsto, a navrhuje, že objekt je ve skutečnosti již bagel).

Z pohledu crowdsourcingového pracovníka, který má za úkol identifikovat takový objekt, je to sémantická a dokonce filozofická otázka, která může být vyřešena pouze pomocí multi-labelingu (což se často vyskytuje v pozdějších podmnožinách a následujících iteracích ImageNet); v tomto případě je objekt skutečně oběma – těstem a alespoň zárodkem bagelu.

Hlavní (nahoře) a vedlejší (dole) chyby, které vyšly najevo při testování vlastních modelů ve výzkumu. Původní ImageNet labely jsou první obrázky vlevo.

Dvě zjevné řešení jsou přiřazovat více zdrojů k označení (což je výzvou, v rámci rozpočtových omezení většiny počítačových vidění výzkumných projektů); a, jak autoři zdůrazňují, pravidelně aktualizovat datasety a label evaluace sub-sad (což, mezi jinými překážkami, riskuje porušit ‘like for like’ historickou kontinuitu benchmarků, a znečišťovat nové výzkumné dokumenty upřesněními a výhradami ohledně srovnatelnosti).

Jako krok k nápravě situace, vědci vyvinuli novou sub-dataset ImageNet nazvanou ImageNet-Major (ImageNet-M), kterou popisují jako ‘výřez 68 příkladů “závažných chyb” ze zjevných chyb, které dělají dnešní nejlepší modely—a výřez, v němž by modely měly dosáhnout téměř dokonalosti, ale dnes jsou daleko od toho.’

Dokument je nazvaný Kdy se těsto stává bagelem? Analýza zbývajících chyb na ImageNet, a je napsán čtyřmi autory z Google Research, spolu se Sarou Fridovich-Keil z UC Berkeley.

Technický dluh

Zjištění jsou důležitá, protože zbývající chyby identifikované (nebo chybně identifikované) v ImageNet, v 16 letech od jeho vzniku, centrální studie výzkumu, mohou představovat rozdíl mezi nasaditelným modelem a modelem, který je dostatečně chybný, aby nemohl být uvolněn na reálná data. Jako vždy, poslední fáze je zásadní.

Sektor počítačového vidění a syntézy obrazu výzkumu se efektivní ‘auto-vybral’ ImageNet jako benchmark metriku, z důvodu, že raná adoptace, v době, kdy byly velkoobjemové a dobře označené datasety vzácnější, než jsou nyní, produkují tolik výzkumných iniciativ, že testování proti ImageNet se rychle stalo jediným široce aplikovatelným historickým ‘standardem’ pro benchmarkování nových rámců.

Metoda

Hledání ‘zbývajících chyb’ v ImageNet, vědci použili standardní ViT model (schopný dosáhnout přesnosti 89,5%) s 3 miliardami parametrů, Vit-3B, předtrénovaný na JFT-3B a doladěný na ImageNet-1K.

Používají ImageNet2012_multilabel dataset, vědci zaznamenali počáteční multi-label přesnost (MLA) ViT-3B jako 96,3%, během které model udělal 676 zdánlivých chyb. Tyto chyby (a také chyby vyrobené modelem Greedy Soups) autoři hledali.

Pro evaluaci zbývajících 676 chyb, autoři se vyhnuli crowdsourcingovým pracovníkům, pozorujíce, že chyby tohoto typu mohou být obtížné pro průměrné annotátory, ale shromáždili panel pěti expertních recenzentů, a vytvořili vyhrazený nástroj, který umožňuje každému recenzentovi vidět na první pohled předpovězenou třídu; předpovězené skóre; referenční štítky; a obrázek sám.

UI postavený pro projekt.

V některých případech, další výzkum byl nezbytný pro řešení sporů mezi panelem, a vyhledávání obrázků Google byl použit jako pomocný nástroj.

‘[V] jednom zajímavém, ale ne izolovaném případě, předpověď taxi cabu (bez zjevných indikátorů taxi cabu kromě žluté barvy) byla přítomna na obrázku; jsme určili, že předpověď byla správně taxi cab a ne jen standardní vozidlo, identifikací mostu v pozadí, abychom lokalizovali město, a následným vyhledáváním obrázků pro taxi v tomto městě, který vyprodukoval obrázky stejného taxi modelu a vzhledu registrační značky, validující předpověď modelu.’

Po počáteční kontrole chyb nalezených během několika fází výzkumu, autoři formulovali čtyři nové typy chyb: jemná chyba, kde předpovězená třída je podobná referenčnímu štítku; jemnozrnná chyba s třídou mimo slovník (OOV), kde model identifikuje objekt, jehož třída je správná, ale není přítomna v ImageNet; zdánlivá korelace, kde předpovězený label je čten mimo kontext obrázku; a non-prototypická, kde referenční objekt je zavádějícím příkladem třídy, která se podobá předpovězenému labelu.

V některých případech, referenční základ nebyl sám o sobě ‘pravdivý’:

‘Po kontrole původních 676 chyb [nalezených v ImageNet], jsme zjistili, že 298 byly buď správné, nebo nejasné, nebo určily původní referenční základ nesprávné nebo problematické.’

Po vyčerpávajícím a komplexním kolečku experimentů napříč řadou datasetů, sub-sad a validačních sad, autoři zjistili, že dva modely, které studovali, byly ve skutečnosti považovány za správné (lidskými recenzenty) pro polovinu ‘chyb’, které udělaly pomocí konvenčních technik.

Dokument uzavírá:

‘V tomto dokumentu, jsme analyzovali každou zbývající chybu, kterou modely ViT-3B a Greedy Soups dělají na ImageNet multi-label validační sadě.

‘Celkově, jsme zjistili, že: 1) když velký, vysoce přesný model dělá novou předpověď, která nebyla provedena jinými modely, skončí jako správná nová multi-label téměř polovinu času; 2) modely s vyšší přesností nedemonstrují zjevný vzorec v našich kategoriích a závažnosti chyb; 3) SOTA modely dneška jsou většinou shodné nebo překračují výkon nejlepšího expertního člověka na podmnožině s více štítky vyhodnocené lidmi; 4) zašuměná trénovací data a nespecifikované třídy mohou být faktorem, který omezuje efektivní měření zlepšení v klasifikaci obrazu.’

Poprvé publikováno 15. května 2022.