Evaluarea acurateței istorice a ImageNet

O nouă studiu de la Google Research și UC Berkeley adaugă la criticile de lungă durată cu privire la sectorul de cercetare a viziunii calculate (CV) care se bazează pe setul de date venerabil ImageNet și pe derivatele sale. După o evaluare manuală laborioasă, autorii concluzionează că aproape 50% din greșelile presupuse pe care le fac cele mai bune modele pe subsetul de evaluare multi-etichetă al ImageNet (unde modelele actuale de top obțin o acuratețe de peste 97%) nu sunt de fapt erori.

Din lucrare:

‘Analiza noastră arată că aproape jumătate din greșelile presupuse nu sunt greșeli deloc, și descoperim noi etichete multi-label valabile, demonstrând că, fără o revizuire atentă, subestimăm semnificativ performanța acestor modele.

‘Pe de altă parte, găsim și că cele mai bune modele de astăzi încă fac un număr semnificativ de greșeli (40%) care sunt evident greșite pentru recenzorii umani.’

Extinderea la care etichetarea incorectă a seturilor de date – în special de către lucrătorii necalificați de crowdsource – poate fi distorsionată sectorul, a fost dezvăluită de abordarea meticuloasă a studiului de evaluare a perechilor imagine/text dintr-o mare parte a istoriei ImageNet.

În rândul superior, exemple de gravitate a greșelilor: în primele două exemple aici, noul model pur și simplu greșește eticheta prezisă; în al treilea exemplu, noul model identifică o etichetă multi-label lipsă anterior (o etichetă care abordează o nouă categorizare a imaginii); în ultima imagine din rândul superior, predicția modelului este ambiguă, deoarece poza este o muscă-bee și nu o muscă. Cu toate acestea, musca medie aparține ordinului de insecte Diptera, și astfel această excepție ar fi aproape imposibil de detectat, chiar și pentru un annotator expert. În rândul de mai jos sunt patru categorii de greșeli, cu exemple. Sursă: https://arxiv.org/pdf/2205.04596.pdf

Cercetătorii au folosit un număr mic de evaluatori dedicați pentru a revizui cu atenție înregistrările istorice de erori din setul de date ImageNet, găsind că multe dintre judecățile de eroare sunt ele însele eronate – o descoperire care poate revizui unele dintre scorurile slabe pe care multe proiecte le-au obținut pe benchmark-urile ImageNet de-a lungul anilor.

Pe măsură ce ImageNet se înrădăcinează în cultura CV, cercetătorii susțin că îmbunătățirile acurateței se consideră a avea randamente descrescătoare, și că noile modele care depășesc acuratețea etichetelor stabilite și care sugerează noi etichete (adică etichete suplimentare) pot fi pedepsite, în esență, pentru nonconformism.

‘De exemplu,’ observă autorii. ‘ar trebui să pedepsim modelele pentru a fi primele care prezic că un bagel pre-copt poate fi un bagel, așa cum face unul dintre modelele pe care le examinăm în acest studiu?’

Din lucrare, un model mai nou sfidează predicția anterioară că obiectul din poza este aluat și sugerează că obiectul este de fapt un bagel).

Din punctul de vedere al unui lucrător de crowdsource care trebuie să identifice un astfel de obiect, aceasta este o problemă semantică și chiar filosofică care poate fi rezolvată numai prin etichetarea multi-label (așa cum se întâmplă adesea în subseturile ulterioare și în iterațiile ulterioare ale ImageNet); în cazul de față, obiectul este într-adevăr atât aluat, cât și cel puțin un bagel în stare incipientă.

Greșeli majore (sus) și minore (jos) care au apărut la testarea modelelor personalizate în cercetare. Etichetele originale ImageNet sunt primele imagini din stânga.

Cele două soluții evidente sunt să se aloce mai multe resurse pentru etichetare (ceea ce este o provocare, în cadrul constrângerilor bugetare ale majorității proiectelor de cercetare a viziunii calculate); și, așa cum subliniază autorii, să se actualizeze în mod regulat seturile de date și sub-seturile de evaluare a etichetelor (ceea ce, printre alte obstacole, riscă să întrerupă continuitatea istorică a benchmark-urilor și să umple noile lucrări de cercetare cu calificări și declarații cu privire la echivalență).

Ca un pas pentru a remedia situația, cercetătorii au dezvoltat un nou sub-set de date al ImageNet, numit ImageNet-Major (ImageNet-M), pe care îl descriu ca ‘un “felie” de 68 de exemple de “greșeli majore” ale greșelilor evidente făcute de modelele de top de astăzi – un felie unde modelele ar trebui să atingă aproape perfecțiunea, dar astăzi sunt departe de a o face.’

Lucrarea este intitulată Când devine aluatul un bagel? Analizând greșelile rămase pe ImageNet și este scrisă de patru autori de la Google Research, împreună cu Sara Fridovich-Keil de la UC Berkeley.

Datoria tehnică

Rezultatele sunt importante deoarece erorile rămase identificate (sau identificate greșit) în ImageNet, în cei 16 ani de la înființarea sa, studiul central al cercetării, pot reprezenta diferența dintre un model care poate fi implementat și unul care este suficient de eronat încât nu poate fi lansat pe date live. Ca întotdeauna, ultimul milimetru este critic.

Sectorul de cercetare a viziunii calculate și sintezei de imagini a “auto-ales” în mod eficient ImageNet ca o metrică de benchmark, dintr-un număr de motive – nu în ultimul rând pentru că o serie de adoptatori timpurii, la un moment în care seturile de date de volum mare și bine etichetate erau mai rare decât sunt acum, au produs atât de multe inițiative de cercetare încât testarea împotriva ImageNet a devenit rapid singura metrică istorică “standard” pentru benchmarking-ul cadrului de lucru nou.

Metodă

În căutarea “greșelilor rămase” din ImageNet, cercetătorii au folosit un model standard ViT (capabil să atingă o acuratețe de 89,5%) cu 3 miliarde de parametri, Vit-3B, pre-antrenat pe JFT-3B și ajustat pe ImageNet-1K.

Utilizând setul de date ImageNet2012_multilabel, cercetătorii au înregistrat acuratețea inițială multi-etichetă (MLA) a ViT-3B ca fiind 96,3%, în timpul căreia modelul a făcut 676 de greșeli aparente. Aceste greșeli (și greșelile produse de un model Greedy Soups) au fost cele pe care autorii le-au căutat să le investigheze.

Pentru a evalua cele 676 de greșeli rămase, autorii au evitat lucrătorii de crowdsource, observând că greșelile de acest tip pot fi dificile pentru annotatorii obișnuiți să le detecteze, dar au adunat un panel de cinci recenzori experți și au creat un instrument dedicat pentru a permite fiecărui recenzor să vadă la o privire predicted class; predicted score; ground truth labels; și imaginea însăși.

Interfața utilizatorului construită pentru proiect.

În unele cazuri, a fost necesară o cercetare suplimentară pentru a rezolva disputele dintre panel, și s-a folosit Google Image search ca un instrument auxiliar.

‘[În] un caz interesant, dar nu izolat, o predicție a unui taxi (fără indicatori evidenți de taxi în afara culorii galbene) a fost prezentă în imagine; am determinat că predicția a fost corectă și nu doar un vehicul standard prin identificarea unui pod de marcaj în fundal pentru a localiza orașul, și o căutare ulterioară de imagini pentru taxiuri în acel oraș a produs imagini ale aceluiași model de taxi și design de număr de înmatriculare, validând predicția corectă a modelului.’

După revizuirea inițială a greșelilor găsite în mai multe faze ale cercetării, autorii au formulat patru tipuri noi de greșeli: eroare fină, unde clasa prezisă este similară cu o etichetă de ground truth; fină cu vocabularie în afara vocabularului (OOV), unde modelul identifică un obiect a cărui clasă este corectă, dar nu este prezentă în ImageNet; corelație spurioasă, unde eticheta prezisă este citită în afara contextului imaginii; și non-prototipică, unde obiectul de ground truth este un exemplu specios al clasei care seamănă cu eticheta prezisă.

În anumite cazuri, ground truth-ul nu a fost el însuși “adevărat”:

‘După revizuirea greșelilor originale de 676 [găsite în ImageNet], am găsit că 298 erau corecte sau neclare, sau am determinat că ground truth-ul original a fost incorect sau problematic.’

După o serie exhaustivă și complexă de experimente pe o varietate de seturi de date, subseturi și seturi de validare, autorii au constatat că cele două modele studiate au fost de fapt considerate corecte (de către recenzorii umani) pentru jumătate din “greșelile” pe care le-au făcut prin tehnici convenționale.

Articolul concluzionează:

‘În acest articol, am analizat fiecare greșeală rămasă pe care o fac modelele ViT-3B și Greedy Soups pe setul de validare multi-etichetă ImageNet.

‘În general, am găsit că: 1) atunci când un model mare, cu acuratețe ridicată, face o predicție nouă care nu a fost făcută de alte modele, se dovedește a fi o etichetă multi-label corectă aproape jumătate din timp; 2) modelele cu acuratețe mai mare nu demonstrează un model evident în categoriile și gravitățile greșelilor pe care le rezolvă; 3) modelele SOTA de astăzi sunt în mare măsură la fel cu sau depășesc performanța celui mai bun expert uman pe subsetul multi-etichetă evaluat de om; 4) datele de antrenare zgomotoase și clasele sub-specificate pot fi un factor care limitează măsurarea eficientă a îmbunătățirilor în clasificarea imaginilor.’

Publicat pentru prima dată pe 15 mai 2022.