Ocena historycznej dokładności ImageNet

Nowe badanie przeprowadzone przez Google Research i UC Berkeley dodaje do długotrwałej krytyki dotyczącej zależności sektora badań nad widzeniem komputerowym (CV) od cenionego zestawu danych ImageNet i jego pochodnych. Po wielomiesięcznej, pracochłonnej ocenie ręcznej, autorzy dochodzą do wniosku, że prawie 50% błędów, które najlepsze modele popełniają w ocenie wieloetykietowej podzbioru ImageNet (gdzie obecnie najlepsze modele osiągają ponad 97% dokładności), nie są tak naprawdę błędami.

Z pracy:

‘Nasza analiza ujawnia, że prawie połowa rzekomych błędów nie jest błędami w ogóle, i ujawniamy nowe ważne wieloetyped, demonstrując, że bez starannej oceny, znacznie zaniżamy wydajność tych modeli.

‘Z drugiej strony, stwierdzamy również, że najlepsze modele nadal popełniają znaczną liczbę błędów (40%), które są oczywiście błędne dla ludzkich recenzentów.’

Zakres, w jakim nieprawidłowe oznaczanie zbiorów danych – szczególnie przez nieumiejętnych pracowników crowdsourcingowych – może wpływać na sektor, ujawnił się dzięki starannej ocenie par obrazu i tekstu w dużym zakresie historii ImageNet.

W pierwszym rzędzie, przykłady błędów: w pierwszych dwóch przykładach nowy model po prostu źle określa etykietę; w trzecim przykładzie nowy model identyfikuje wcześniej nieobecną wieloetyped (etykietę, która odnosi się do nowej klasyfikacji obrazu); w ostatnim obrazie w pierwszym rzędzie, przewidywanie modelu jest niejednoznaczne, ponieważ obraz jest muchą i nie muchą. Jednakże, przeciętna mucha należy do rzędu owadów Diptera, więc ta wyjątkowość byłaby prawie niemożliwa do zauważenia, nawet dla eksperta-anotatora. W rzędzie poniżej znajdują się cztery kategorie błędów, z przykładami. Źródło: https://arxiv.org/pdf/2205.04596.pdf

Badacze zatrudnili niewielką liczbę dedykowanych oceniających, aby starannie przejrzeć historyczne rekordy błędów w ocenie zestawu danych ImageNet, stwierdzając, że wiele z tych ocen błędów jest sama w błędzie – odkrycie, które potencjalnie rewizuje niektóre z słabych wyników, które wiele projektów uzyskało w benchmarkach ImageNet na przestrzeni lat.

Ponieważ ImageNet utrwala się w kulturze CV, badacze twierdzą, że poprawy dokładności są uważane za przynoszące malejące zyski, i że nowe modele, które przekraczają ustalone dokładności etykiet i które sugerują nowe (tj. dodatkowe) etykiety, mogą być karane za niezgodność.

‘Na przykład,’ autorzy zauważają. ‘czy powinniśmy karać modele za to, że są pierwszymi, które przewidują, że pre-uptrojony bagel może być baglem, jak jeden z modeli, które przeglądamy w tej pracy?’

Z pracy, nowszy model odrzuca poprzednią przewidywaną etykietę, że obiekt na zdjęciu jest ciastem, i sugeruje, że obiekt jest już baglem).

Z punktu widzenia pracownika crowdsourcingowego, który ma za zadanie identyfikować taki obiekt, jest to semantyczna i nawet filozoficzna zagadka, która może być rozwiązana tylko przez wieloetyped (jak często zdarza się w późniejszych podzbiorach i kolejnych iteracjach ImageNet); w powyższym przypadku, obiekt jest zarówno ciastem, jak i co najmniej zalążkiem bagla.

Poważne (powyżej) i mniejsze (poniżej) błędy, które pojawiły się podczas testowania niestandardowych modeli w badaniu. Oryginalne etykiety ImageNet są pierwszymi obrazami po lewej.

Dwa oczywiste rozwiązania to przypisanie większych zasobów do oznaczania (co jest wyzwaniem w ramach ograniczeń budżetowych większości projektów badań nad widzeniem komputerowym) oraz, jak podkreślają autorzy, regularne aktualizowanie zbiorów danych i podzbiorów oceny etykiet (co, pośród innych przeszkód, naraża na ryzyko przerwania historycznej ciągłości benchmarków i zanieczyszczenia nowych prac badawczych kwalifikacjami i zastrzeżeniami dotyczącymi równoważności).

Jako krok w kierunku rozwiązania sytuacji, badacze opracowali nowy podzbiór ImageNet o nazwie ImageNet-Major (ImageNet-M), który opisują jako ’68-przykładowy “poważny błąd” wycinek oczywistych błędów popełnianych przez najlepsze modele dzisiaj – wycinek, w którym modele powinny osiągać niemal perfekcję, ale dzisiaj są daleko od tego.’

Praca jest zatytułowana Kiedy ciasto staje się baglem? Analiza pozostałych błędów w ImageNet, i została napisana przez czterech autorów z Google Research, wraz z Sarą Fridovich-Keil z UC Berkeley.

Dług technologiczny

Wyniki są ważne, ponieważ pozostałe błędy zidentyfikowane (lub błędnie zidentyfikowane) w ImageNet, w 16 latach od jego powstania, mogą stanowić różnicę między modelem wdrożonym a modelem, który jest wystarczająco błędny, aby nie mógł być wypuszczony na żywe dane. Jak zawsze, ostatni mila jest krytyczna.

Sektor badań nad widzeniem komputerowym i syntezą obrazu skutecznie “wybrał” ImageNet jako miarę benchmarkową, z powodu kilku powodów – nie tylko dlatego, że wczesni adopterzy, w czasach, gdy zbiory danych o dużej objętości i dobrze oznaczone były rzadsze niż teraz, wyprodukowali wiele inicjatyw badawczych, które testowanie przeciwko ImageNet szybko stało się jedyną powszechnie stosowaną historyczną “normą” dla benchmarkowania nowych ram.

Metoda

W poszukiwaniu “pozostałych błędów” w ImageNet, badacze użyli standardowego modelu ViT (zdolnego do osiągania dokładności 89,5%) z 3 miliardami parametrów, Vit-3B, wstępnie wytrenowanego na JFT-3B i dostrojonego na ImageNet-1K.

Używając zestawu danych ImageNet2012_multilabel, badacze zarejestrowali początkową dokładność wieloetykietową (MLA) ViT-3B jako 96,3%, podczas której model popełnił 676 oczywistych błędów. To właśnie te błędy (oraz błędy wyprodukowane przez model Greedy Soups) autorzy starali się zbadania.

Aby ocenić pozostałe 676 błędów, autorzy uniknęli pracowników crowdsourcingowych, obserwując, że błędy tego typu mogą być trudne do zauważenia przez przeciętnych anotatorów, ale zebraли panel pięciu ekspertów i stworzyli dedykowane narzędzie, które pozwala każdemu recenzentowi zobaczyć na pierwszy rzut oka przewidywaną klasę; przewidywaną ocenę; etykiety podstawowe; i sam obraz.

Interfejs użytkownika zbudowany dla projektu.

W niektórych przypadkach konieczne było dalsze badanie, aby rozwiązać spory wśród panelu, a wyszukiwanie Google zostało użyte jako pomocnicze narzędzie.

‘[W] jednym interesującym, ale nie odosobnionym przypadku, przewidywanie taksówki (bez oczywistych wskaźników taksówki poza żółtym kolorem) było obecne na zdjęciu; ustaliliśmy, że przewidywanie było poprawne i nie było po prostu standardowym pojazdem, identyfikując most w tle, aby zlokalizować miasto, a następnie wyszukując obrazy taksówek w tym mieście, co potwierdziło przewidywanie modelu.’

Po początkowej ocenie błędów znalezionych w kilku fazach badań, autorzy sformułowali cztery nowe typy błędów: błąd drobnoziarnisty, gdzie przewidywana klasa jest podobna do etykiety podstawowej; błąd drobnoziarnisty z poza słownikiem (OOV), gdzie model identyfikuje obiekt, którego klasa jest poprawna, ale nieobecna w ImageNet; korelacja pozorna, gdzie przewidywana etykieta jest odczytywana poza kontekstem obrazu; i nieprototypowy, gdzie obiekt podstawowy jest fałszywym przykładem klasy, która przypomina przewidywaną etykietę.

W pewnych przypadkach, etykieta podstawowa nie była sama w sobie “prawdziwa”:

‘Po przeglądzie oryginalnych 676 błędów [znalezionych w ImageNet], stwierdziliśmy, że 298 były albo poprawne, albo niejasne, albo określiliśmy, że oryginalna etykieta podstawowa była niepoprawna lub problematyczna.’

Po wyczerpującej i złożonej rundzie eksperymentów na różnych zbiorach danych, podzbiorach i zestawach walidacyjnych, autorzy stwierdzili, że dwa badane modele były tak naprawdę poprawne (przez ludzkich recenzentów) w połowie “błędów”, które popełniły przy użyciu konwencjonalnych technik.

Praca kończy się następująco:

‘W tej pracy, przeanalizowaliśmy każdy pozostały błąd, jaki modele ViT-3B i Greedy Soups popełniają w ocenie wieloetykietowej podzbioru ImageNet.

‘Ogólnie, stwierdziliśmy, że: 1) kiedy duży, wysokodokładny model robi nową przewidywaną etykietę, niezrobioną przez inne modele, kończy się to poprawną nową wieloetyped prawie w połowie przypadków; 2) modele o wyższej dokładności nie wykazują oczywistego wzorca w naszych kategoriach i ciężkości błędów, które rozwiązują; 3) modele SOTA dzisiaj w dużej mierze odpowiadają lub przewyższają wyniki najlepszych ludzkich ekspertów w ocenie wieloetykietowej podzbioru; 4) szumy w danych szkoleniowych i niesprecyzowane klasy mogą być czynnikiem ograniczającym skuteczne mierzenie popraw w klasyfikacji obrazu.’

Pierwotnie opublikowane 15 maja 2022.