Nadinterpretacja może być większym i trudniejszym do pokonania zagrożeniem niż przeuczenie

Jeśli twoja dobra przyjaciółka Alice lubi nosić żółte swetry, będziesz widzieć więcej żółtych swetrów niż przeciętna osoba. Po pewnym czasie jest możliwe, że gdy zobaczysz inną kobietę w żółtym swetrze, podstawowa koncepcja Alice przyjdzie ci do głowy.

Jeśli zobaczysz kobietę w żółtym swetrze, która przypomina Alice trochę, możesz nawet chwilowo pomylić ją z twoją przyjaciółką.

Ale to nie jest Alice. Ostatecznie zdasz sobie sprawę, że żółty sweter nie jest użytecznym kluczem do identyfikacji Alice, ponieważ nigdy nie nosi ich latem, a nawet nie zawsze nosi ich zimą. W pewnym momencie twojej przyjaźni zaczniesz obniżać żółty sweter jako możliwy Alice identyfikator, ponieważ twoje doświadczenie z tym było niezadowalające, a energia poznawcza użyta do utrzymania tego szybkiego rozwiązania nie jest często nagradzana.

Jeśli jesteś systemem rozpoznawania wizyjnego opartym na komputerze, jest jednak możliwe, że widzisz Alice wszędzie, gdzie widzisz żółty sweter.

To nie twoja wina; zostałeś poinstruowany, aby identyfikować Alice za wszelką cenę, z minimalnych dostępnych informacji, i nie ma braku zasobów poznawczych, aby utrzymać to redukcyjne Alice wspomaganie.

Niepokojąca dyskrecja

Według niedawnego artykułu z MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) i Amazon Web Services, ten zespół, określany jako nadinterpretacja, jest powszechny w dziedzinie badań wizyjnych (CV); nie może być złagodzony przez rozwiązanie przeuczenia (ponieważ nie jest bezpośrednim dodatkiem do przeuczenia); jest powszechnie spotykany w badaniach, które wykorzystują dwa najbardziej wpływowe zestawy danych w rozpoznawaniu i transformacji obrazu, CIFAR-10 i ImageNet; i nie ma łatwych rozwiązań – na pewno nie tanich rozwiązań.

Badacze odkryli, że gdy zmniejszają inputowe obrazy szkoleniowe do zaledwie 5% ich spójnego contenu, szeroki zakres popularnych ram pozostaje w stanie poprawnie klasyfikować obrazy, które wyglądają, w większości przypadków, jak wizualne bezsensowne dla każdego ludzkiego obserwatora:

Oryginalne obrazy szkoleniowe z CIFAR-10, zmniejszone do zaledwie 5% oryginalnej zawartości pikseli, a jednak poprawnie sklasyfikowane przez szereg bardzo popularnych ram wizyjnych z dokładnością między 90-99%. Źródło: https://arxiv.org/pdf/2003.08907.pdf

W niektórych przypadkach ramy klasyfikacyjne znajdują te obcięte obrazy łatwiejsze do poprawnej klasyfikacji niż pełne ramy w oryginalnych danych szkoleniowych, przy czym autorzy obserwują ‘[CNNs] są bardziej pewne tych podzbiorów pikseli niż pełnych obrazów’.

To wskazuje na potencjalnie podważający typ “oszustwa”, który występuje jako powszechna praktyka dla systemów CV, które wykorzystują zestawy danych odniesienia, takie jak CIFAR-10 i ImageNet, oraz ramy odniesienia, takie jak VGG16, ResNet20 i ResNet18.

Nadinterpretacja ma znaczące konsekwencje dla systemów pojazdów autonomicznych opartych na CV, które ostatnio stały się przedmiotem zainteresowania w związku z decyzją Tesli, aby faworyzować interpretację obrazu nad LiDAR i innymi systemami czujników promieniowania dla algorytmów samochodów autonomicznych.

Mimo że “uczenie się skrótami” jest znanym wyzwaniem, a aktywnym polem badań w dziedzinie wizyjnej, autorzy artykułu komentują, że niemiecko-kanadyjskie badania, które ramy problemu w 2019 roku, nie rozpoznają, że “podejrzane” podzbiory pikseli, które charakteryzują nadinterpretację, są “statystycznie ważnymi danymi”, które mogą wymagać rozwiązania w zakresie architektury i podejść wyższego poziomu, a nie tylko przez更piekfrowe opracowanie zestawów danych.

Artykuł artykuł nosi tytuł Nadinterpretacja ujawnia patologie modeli klasyfikacji obrazu i pochodzi od Brandona Cartera, Siddharthy Jain i Davida Gifforda z CSAIL, we współpracy z Jonasem Muellerem z Amazon Web Services. Kod dla artykułu jest dostępny pod adresem https://github.com/gifford-lab/overinterpretation.

Ograniczanie danych

Obrazy pozbawione danych, które badacze użyli, są określane przez nich jako Wystarczające Podzbiory Wejściowe (SIS) – w efekcie, obraz SIS zawiera minimalną możliwą “zewnętrzną obudowę”, która może wyznaczyć obraz wystarczająco dobrze, aby umożliwić systemowi wizyjnemu identyfikację oryginalnego przedmiotu obrazu (tj. pies, statek itp.).

W powyższym wierszu widzimy pełne obrazy walidacyjne ImageNet; poniżej, podzbiory SIS, poprawnie sklasyfikowane przez model Inception V3 z 90% pewnością, oparte, zdaje się, na wszystkim, co pozostaje z obrazu – kontekście tła. Naturalnie, ostatnia kolumna ma znaczące konsekwencje dla rozpoznawania znaków w algorytmach samochodów autonomicznych.

Komentując wyniki uzyskane w powyższym obrazie, badacze zauważają:

‘Stwierdzamy, że pikieli SIS są skoncentrowane poza rzeczywistym obiektem, który określa etykietę klasy. Na przykład w obrazie “pizza”, SIS jest skoncentrowany na kształcie talerza i tle stołu, a nie na samej pizzy, co sugeruje, że model może słabo uogólniać na obrazy zawierające różne okrągłe przedmioty na stole. W obrazie “giant panda”, SIS zawiera bambus, który prawdopodobnie pojawił się w kolekcji obrazów ImageNet dla tej klasy.

‘W obrazach “sygnalizacja świetlna” i “znak drogowy”, SIS składa się z pikseli w niebie, co sugeruje, że systemy pojazdów autonomicznych, które mogą polegać na tych modelach, powinny być starannie ocenione pod kątem patologii nadinterpretacji.’

Obrazy SIS nie są obcinane losowo, ale zostały stworzone dla projektu przez proces Batched Gradient Backselect, na Inception V3 i ResNet50 za pomocą PyTorch. Obrazy są pochodną procedury ablacjacji, która bierze pod uwagę relację między możliwością modelu a obszarami, w których oryginalne dane są iteracyjnie usuwane.

Aby potwierdzić ważność SIS, autorzy przetestowali proces losowego usuwania pikseli i stwierdzili, że wyniki są “znacznie mniej informacyjne” w testach, co wskazuje, że obrazy SIS rzeczywiście reprezentują minimalne dane, których potrzebują popularne modele i zestawy danych, aby dokonać akceptowalnych predykcji.

Spojrzenie na którykolwiek z zredukowanych obrazów sugeruje, że te modele powinny zawieść na poziomie ludzkiej percepcji wizualnej, co prowadziłoby do mediany dokładności poniżej 20%.

Z obrazy SIS zredukowane do zaledwie 5% oryginalnych pikseli, ludzie ledwo osiągają “większy niż losowy” współczynnik sukcesu klasyfikacji, w porównaniu z 90-99% współczynnikiem sukcesu popularnych zestawów danych i ram studiowanych w artykule.

Poza przeuczeniem

Przeuczenie występuje, gdy model uczenia maszynowego trenuje się zbyt intensywnie na zestawie danych, stając się biegłym w dokonywaniu predykcji dla tego konkretnego zestawu danych, ale jest znacznie mniej skuteczny (lub nawet całkowicie nieskuteczny) na nowe dane, które są wprowadzane do niego po treningu (dane poza zestawem).

Badacze zauważają, że obecne zainteresowanie akademickie i przemysłowe w walce z przeuczeniem nie rozwiązuje jednocześnie nadinterpretacji, ponieważ zredukowane podzbiory pikseli, które reprezentują rozpoznawalne obrazy dla komputerów i nonsensowne plamy dla ludzi, są tak naprawdę prawdziwie stosowanymi danymi, a nie “zachwyconym” koncentrowaniem się na słabo opracowanych lub ubogich danych:

‘Nadinterpretacja jest związana z przeuczeniem, ale przeuczenie można zdiagnozować za pomocą zmniejszonej dokładności testowej. Nadinterpretacja może wynikać z prawdziwych sygnałów statystycznych w podstawowej dystrybucji danych, które pochodzą z konkretnych właściwości źródła danych (np. linijki dermatologów).

‘Nadinterpretacja może być trudniejsza do zdiagnozowania, ponieważ dopuszcza decyzje, które są podejmowane według statystycznie ważnych kryteriów, a modele, które wykorzystują takie kryteria, mogą się wyróżniać w benchmarkach.’

Możliwe rozwiązania

Autorzy sugerują, że ensemblerowanie modeli, gdzie wiele architektur przyczynia się do procesu oceny i treningu, mogłoby częściowo złagodzić nadinterpretację. Stwierdzili również, że zastosowanie input dropoutu, pierwotnie zaprojektowanego w celu zahamowania przeuczenia, doprowadziło do “niewielkiego spadku” dokładności testowej CIFAR-10 (co jest prawdopodobnie pożądane), ale “znacznego” (∼ 6%) wzrostu dokładności modeli na niewidzianych danych. Niemniej jednak, niskie wskaźniki sugerują, że jakiekolwiek następne rozwiązania przeuczenia są mało prawdopodobne, aby w pełni rozwiązać nadinterpretację.

Autorzy przyznają możliwość wykorzystania map saliency w celu wskazania, które obszary obrazu są istotne dla ekstrakcji cech, ale zauważają, że to podważa cel automatycznego parsowania obrazu i wymaga ludzkiej anotacji, która jest niewykonalna w skali. Stwierdzają ponadto, że mapy saliency okazały się tylko grubymi estymatorami pod względem wglądu w operacje modelu.

Artykuł kończy się następująco:

‘Biorąc pod uwagę istnienie nieistotnych podzbiorów pikseli, które same wystarczają do poprawnej klasyfikacji, model może polegać wyłącznie na takich wzorcach. W tym przypadku metoda interpretacji, która wiernie opisuje model, powinna wygenerować te nonsensowne uzasadnienia, podczas gdy metody interpretacji, które uprzywilejowują uzasadnienia w kierunku ludzkich przywilejów, mogą produkować wyniki, które mogą wprowadzać użytkowników w błąd, aby sądzić, że ich modele zachowują się zgodnie z zamierzeniem.’

Pierwotnie opublikowane 13 stycznia 2022.