Szkolenie modeli komputerowego widzenia na losowym szumie zamiast na prawdziwych obrazach

Naukowcy z MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) przeprowadzili eksperymenty z użyciem losowych obrazów szumowych w zbiorach danych komputerowego widzenia, aby trenować modele komputerowego widzenia i stwierdzili, że zamiast produkować „śmieci”, metoda ta jest zaskakująco skuteczna:

Model generatywny z eksperymentu, uporządkowany według wyników. Źródło: https://openreview.net/pdf?id=RQUl8gZnN7O

Pokarmienie architektur komputerowego widzenia „śmieciami wizualnymi” nie powinno skutkować takim wynikiem. Na krańcu prawym powyższego obrazu, kolumny czarne reprezentują wyniki dokładności (w Imagenet-100) dla czterech „prawdziwych” zbiorów danych. Podczas gdy „losowe szumy” poprzedzające je (przedstawione w różnych kolorach, patrz indeks w lewym górnym rogu) nie mogą ich dorównać, są one prawie wszystkie w granicach przyzwoitej górnej i dolnej (czerwone linie przerywane) dokładności.

W tym sensie „dokładność” nie oznacza, że wynik musi wyglądać jak twarz, kościół, pizza lub inny konkretny domen, dla którego możesz być zainteresowany tworzeniem systemu syntezy obrazu, takiego jak sieć generatywna lub ramy kodera/dekodera.

Jednak oznacza to, że modele CSAIL wywnioskowały ogólnie stosowalne „prawdy centralne” z danych obrazowych, które wydają się tak nieustrukturyzowane, że nie powinny być w stanie ich dostarczyć.

Różnorodność a naturalizm

Te wyniki nie mogą być również przypisane do przeuczenia: ożywiona dyskusja między autorami i recenzentami w Open Review ujawnia, że mieszanie różnych treści z wizualnie różnorodnych zbiorów danych (takich jak „martwe liście”, „fraktale” i „szum proceduralny” – patrz poniższy obraz) do zestawu treningowego poprawia dokładność w tych eksperymentach.

To sugeruje (i jest to nieco rewolucyjna koncepcja) nowy typ „niedouczenia”, gdzie „różnorodność” przewyższa „naturalizm”.

Strona projektu pozwala interaktywnie wyświetlać różne typy losowych zbiorów danych obrazowych użytych w eksperymencie. Źródło: https://mbaradad.github.io/learning_with_noise/

Wyniki uzyskane przez naukowców poddają w wątpliwość fundamentalną relację między sieciami neuronowymi opartymi na obrazach a „prawdziwymi” obrazami, które są im podawane w alarmująco większych ilościach każdego roku, i sugerują, że potrzeba pozyskania, opracowania i innej manipulacji hiperskali zbiorów danych obrazowych może ostatecznie stać się zbędna. Autorzy stwierdzają:

„Obecne systemy wizji są trenowane na ogromnych zbiorach danych, a te zbiory danych mają koszty: opracowanie jest drogie, one dziedziczą ludzkie uprzedzenia, a istnieją obawy dotyczące prywatności i praw użytkowania. Aby przeciwdziałać tym kosztom, zainteresowanie uczeniem się z tańszych źródeł danych, takich jak nieoznaczone obrazy, gwałtownie wzrosło.

„W tym artykule idziemy o krok dalej i pytamy, czy możemy zrezygnować całkowicie z prawdziwych zbiorów danych obrazowych, ucząc się z procesów szumu proceduralnego.”

Naukowcy sugerują, że obecna generacja architektur uczenia maszynowego może wnioskować coś znacznie bardziej fundamentalnego (lub przynajmniej nieoczekiwanego) z obrazów niż wcześniej sądzono, i że „bezsensowne” obrazy mogą potencjalnie przekazać wiele tej wiedzy znacznie taniej, nawet przy użyciu ad hoc syntetycznych danych, za pomocą architektur generowania zbiorów danych, które generują losowe obrazy w czasie treningu:

„„Zidentyfikowaliśmy dwa kluczowe właściwości, które sprawiają, że syntetyczne dane są dobre do treningu systemów wizji: 1) naturalizm, 2) różnorodność. Interesujące jest to, że najbardziej naturalistyczne dane nie zawsze są najlepsze, ponieważ naturalizm może nastąpić kosztem różnorodności.

„Fakt, że naturalistyczne dane pomagają, nie może być zaskakujący, i sugeruje, że rzeczywiście, duże, rzeczywiste dane mają wartość. Niemniej jednak stwierdzamy, że to, co jest kluczowe, nie jest to, że dane są realne, ale że są naturalistyczne, tj. muszą uchwycić pewne strukturalne właściwości danych rzeczywistych.

„Wiele z tych właściwości można uchwycić w prostych modelach szumu.”

Wizualizacje funkcji wynikające z pochodnej sieci AlexNet na niektóre z różnych „losowych obrazów” użytych przez autorów, obejmujących 3. i 5. (końcową) warstwę konwolucyjną. Metodologia użyta tutaj jest taka sama jak w badaniach Google AI z 2017 r.

Artykuł, przedstawiony na 35. Konferencji Neural Information Processing Systems (NeurIPS 2021) w Sydney, nosi tytuł Uczenie się widzenia poprzez patrzenie na szum i pochodzi od sześciu naukowców z CSAIL, z równym wkładem.

Praca została zalecona przez konsensus do wyboru punktu świetlnego na NeurIPS 2021, z komentarzami recenzentów charakteryzującymi artykuł jako „przełom naukowy”, który otwiera „wspaniały obszar badań”, nawet jeśli stawia tyle samo pytań, ile odpowiedzi.

W artykule autorzy stwierdzają:

„Udowodniliśmy, że gdy są zaprojektowane przy użyciu wyników wcześniejszych badań nad statystyką naturalnych obrazów, te zbiory danych mogą pomyślnie trenować reprezentacje wizualne. Mamy nadzieję, że ten artykuł zainspiruje badania nowych modeli generatywnych, które mogą produkować ustrukturyzowany szum, osiągając jeszcze lepsze wyniki w różnorodnych zadaniach wizji.

„Czy byłoby możliwe osiągnięcie wyników uzyskanych za pomocą wstępnego treningu ImageNet? Może w przypadku braku dużego zestawu treningowego specyficznego dla określonego zadania najlepszy wstępny trening nie mógłby polegać na użyciu standardowego, rzeczywistego zestawu danych, takiego jak ImageNet.”