Lepsza wydajność maszynowego uczenia się dzięki zmianie rozmiaru obrazu opartej na sieciach CNN

Naukowcy z Google Research zaproponowali nową metodę poprawy wydajności i dokładności szkoleń komputerowego widzenia opartego na obrazach, poprawiając sposób, w jaki obrazy w zbiorze danych są zmniejszane na etapie przetwarzania wstępnego.

W artykule Learning to Resize Images for Computer Vision Tasks, naukowcy Hossein Talebi i Peyman Milanfar wykorzystali sieć CNN do stworzenia nowej hybrydowej architektury zmiany rozmiaru obrazu, która przyniosła znaczącą poprawę wyników rozpoznawania na czterech popularnych zbiorach danych komputerowego widzenia.

Zaproponowana wspólna struktura dla rozpoznawania i zmiany rozmiaru. Źródło: https://arxiv.org/pdf/2103.09950.pdf

Artykuł stwierdza, że metody zmiany rozmiaru stosowane obecnie w zautomatyzowanych potokach maszynowego uczenia się są przestarzałe i często wykorzystują tylko podstawowe metody interpolacji, takie jak bilinearna, bicubiczna i najbliższa sąsiadka – metody, które traktują wszystkie piksele w sposób niezmieniony.

W przeciwieństwie do tego, proponowana metoda uzupełnia dane obrazu za pomocą sieci CNN i włącza te dane do zmienionych obrazów, które ostatecznie będą przechodzić przez architekturę modelu.

Ograniczenia obrazu w szkoleniu AI

Aby przeszkolić model, który zajmuje się obrazami, ramy maszynowego uczenia się będą zawierać etap przetwarzania wstępnego, na którym różnorodne obrazy o różnych rozmiarach, przestrzeniach kolorów i rozdzielczościach (które będą wchodzić w skład zbioru danych szkoleniowych) są systematycznie przycinane i zmieniane na spójne wymiary i stabilny, pojedynczy format.

Zwykle będzie to wymagało pewnego kompromisu wokół formatu PNG, gdzie zostanie ustalony kompromis między czasem przetwarzania/zasobami, rozmiarem pliku a jakością obrazu.

Zazwyczaj końcowe wymiary przetworzonego obrazu są bardzo małe. Poniżej widzimy przykład rozdzielczości 80×80, w której wygenerowano niektóre z najwcześniejszych zbiorów danych deepfake:

Ponieważ twarze (i inne możliwe przedmioty) rzadko mieszczą się w wymaganej proporcji, mogą być potrzebne czarne paski (lub dozwolone marnowanie miejsca) w celu ujednolicenia obrazów, co jeszcze bardziej zmniejsza rzeczywistą ilość użytecznych danych obrazu:

Tutaj twarz została wyodrębniona z większego obszaru obrazu, aż została obcięta w sposób najbardziej ekonomiczny, aby zawierać cały obszar twarzy. Niemniej jednak, jak widać po prawej stronie, znaczna część pozostałego obszaru nie będzie używana podczas szkolenia, co dodatkowo podkreśla wagę jakości zmienionych danych obrazu.

W miarę jak możliwości kart graficznych ulegały poprawie w ostatnich latach, nowe generacje kart NVIDIA wyposażone w rosnące ilości pamięci VRAM, średnie rozmiary obrazów zaczynają rosnąć, choć 224×224 pikseli nadal jest dość standardowe (na przykład jest to rozmiar ResNet-50).

Obraz o rozdzielczości 224×244 pikseli bez zmiany rozmiaru.

Dopasowanie partii do VRAM

Powodem, dla którego obrazy muszą mieć ten sam rozmiar, jest to, że gradient descent, metoda, za pomocą której model ulega poprawie w czasie, wymaga jednolitych danych szkoleniowych.

Powodem, dla którego obrazy muszą być tak małe, jest to, że muszą być załadowane (w pełni rozpakowane) do VRAM podczas szkolenia w małych partiach, zwykle pomiędzy 6-24 obrazami na partię. Za mało obrazów na partię, a nie ma wystarczającej ilości materiału grupowego, aby dobrze uogólniać, oprócz wydłużenia czasu szkolenia; za dużo, a model może nie uzyskać niezbędnych cech i szczegółów (patrz poniżej).

Ten “żywy” sektor architektury szkoleniowej nazywa się przestrzenią latentną. To tutaj cechy są wielokrotnie wyodrębniane z tych samych danych (tj. tych samych obrazów) aż do momentu, gdy model osiągnie stan, w którym posiada wszystkie niezbędne, uogólnione wiadomości, aby wykonywać transformacje na późniejszych, niezwiązanych danych tego samego typu.

Proces ten zwykle trwa kilka dni, choć może trwać nawet miesiąc lub więcej ciągłego, intensywnego przetwarzania 24/7, aby osiągnąć użyteczne uogólnienie. Zwiększenia rozmiaru VRAM są tylko pomocne do pewnego punktu, ponieważ nawet niewielkie przyrosty rozdzielczości obrazu mogą mieć efekt wielokrotny na pojemność przetwarzania i związane z tym efekty na dokładność, które nie zawsze muszą być korzystne.

Używanie większej pojemności VRAM, aby pomieścić większe partie, jest również mieszanką błogosławieństwa, ponieważ większe prędkości szkolenia uzyskane przez to są prawdopodobnie zrównoważone przez mniej precyzyjne wyniki.

Dlatego, ponieważ architektura szkoleniowa jest tak ograniczona, wszystko, co może wpłynąć na poprawę w ramach istniejących ograniczeń potoku, jest godnym uwagi osiągnięciem.

Jak lepsze zmniejszanie rozmiaru pomaga

Ostateczna jakość obrazu, który zostanie uwzględniony w zbiorze danych szkoleniowych, okazała się mieć korzystny wpływ na wynik szkolenia, szczególnie w zadaniach rozpoznawania obiektów. W 2018 roku naukowcy z Max Planck Institute for Intelligent Systems utworzyli tezę, że wybór metody przesiewania znacząco wpływa na wyniki szkolenia i osiągnięcia.

Ponadto wcześniejsze prace Google (współautorstwa nowych autorów artykułu) wykazały, że dokładność klasyfikacji może być poprawiona przez utrzymanie kontroli nad artefaktami kompresji w obrazach zbioru danych.

Architektura sieci CNN dla proponowanego algorytmu zmniejszania rozmiaru.

Model sieci CNN zbudowany w nowym zmniejszaniu łączy interpolację bilinearną z funkcją “skip connection”, która może włączyć dane wyjściowe z przeszkolonej sieci do zmienionego obrazu.

W przeciwieństwie do typowej architektury encoder/decoder, nowa propozycja może działać nie tylko jako wąska szyja dla przepływu do przodu, ale także jako odwrotna szyja dla skalowania w górę do dowolnego rozmiaru docelowego i/lub proporcji. Ponadto, “standardową” metodę przesiewania można zastąpić dowolną inną odpowiednią tradycyjną metodą, taką jak Lanczos.

Szczegóły wysokiej częstotliwości

Nowa metoda produkuje obrazy, które wydają się “wypiekać” kluczowe cechy (które ostatecznie będą rozpoznawane przez proces szkolenia) bezpośrednio w źródłowym obrazie. Pod względem estetyki, wyniki są niekonwencjonalne:

Nowa metoda zastosowana w czterech sieciach – Inception V2; DenseNet-121; ResNet-50; i MobileNet-V2. Wyniki metody zmniejszania rozmiaru obrazu badawczej grupy Google produkują obrazy z oczywistą agregacją pikseli, przewidując kluczowe cechy, które będą rozpoznawane podczas procesu szkolenia.

Naukowcy zwracają uwagę, że te początkowe eksperymenty są wyłącznie zoptymalizowane dla zadań rozpoznawania obrazu i że w testach ich sieć CNN z “nauczonym zmniejszaniem” była w stanie osiągnąć poprawione wskaźniki błędów w takich zadaniach. Naukowcy planują w przyszłości zastosować tę metodę do innych typów zastosowań komputerowego widzenia opartych na obrazach.