Wykorzystanie kompresji JPEG do poprawy szkolenia sieci neuronowych

Naukowcy z Kanady opracowali nowy framework, który celowo wprowadza kompresję JPEG do schematu szkolenia sieci neuronowej, uzyskując lepsze wyniki i większą odporność na ataki adversarialne.

To jest dość radykalny pomysł, ponieważ obecna wiedza głosi, że artefakty JPEG, zoptymalizowane dla widzenia ludzkiego, a nie dla uczenia maszynowego, zazwyczaj mają negatywny wpływ na sieci neuronowe szkolone na danych JPEG.

Przykład różnicy w klarowności między obrazami JPEG skompresowanymi przy różnych wartościach strat (wyższa strata pozwala na mniejszy rozmiar pliku, ale kosztem wyraźności i pasmowania na gradientach kolorów, wśród innych rodzajów artefaktów). Źródło: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Raport z 2022 roku z Uniwersytetu w Maryland i Facebook AI stwierdził, że kompresja JPEG “powoduje znaczącą karę wydajności” w szkoleniu sieci neuronowych, pomimo poprzednich badań, które twierdziły, że sieci neuronowe są względnie odporne na artefakty kompresji obrazu.

Rok wcześniej nowy nurt myślowy pojawił się w literaturze: że kompresja JPEG może być wykorzystana do poprawy wyników w szkoleniu modelu.

Jednakże, chociaż autorzy tego artykułu byli w stanie uzyskać lepsze wyniki w szkoleniu obrazów JPEG o różnej jakości, model, który zaproponowali, był tak złożony i uciążliwy, że nie był praktyczny. Dodatkowo, systemowe ustawienia optymalizacji JPEG (kwantyzacja) okazały się barierą dla skuteczności szkolenia.

Późniejszy projekt (2023 JPEG Compliant Compression for DNN Vision) eksperymentował z systemem, który uzyskał nieco lepsze wyniki z obrazów JPEG skompresowanych przy użyciu zamrożonej głębokiej sieci neuronowej (DNN). Jednakże, zamrażanie części modelu podczas szkolenia tendencję do redukcji elastyczności modelu, a także jego ogólnej odporności na nowe dane.

JPEG-DL

Zamiast tego, nowa praca, zatytułowana JPEG Inspired Deep Learning, oferuje znacznie prostszą architekturę, która może być nawet nałożona na istniejące modele.

Badacze z Uniwersytetu w Waterloo stwierdzają:

‘Wyniki pokazują, że JPEG-DL znacznie i konsekwentnie przewyższa standardowy DL w różnych architekturach DNN, z nieznacznym wzrostem złożoności modelu.

W szczególności, JPEG-DL poprawia dokładność klasyfikacji o maksymalnie 20,9% w niektórych zadań klasyfikacji drobnoziarnistej, dodając tylko 128 parametrów szkoleniowych do potoku DL. Ponadto, wyższość JPEG-DL nad standardowym DL jest dalej udowodniona przez zwiększoną odporność na ataki adversarialne i zmniejszone rozmiary plików wejściowych.’

Autorzy twierdzą, że optymalny poziom jakości kompresji JPEG może pomóc sieci neuronowej rozróżnić centralny przedmiot/obiekty na obrazie. W poniższym przykładzie widzimy wyniki bazowe (po lewej) łączące ptaka z tłem, gdy cechy są uzyskiwane przez sieć neuronową. W przeciwieństwie do tego, JPEG-DL (po prawej) udaje się rozróżnić i wyznaczyć przedmiot zdjęcia.

Testy przeciwko metodom bazowym dla JPEG-DL. Źródło: https://arxiv.org/pdf/2410.07081

‘To zjawisko,’ wyjaśniają, ‘zwane “kompresja pomaga” w artykule z 2021 roku, jest uzasadnione faktem, że kompresja może usunąć szum i niepożądane cechy tła, tym samym podkreślając główny obiekt na obrazie, co pomaga DNN w lepszym przewidywaniu.’

Metoda

JPEG-DL wprowadza różniczkowalny miękki kwantyzer, który zastępuje nieróżniczkowalną operację kwantyzacji w standardowej rutynie optymalizacji JPEG.

To pozwala na optymalizację gradientową obrazów. To nie jest możliwe w konwencjonalnym kodowaniu JPEG, które używa jednolitego kwantyzera z operacją zaokrąglania, która przybliża najbliższy współczynnik.

Różniczkowalność schematu JPEG-DL pozwala na wspólną optymalizację parametrów modelu szkoleniowego i kwantyzacji JPEG (poziom kompresji). Wspólna optymalizacja oznacza, że zarówno model, jak i dane szkoleniowe są dostosowane do siebie nawzajem w procesie end-to-end, i nie jest wymagane zamrażanie warstw.

Podstawowo, system dostosowuje kompresję JPEG zestawu danych do logiki procesu generalizacji.

Pojęciowy schemat dla JPEG-DL.

Można założyć, że dane surowe będą idealnym materiałem do szkolenia; przecież obrazy są całkowicie dekompresowane do odpowiedniej przestrzeni kolorów, gdy są uruchamiane w partiach; więc jaka różnica robi oryginalny format?

Cóż, ponieważ kompresja JPEG jest zoptymalizowana dla widzenia ludzkiego, wyrzuca obszary szczegółów lub kolorów w sposób zgodny z tym celem. Dla obrazu jeziora pod niebieskim niebem, zwiększone poziomy kompresji będą stosowane do nieba, ponieważ nie zawiera ono “istotnych” szczegółów.

Z drugiej strony, sieć neuronowa nie posiada ekscentrycznych filtrów, które pozwalają nam skupić się na centralnych obiektach. Zamiast tego, jest prawdopodobne, że będzie traktować każdy artefakt pasmowania w niebie jako ważne dane do asymilacji do swojej przestrzeni latentnej.

Chociaż człowiek odrzuci pasmowanie w niebie na obrazie skompresowanym (po lewej), sieć neuronowa nie ma pojęcia, że ten zawartość powinna być odrzucona, i będzie potrzebować obrazu wyższej jakości (po prawej). Źródło: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Dlatego jeden poziom kompresji JPEG jest mało prawdopodobny, aby pasował do całej zawartości zestawu danych szkoleniowych, chyba że reprezentuje on bardzo konkretny domenę. Obrazy tłumów będą wymagać znacznie mniej kompresji niż wąskie obiekty, takie jak ptak.

Autorzy obserwują, że ci, którzy nie są zaznajomieni z wyzwaniami kwantyzacji, ale są zaznajomieni z podstawami architektury transformer, mogą traktować te procesy jako operację uwagi, w ogóle.

Dane i testy

JPEG-DL został oceniony w porównaniu z architekturami opartymi na transformerach i sieciach neuronowych współsłonecznych (CNN). Architektury użyte to EfficientFormer-L1; ResNet; VGG; MobileNet; i ShuffleNet.

Wersje ResNet użyte były specyficzne dla zestawu danych CIFAR: ResNet32, ResNet56 i ResNet110. VGG8 i VGG13 zostały wybrane do testów opartych na VGG.

Dla CNN, metoda szkolenia została pochodząca z pracy z 2020 roku Contrastive Representation Distillation (CRD). Dla EfficientFormer-L1 (opartego na transformerze), metoda szkolenia z 2023 roku Initializing Models with Larger Ones została użyta.

Dla zadań drobnoziarnistych, cztery zestawy danych zostały użyte: Stanford Dogs; Uniwersytet w Oksfordzie Flowers; CUB-200-2011 (CalTech Birds); i Pets (‘Cats and Dogs’, współpraca między Uniwersytetem w Oksfordzie a Hyderabad w Indiach).

Dla zadań drobnoziarnistych w CNN, autorzy użyli PreAct ResNet-18 i DenseNet-BC. Dla EfficientFormer-L1, metoda opisana w Initializing Models With Larger Ones została użyta.

Przez CIFAR-100 i zadania drobnoziarniste, różne wielkości częstotliwości DCT w podejściu kompresji JPEG zostały obsłużone za pomocą optymalizatora Adam, aby dostosować współczynnik uczenia dla warstwy JPEG w modelach, które zostały przetestowane.

W testach na ImageNet-1K, we wszystkich eksperymentach, autorzy użyli PyTorch, z SqueezeNet, ResNet-18 i ResNet-34 jako rdzenne modele.

Dla oceny optymalizacji warstwy JPEG, badacze użyli stochastycznego gradientu (SGD) zamiast Adama, dla bardziej stabilnego działania. Jednakże, dla testów ImageNet-1K, metoda z artykułu z 2019 roku Learned Step Size Quantization została zastosowana.

Powyręczna dokładność walidacyjna dla modelu bazowego vs. JPEG-DL na CIFAR-100, ze standardowymi i średnimi odchyleniami, średnimi z trzech przebiegów. Poniżej, powyręczna dokładność walidacyjna na różnych zadaniach klasyfikacji drobnoziarnistej, w różnych architekturach modeli, ponownie, średnia z trzech przebiegów.

Komentując pierwszą rundę wyników, autorzy stwierdzają:

‘Przez wszystkie siedem przetestowanych modeli dla CIFAR-100, JPEG-DL konsekwentnie zapewnia poprawę, z maksymalnymi zyskami do 1,53% w dokładności powyręcznej. W zadaniach drobnoziarnistych, JPEG-DL oferuje znaczną poprawę wydajności, z maksymalnymi zyskami do 20,90% we wszystkich zestawach danych, używając dwóch różnych modeli.’

Wyniki testów na ImageNet-1K są pokazane poniżej:

Wyniki powyręcznej dokładności na ImageNet, w różnych ramach.

Tu artykuł stwierdza:

‘Z trywialnym wzrostem złożoności (dodając 128 parametrów), JPEG-DL osiąga zysk 0,31% w dokładności powyręcznej dla SqueezeNetV1.1 w porównaniu z modelem bazowym, używając jednej rundy operacji kwantyzacji. ‘

‘Poprzez zwiększenie liczby rund kwantyzacji do pięciu, obserwujemy dodatkową poprawę o 0,20%, co prowadzi do łącznego zysku 0,51% nad modelem bazowym.’

Badacze również przetestowali system, używając danych naruszonych przez ataki adversarialne Fast Gradient Signed Method (FGSM) i Projected Gradient Descent (PGD).

Ataki zostały przeprowadzone na CIFAR-100, przez dwa z modeli:

Wyniki testów dla JPEG-DL, przeciwko dwóm standardowym ramom ataków adversarialnych.

Autorzy stwierdzają:

‘Modele JPEG-DL znacznie poprawiają odporność na ataki adversarialne w porównaniu z modelem bazowym, z maksymalnymi zyskami do 15% dla FGSM i 6% dla PGD.’

Dodatkowo, jak wcześniej wspomniano w artykule, autorzy przeprowadzili porównanie mapy cech, używając GradCAM++ – ramy, która może wizualnie podkreślić wyodrębnione cechy.

Ilustracja GradCAM++ dla klasyfikacji obrazu bazowego i JPEG-DL, z podkreśleniem wyodrębnionych cech.

Artykuł zauważa, że JPEG-DL daje lepszy wynik, i że w jednym przypadku był nawet w stanie sklasyfikować obraz, który model bazowy nie był w stanie rozpoznać. Odnosząc się do wcześniej pokazanego obrazu z ptakami, autorzy stwierdzają:

‘Jest oczywiste, że mapy cech z modelu JPEG-DL pokazują znacznie lepszy kontrast między informacjami przednimi (ptakiem) a tłem w porównaniu z mapami cech wygenerowanymi przez model bazowy.

‘W szczególności, obiekt przedni w mapach cech JPEG-DL jest zamknięty w dobrze zdefiniowanym konturze, co czyni go wizualnie rozróżnialnym od tła. ‘

‘W przeciwieństwie do tego, mapy cech modelu bazowego pokazują bardziej złożoną strukturę, gdzie przedni plan zawiera wyższą energię w niskich częstotliwościach, co powoduje, że łączy się on gładko z tłem.’

Wnioski

JPEG-DL jest przeznaczony do użycia w sytuacjach, w których dostępne są dane surowe – ale byłoby najbardziej interesujące, aby zobaczyć, czy niektóre z zasad zawartych w tym projekcie mogą być zastosowane do konwencjonalnego szkolenia zestawu danych, w którym zawartość może być niższej jakości (co często występuje w przypadku zestawów danych hyperskalowych pobranych z internetu).

Jak jest teraz, to w dużej mierze pozostaje problemem adnotacji, chociaż został on rozwiązany w rozpoznawaniu obrazów opartym na ruchu i gdzie indziej.

Pierwotnie opublikowane w czwartek, 10 października 2024