Rozwiązanie problemu artefaktów JPEG w zbiorach danych komputerowego widzenia

Nowe badanie przeprowadzone przez Uniwersytet w Maryland i Facebook AI wykazało “znaczącą karę wydajności” dla systemów głębokiego uczenia, które wykorzystują silnie skompresowane obrazy JPEG w swoich zbiorach danych, oraz przedstawiło nowe metody łagodzenia skutków tego.

Raport, zatytułowany Analiza i łagodzenie wad kompresji JPEG w głębokim uczeniu, twierdzi, że jest “znacznie bardziej kompleksowy” niż poprzednie badania nad wpływem artefaktów w zbiorach danych komputerowego widzenia. Artykuł stwierdza, że “[ciężka] do umiarkowanej kompresja JPEG powoduje znaczącą karę wydajności na standardowych miarach”, oraz że sieci neuronowe mogą nie być tak odporne na takie perturbacje, jak sugerują poprzednie prace badania.

Zdjęcie psa z zestawu danych MobileNetV2 z 2018 roku. Przy jakości 10 (po lewej), system klasyfikacji nie jest w stanie rozpoznać prawidłowej rasy ‘Pembroke Welsh Corgi’, zamiast tego zgadując ‘Norwich terrier’ (system już wie, że jest to zdjęcie psa, ale nie rasy); po lewej, wersja zdjęcia poprawiona za pomocą korekcji artefaktów JPEG również nie jest w stanie rozpoznać prawidłowej rasy; po prawej, korekcja artefaktów celowych przywraca prawidłową klasyfikację; i po prawej, oryginalne zdjęcie, prawidłowo sklasyfikowane. Źródło: https://arxiv.org/pdf/2011.08932.pdf

Artefakty kompresji jako “dane”

Ekstremalna kompresja JPEG może powodować widoczne lub półwidoczne granice wokół bloków 8×8, z których składa się siatka pikseli JPEG. Gdy te artefakty pojawiają się, mogą być błędnie interpretowane przez systemy uczenia maszynowego jako elementy świata rzeczywistego, chyba że zostaną podjęte pewne środki zaradcze.

Powierzchnia, z której system komputerowego widzenia wyodrębnia “czysty” obraz gradientu z dobrej jakości zdjęcia. Poniżej, artefakty “blokowania” w niższej jakości zdjęciu zakrywają cechy obiektu i mogą skutkować “zakażeniem” cech wyprowadzonych z zestawu obrazów, szczególnie w przypadku, gdy w zestawie danych występują obrazy o wysokiej i niskiej jakości, takich jak kolekcje zebrane z sieci, którym zastosowano tylko ogólne czyszczenie danych. Źródło: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Jak widać na pierwszym zdjęciu powyżej, takie artefakty mogą wpływać na zadania klasyfikacji obrazów, z implikacjami również dla algorytmów rozpoznawania tekstu, które mogą nie być w stanie poprawnie rozpoznać znaki dotknięte artefaktami.

W przypadku systemów szkoleniowych do syntezy obrazów (takich jak oprogramowanie do tworzenia deepfake lub systemy generowania obrazów opartych na GAN), “rogaty” blok niskiej jakości, silnie skompresowanych obrazów w zestawie danych może albo obniżyć medianę jakości reprodukcji, albo zostać podsumowany i w zasadzie zastąpiony przez większą liczbę cech o wyższej jakości wyprowadzonych z lepszych obrazów w zestawie. W każdym przypadku lepsze dane są pożądane – lub przynajmniej spójne dane.

JPEG – Zwykle “wystarczająco dobry”

Kompresja JPEG jest nieodwracalnym kodekiem stratnym, który może być stosowany do różnych formatów obrazów, choć jest głównie stosowany do formatu pliku JFIF wrapper. Pomimo tego, format JPEG (.jpg) został nazwany od swojej metody kompresji, a nie wrappera JFIF dla danych obrazu.

Całe architektury systemów uczenia maszynowego powstały w ostatnich latach, które obejmują łagodzenie artefaktów JPEG jako część rutyn AI-danych / przywracania, a usuwanie artefaktów kompresji oparte na AI jest teraz wbudowane w wiele produktów komercyjnych, takich jak pakiet obrazu / wideo Topaz, oraz funkcje neuronowe najnowszych wersji Adobe Photoshop.

Od czasu 1986 schematu JPEG obecnie w powszechnym użyciu, który został praktycznie zablokowany na początku lat 90., nie jest możliwe dodanie metadanych do obrazu, które wskazywałyby, jaki poziom jakości (1-100) został użyty do zapisu obrazu JPEG – przynajmniej nie bez modyfikacji ponad trzydziestu lat starszych systemów oprogramowania konsumenckiego, profesjonalnego i akademickiego, które nie oczekiwały takich metadanych.

W związku z tym nie jest rzadkością, gdy procedury szkoleniowe są dostosowane do ocenianej lub znanej jakości danych obrazu JPEG, jak to zrobili badacze w nowym artykule (patrz poniżej). W przypadku braku wpisu metadanych “jakość” konieczne jest albo znalezienie szczegółów, w jaki sposób obraz został skompresowany (tj. skompresowany z źródła bezstratnego), albo oszacowanie jakości za pomocą algorytmów percepcyjnych lub klasyfikacji ręcznej.

Kompromis ekonomiczny

JPEG nie jest jedyną metodą kompresji stratnej, która może wpływać na jakość zbiorów danych systemów uczenia maszynowego; ustawienia kompresji w plikach PDF mogą również powodować utratę informacji w ten sposób i mogą być ustawione na bardzo niski poziom jakości w celu zaoszczędzenia miejsca na dysku do archiwizacji lokalnej lub sieciowej.

Można to zaobserwować, próbując wybrać różne pliki PDF z archive.org, z których niektóre zostały skompresowane tak bardzo, że stanowią znaczące wyzwanie dla systemów rozpoznawania obrazów lub tekstu. W wielu przypadkach, takich jak książki objęte prawem autorskim, taka intensywna kompresja wydaje się być zastosowana jako forma taniego DRM, podobnie jak posiadacze praw autorskich mogą zdecydować się obniżyć rozdzielczość filmów wideo przesłanych przez użytkowników, na które posiadają prawa autorskie, pozostawiając “blokowe” filmy jako tokeny promocyjne, aby zachęcić do zakupu “pełnej rozdzielczości”, zamiast ich usunąć.

W wielu innych przypadkach rozdzielczość lub jakość obrazu jest niska po prostu dlatego, że dane są bardzo stare i pochodzą z ery, kiedy lokalne i sieciowe przechowywanie było droższe, a ograniczone prędkości sieci faworyzowały obrazowanie o wysokiej wydajności i przenośności zamiast wysokiej jakości reprodukcji.

Uważa się, że JPEG, chociaż nie jest najlepszym rozwiązaniem teraz, został “uwieczniony” jako nieusuwalna infrastruktura dziedzictwa, która jest praktycznie spleciona z fundamentami internetu.

Dziedzictwo

Chociaż późniejsze innowacje, takie jak JPEG 2000, PNG i (najnowszy) format.webp, oferują lepszą jakość, ponowne próbkowanie starszych, bardzo popularnych zbiorów danych systemów uczenia maszynowego mogłoby “zresetować” ciągłość i historię rocznych wyzwań komputerowego widzenia w środowisku akademickim – przeszkodę, która dotyczyłaby również przypadku zapisania obrazów w zbiorze danych PNG w ustawieniach wyższej jakości. Można by to uznać za rodzaj długu technicznego.

Pomimo że starsze biblioteki przetwarzania obrazów serwerowych, takie jak ImageMagick, obsługują lepsze formaty, w tym.webp, wymagania dotyczące transformacji obrazów często występują w systemach dziedzictwa, które nie są przygotowane do obsługi niczego poza formatem JPG lub PNG (który oferuje kompresję bezstratną, ale za cenę opóźnienia i miejsca na dysku). Nawet WordPress, system zarządzania treścią, który napędza prawie 40% wszystkich stron internetowych, dodał obsługę.webp trzy miesiące temu.

Format PNG był późnym (można powiedzieć, zbyt późnym) wejściem na rynek formatów obrazów, powstał jako otwarte rozwiązanie w drugiej połowie lat 90. w odpowiedzi na deklarację z 1995 roku firmy Unisys i CompuServe, że opłaty licencyjne będą pobierane za format kompresji LZW używany w plikach GIF, które były powszechnie używane wówczas do logo i elementów płaskich, nawet jeśli ożywienie formatu GIF w początku lat 2010. skupiło się na jego zdolności do zapewnienia niskopasmowych, żywych treści animowanych (ironicznie, animowane pliki PNG nigdy nie zdobyły popularności ani szerokiego wsparcia i zostały nawet zabronione na Twitterze w 2019 roku).

Pomimo swoich niedostatków, kompresja JPEG jest szybka, wydajna i głęboko osadzona w systemach wszystkich typów – i dlatego nie jest prawdopodobne, że zniknie całkowicie ze sceny systemów uczenia maszynowego w najbliższej przyszłości.

Wydobywanie najlepszego z detente AI/JPEG

W pewnym stopniu społeczność systemów uczenia maszynowego zaadaptowała się do wad kompresji JPEG: w 2011 roku Europejskie Towarzystwo Radiologiczne (ESR) opublikowało badanie na temat “użyteczności nieodwracalnej kompresji obrazu w obrazowaniu radiologicznym”, dostarczając wytyczne dotyczące “akceptowalnej” straty; gdy słynny zestaw danych MNIST do rozpoznawania tekstu (którego dane obrazowe zostały pierwotnie dostarczone w nowym formacie binarnym) został przeniesiony do “zwykłego” formatu obrazu, JPEG, a nie PNG, został wybrany; a wcześniejsza (2020) współpraca od autorów nowego artykułu zaproponowała nową architekturę do kalibrowania systemów uczenia maszynowego do wad różnej jakości obrazów JPEG, bez potrzeby szkolenia modeli w każdym ustawieniu jakości JPEG – funkcja wykorzystywana w nowej pracy.

W istocie badania nad użytecznością danych JPEG o różnej jakości są dość żywym polem w systemach uczenia maszynowego. Jeden (niezwiązany) projekt z 2016 roku z Centrum Badań Automatyki na Uniwersytecie w Maryland koncentruje się na obszarze DCT (gdzie artefakty JPEG pojawiają się przy niskich ustawieniach jakości) jako drodze do głębokiej ekstrakcji cech; inny projekt z 2019 roku koncentruje się na odczytywaniu bajtowym danych JPEG bez konieczności rozpakowywania obrazów (tj. otwierania ich w którymś momencie automatycznego przepływu pracy); a badanie z Francji w 2019 roku aktywnie wykorzystuje kompresję JPEG w celu rozpoznawania obiektów.

Testowanie i wnioski

Wróćmy do najnowszego badania z UoM i Facebook. Badacze starali się przetestować zrozumiałość i użyteczność JPEG na obrazach skompresowanych między 10-90 (poniżej którego obraz jest niemożliwie zaburzony, a powyżej którego jest równy kompresji bezstratnej). Obrazy użyte w testach zostały wstępnie skompresowane na każdej wartości w zakresie jakości docelowej, co wymagało co najmniej ośmiu sesji szkoleniowych.

Modele zostały przeszkolone przy użyciu stochastycznego spadku gradientu w czterech metodach: podstawowa, gdzie nie dodano żadnych dodatkowych środków zaradczych; dokształcanie nadzorowane, gdzie zestaw szkoleniowy ma zaletę wstępnie wytrenowanych wag i oznaczonych danych (chociaż badacze przyznają, że jest to trudne do odtworzenia w aplikacjach na poziomie konsumenckim); korekcja artefaktów, gdzie augmentacja / poprawa jest wykonywana na skompresowanych obrazach przed szkoleniem; i korekcja artefaktów ukierunkowana na zadanie, gdzie sieć korekcji artefaktów jest dostosowywana do błędów zwróconych.

Szkolenie odbywało się na szerokiej gamie odpowiednich zestawów danych, w tym wielu wariantów ResNet, FastRCNN, MobileNetV2, MaskRCNN i Keras’ InceptionV3.

Przykładowe wyniki straty po korekcji artefaktów ukierunkowanej na zadanie są wizualizowane poniżej (niższe = lepsze).

Nie jest możliwe, aby głęboko sięgać w szczegóły wyników uzyskanych w badaniu, ponieważ odkrycia badaczy są podzielone między celem oceny artefaktów JPEG i nowych metod łagodzenia tego; szkolenie było iterowane per-jakość na tak wiele zestawów danych; i zadania obejmowały wiele celów, takich jak wykrywanie obiektów, segmentacja i klasyfikacja. Podstawowo nowy raport pozycjonuje się jako kompleksowe dzieło referencyjne, które rozwiązuje wiele problemów.

Niemniej, artykuł stwierdza w ogóle, że “kompresja JPEG ma ostrą karę we wszystkich przypadkach dla ciężkiej do umiarkowanej kompresji”. Twierdzi również, że jego nowe strategie łagodzenia nieoznaczonego osiągają lepsze wyniki wśród innych podobnych podejść; że, dla złożonych zadań, metoda nadzorowana badaczy również przewyższa swoich rówieśników, pomimo braku dostępu do etykiet ground truth; i że te nowe metody umożliwiają ponowne wykorzystanie modeli, ponieważ uzyskane wagi są przenoszone między zadaniami.

Co się tyczy zadań klasyfikacji, artykuł stwierdza wyraźnie, że “JPEG pogarsza jakość gradientu, a także powoduje błędy lokalizacji”.

Autorzy mają nadzieję, że przyszłe badania będą się koncentrować na innych metodach kompresji, takich jak w dużej mierze zaniedbany JPEG 2000, a także WebP, HEIF i BPG. Sugestywnie proponują, że ich metody mogą być stosowane w analogicznych badaniach nad algorytmami kompresji wideo.

Ponieważ metoda korekcji artefaktów ukierunkowana na zadanie okazała się tak skuteczna w badaniu, autorzy sygnalizują również zamiar udostępnienia wag wytrenowanych podczas projektu, przewidując, że “[wiele] aplikacji skorzysta na użyciu naszych wag TTAC bez modyfikacji.”

n.b. Źródłowe zdjęcie do artykułu pochodzi z thispersondoesnotexist.com