Disney Research Oferuje Ulepszoną Kompresję Obrazu Opartą Na Sztucznej Inteligencji – Ale Może Wywoływać Halucynacje Szczegółów

Oddział badawczy Disneya oferuje nową metodę kompresji obrazu, wykorzystując otwarty model Stable Diffusion V1.2 do produkcji bardziej realistycznych obrazów przy niższych szybkościach transmisji niż metody konkurencyjne.

Metoda kompresji Disneya w porównaniu z poprzednimi podejściami. Autorzy twierdzą, że ich metoda poprawia odzyskiwanie szczegółów, oferując model, który nie wymaga setek tysięcy dolarów na szkolenie, oraz działa szybciej niż najbliższy odpowiednik metody konkurencyjnej. Źródło: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Nowe podejście (zdefiniowane jako “koderek” pomimo zwiększonej złożoności w porównaniu z tradycyjnymi koderkami, takimi jak JPEG i AV1) może działać na dowolnym Modelu Dyfuzji Ukrytej (LDM). W testach ilościowych, wykazuje lepszą dokładność i szczegółowość, oraz wymaga znacznie mniej szkolenia i kosztów obliczeniowych.

Kluczowym spostrzeżeniem nowej pracy jest to, że błąd kwantyzacji (proces centralny we wszystkich metodach kompresji obrazu) jest podobny do szumu (procesu centralnego w modelach dyfuzji).

Dlatego też “tradycyjnie” skwantyzowany obraz może być traktowany jako szumiona wersja oryginalnego obrazu i użyty w procesie denoisingu LDM zamiast szumu losowego, w celu odtworzenia obrazu przy docelowej szybkości transmisji.

Dalsze porównania nowej metody Disneya (wyróżnionej na zielono), w porównaniu z podejściami rywalizującymi.

Autorzy twierdzą:

‘[My] formułujemy usunięcie błędu kwantyzacji jako zadanie denoisingu, używając dyfuzji do odzyskania utraconych informacji w przesyłanym obrazie ukrytym. Nasze podejście pozwala nam wykonać mniej niż 10% pełnego procesu generatywnego dyfuzji i nie wymaga żadnych zmian architektury modelu dyfuzji, umożliwiając użycie modeli podstawowych jako silnego priorytetu bez dodatkowego dokształcania modelu.

‘Nasza proponowana metoda kodowania wyprzedza poprzednie metody w ilościowych miarach realizmu, i potwierdzamy, że nasze rekonstrukcje są jakościowo preferowane przez użytkowników końcowych, nawet gdy inne metody używają dwukrotnie większej szybkości transmisji.’

Jednak, podobnie jak w innych projektach, które starają się wykorzystać możliwości kompresji modeli dyfuzji, wyjście może halucynować szczegóły. W przeciwieństwie do tego, metody stratne, takie jak JPEG, będą produkować wyraźnie zniekształcone lub przesadnie wygładzone obszary szczegółów, które mogą być rozpoznane jako ograniczenia kompresji przez przeciętnego widza.

Zamiast tego, koderek Disneya może zmieniać szczegóły z kontekstu, który nie był obecny w oryginalnym obrazie, ze względu na grubą naturę Autoencodera (VAE) używanego w typowych modelach szkolonych na danych hyperskali.

‘Podobnie jak inne podejścia generatywne, nasza metoda może odrzucić pewne cechy obrazu, podczas gdy syntetyzuje podobne informacje po stronie odbiorcy. W szczególnych przypadkach, jednak, może to skutkować nieprecyzyjną rekonstrukcją, taką jak zginanie prostych linii lub zniekształcanie granicy małych obiektów. ‘

‘Te są znane problemy modelu podstawowego, na którym budujemy, które mogą być przypisane do relatywnie niskiej wymiarowości jego VAE.’

Podczas gdy to ma pewne implikacje dla artystycznych przedstawień i wiarygodności fotografii, może mieć bardziej krytyczny wpływ w przypadkach, w których małe szczegóły stanowią istotne informacje, takie jak dowody w sprawach sądowych, dane do rozpoznawania twarzy, skany do optycznego rozpoznawania znaków (OCR) i wiele innych możliwych przypadków użycia, w przypadku upowszechnienia się kodera z tą możliwością.

Na tym wczesnym etapie postępu kompresji obrazu wspomaganego przez sztuczną inteligencję, wszystkie te możliwe scenariusze są daleko w przyszłości. Jednak magazynowanie obrazu jest wyzwaniem na skalę globalną, dotykającym kwestii przechowywania danych, transmisji i zużycia energii, poza innymi problemami. Dlatego kompresja oparta na sztucznej inteligencji może oferować kuszący kompromis między dokładnością a logistyką. Historia pokazuje, że najlepsze kodery nie zawsze wygrywają najszerszą bazę użytkowników, kiedy kwestie takie jak licencjonowanie i zdobycie rynku przez formaty własnościowe są czynnikami w przyjęciu.

Disney eksperymentował z uczeniem maszynowym jako metodą kompresji przez długi czas. W 2020 roku, jeden z badaczy nowego artykułu był zaangażowany w projekcie opartym na VAE do poprawy kompresji wideo.

Nowy artykuł Disneya został zaktualizowany na początku października. Dziś firma wydała towarzyszący film na YouTube. Projekt nosi tytuł Kompresja Obrazu Stratna z Modelem Dyfuzji Podstawowym, i pochodzi od czterech badaczy z ETH Zürich (związanych z projektami opartymi na sztucznej inteligencji Disneya) i Disney Research. Badacze oferują również suplementarny artykuł.

Metoda

Nowa metoda wykorzystuje VAE do zakodowania obrazu w jego skompresowane przedstawienie ukryte. Na tym etapie wejściowy obraz składa się z pochodnych cech – niskopoziomowych wektorowych reprezentacji. Przedstawienie ukryte jest następnie skwantyzowane z powrotem do strumienia bitów, a następnie do przestrzeni pikseli.

Ten skwantyzowany obraz jest następnie użyty jako szablon dla szumu, który zwykle nasiona obrazu dyfuzji, z zmienną liczbą kroków denoisingu (gdzie często istnieje kompromis między zwiększoną liczbą kroków denoisingu a większą dokładnością, a niższą latencją i wyższą wydajnością).

Schemat nowej metody kompresji Disneya.

Obydwa parametry kwantyzacji i całkowita liczba kroków denoisingu mogą być kontrolowane w nowym systemie, poprzez szkolenie sieci neuronowej, która przewiduje odpowiednie zmienne związane z tymi aspektami kodowania. Ten proces nazywa się adaptacyjną kwantyzacją, a system Disneya wykorzystuje Entroformer jako model entropii, który napędza procedurę.

Autorzy stwierdzają:

‘Intuicyjnie, nasza metoda uczy się odrzucić informacje (przez transformację kwantyzacji), które mogą być zsyntetyzowane podczas procesu dyfuzji. Ponieważ błędy wprowadzane podczas kwantyzacji są podobne do dodania [szumu] i modele dyfuzji są funkcjonalnie modelami denoisingu, mogą być użyte do usunięcia szumu kwantyzacji wprowadzonego podczas kodowania.’

Stable Diffusion V2.1 jest modelem dyfuzji podstawowym dla systemu, wybranym dlatego, że cały kod i podstawowe wagi są dostępne publicznie. Jednak autorzy podkreślają, że ich schemat jest stosowalny do szerszej liczby modeli.

Kluczowym elementem ekonomiki procesu jest przewidywanie kroku czasowego, które ocenia optymalną liczbę kroków denoisingu – balans między wydajnością a wydajnością.

Przewidywania kroku czasowego, z optymalną liczbą kroków denoisingu wskazaną czerwoną ramką. Proszę odnieść się do źródłowego pliku PDF dla dokładnej rozdzielczości.

Ilość szumu w przedstawieniu ukrytym musi być brana pod uwagę przy podejmowaniu przewidywań dla najlepszej liczby kroków denoisingu.

Dane i Testy

Model został wyszkolony na zestawie danych Vimeo-90k. Obrazy zostały losowo przycięte do 256x256px dla każdego epoki (tj. każdego pełnego spożycia ulepszonego zestawu danych przez architekturę szkolenia modelu).

Model został zoptymalizowany dla 300 000 kroków przy szybkości uczenia się 1e-4. Jest to najczęstszy w projektach związanych z widzeniem komputerowym, oraz najniższa i najbardziej szczegółowa ogólnie praktyczna wartość, jako kompromis między szeroką generalizacją pojęć i cech zestawu danych, a zdolnością do odtwarzania szczegółów.

Autorzy komentują niektóre kwestie logistyczne dotyczące ekonomicznego, ale efektywnego systemu*:

‘Podczas szkolenia, jest to zbyt drogie, aby cofnąć gradient przez wiele przejść modelu dyfuzji, jak to ma miejsce podczas DDIM samplingu. Dlatego wykonujemy tylko jeden krok DDIM samplingu i używamy go bezpośrednio jako w pełni odszumionych danych.’

Zestawy danych użyte do testowania systemu to Kodak; CLIC2022; i COCO 30k. Zestaw danych został przetworzony zgodnie z metodologią opisaną w ofercie Google z 2023 roku Multi-Realism Image Compression with a Conditional Generator.

Metryki użyte to Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); i Fréchet Inception Distance (FID).

Rywalizujące poprzednie ramy testowe zostały podzielone między starsze systemy, które wykorzystywały Sieci Przeciwne (GAN), a nowsze oferty oparte wokół modeli dyfuzji. Systemy GAN testowe to High-Fidelity Generative Image Compression (HiFiC); i ILLM (który oferuje pewne ulepszenia w stosunku do HiFiC).

Systemy oparte na dyfuzji to Lossy Image Compression with Conditional Diffusion Models (CDC) i High-Fidelity Image Compression with Score-based Generative Models (HFD).

Wyniki ilościowe w porównaniu z poprzednimi ramami na różnych zestawach danych.

Dla wyników ilościowych (wizualizowanych powyżej), badacze stwierdzają:

‘Nasza metoda ustanawia nowy stan sztuki w realizmie odtwarzanych obrazów, wyprzedzając wszystkie punkty odniesienia w krzywych FID-szybkości transmisji. W niektórych miarach dystorsji (a mianowicie LPIPS i MS-SSIM), wyprzedzamy wszystkie kodery oparte na dyfuzji, pozostając konkurencyjnymi z najlepszymi kodowaniem generatywnym. ‘

‘Jak oczekiwano, nasza metoda i inne metody generatywne cierpią, gdy mierzone są w PSNR, ponieważ faworyzujemy percepcyjnie przyjemne rekonstrukcje zamiast dokładnego odtwarzania szczegółów.’

Dla badania użytkowników, zastosowano metodę wyboru dwóch alternatyw (2AFC), w kontekście turnieju, w którym preferowane obrazy będą przechodzić do późniejszych rund. Badanie wykorzystywało system ocen Elo pierwotnie opracowany dla turniejów szachowych.

Dlatego uczestnicy będą wyświetlać i wybierać najlepszy z dwóch przedstawionych obrazów 512x512px wśród różnych metod generatywnych. Dodatkowy eksperyment został przeprowadzony, w którym wszystkie porównania obrazów z tego samego użytkownika zostały ocenione za pomocą symulacji Monte Carlo przez 10 000 iteracji, z medianą wyników przedstawionych w wynikach.

Szacowane oceny Elo dla badania użytkowników, z turniejami Elo dla każdego porównania (po lewej) i również dla każdego uczestnika, z wyższymi wartościami lepszymi.

Tu autorzy komentują:

‘Jak widać w ocenach Elo, nasza metoda znacznie wyprzedza wszystkie inne, nawet w porównaniu z CDC, która używa średnio dwukrotnie większej szybkości transmisji niż nasza metoda. To pozostaje prawdą niezależnie od strategii turnieju Elo użytej.’

W oryginalnym artykule, a także w suplementarnym pliku PDF, autorzy zapewniają dalsze porównania wizualne, z których jeden jest pokazany wcześniej w tym artykule. Jednak ze względu na drobne różnice między próbkami, odnosimy czytelnika do źródłowego pliku PDF, aby wyniki te mogły być ocenione w sposób sprawiedliwy.

Artykuł kończy się uwagą, że proponowana metoda działa dwa razy szybciej niż rywalizująca metoda CDC (3,49 vs 6,87 sekund, odpowiednio). Stwierdza również, że ILLM może przetworzyć obraz w ciągu 0,27 sekundy, ale że system ten wymaga uciążliwego szkolenia.

Wnioski

Badacze z ETH/Disneya są jasni, na końcu artykułu, co do potencjału ich systemu do generowania fałszywych szczegółów. Jednak żaden z przykładów przedstawionych w materiale nie koncentruje się na tym problemie.

W każdym razie, ten problem nie jest ograniczony do nowego podejścia Disneya, ale jest nieuniknionym efektem ubocznym korzystania z modeli dyfuzji – twórczej i interpretatywnej architektury – do kompresji obrazu.

Ciekawie, tylko pięć dni temu, dwaj inni badacze z ETH Zurich wyprodukowali artykuł zatytułowany Warunkowe Halucynacje dla Kompresji Obrazu, który bada możliwość “optymalnego poziomu halucynacji” w systemach kompresji opartych na sztucznej inteligencji.

Autorzy tam twierdzą:

‘Dla treści podobnych do tekstury, takich jak trawa, piegi i ściany kamienne, generowanie pikseli, które realistycznie pasują do danej tekstury, jest bardziej istotne niż odtwarzanie dokładnych wartości pikseli; generowanie dowolnego przykładu z dystrybucji tekstury jest ogólnie wystarczające.’

W ten sposób ten drugi artykuł twierdzi, że kompresja powinna być optymalnie “kreatywna” i reprezentatywna, a nie odtwarzać jak najdokładniej cechy i rysy oryginalnego, niekompresowanego obrazu.

One się zastanawia, co myślą społeczność fotograficzna i twórcza o tym dość radykalnym przedefiniowaniu “kompresji”.

*Moja konwersja cytatów wewnętrznych autorów do linków.

Pierwotnie opublikowane w środę, 30 października 2024