Niezamierzony efekt mapowania przestrzeni latentnej GAN

Prowadząc prace nad poprawą jakości i wierności obrazów generowanych przez sztuczną inteligencję, grupa badaczy z Chin i Australii niezamierzenie odkryła metodę interaktywnego kontrolowania przestrzeni latentnej sieci generatywnej (GAN) – tajemniczej macierzy obliczeniowej, która stoi za nową falą technik syntezy obrazu, które mają rewolucjonizować filmy, gry, media społeczne i wiele innych sektorów rozrywki i badań.

Ich odkrycie, będące produktem ubocznym głównego celu projektu, pozwala użytkownikowi na dowolne i interaktywne przeglądanie przestrzeni latentnej GAN za pomocą myszy, jak gdyby przewijając film lub przeglądając książkę.

Fragment filmu towarzyszącego badaczom (zobacz załącznik na końcu artykułu). Zwróć uwagę, że użytkownik manipuluje transformacjami za pomocą „chwytnika” (góra lewa). Źródło: https://www.youtube.com/watch?v=k7sG4XY5rIc

Metoda ta wykorzystuje „mapy cieplne”, aby wskazać, które obszary obrazu powinny zostać poprawione, gdy GAN przechodzi przez ten sam zestaw danych tysiące (lub setki tysięcy) razy. Mapy cieplne są przeznaczone do poprawy jakości obrazu, informując GAN, gdzie popełnia błędy, aby jego następna próba była lepsza; jednakże, przypadkowo, dostarczają one również „mapy” całej przestrzeni latentnej, którą można przeglądać, poruszając myszą.

Przestrzenna uwaga wizualna podkreślona za pomocą GradCAM, która wskazuje obszary wymagające uwagi, nakładając jasne kolory. Źródło: https://arxiv.org/pdf/2112.00718.pdf

Artykuł artykuł nosi tytuł Poprawa równowagi GAN poprzez zwiększenie świadomości przestrzennej, i pochodzi od badaczy z Uniwersytetu Chińskiego w Hongkongu i Australijskiego Uniwersytetu Narodowego. Oprócz artykułu, filmu i innych materiałów można znaleźć na stronie projektu.

Praca jest w początkowej fazie, a obecnie ograniczona do obrazów o niskiej rozdzielczości (256×256), ale jest to dowód pojęciowy, który obiecuje złamać „czarną skrzynkę” przestrzeni latentnej i pojawia się w momencie, gdy wiele projektów badawczych uderza w tę bramę w celu uzyskania większej kontroli nad syntezą obrazu.

Mimo że takie obrazy są interesujące (i możesz zobaczyć więcej z nich, w lepszej rozdzielczości, w filmie załączonym na końcu tego artykułu), to, co jest może bardziej znaczące, to fakt, że projekt znalazł sposób na poprawę jakości obrazu i potencjalnie na przyspieszenie tego procesu, informując GAN dokładnie, gdzie popełnia błędy podczas treningu.

Ale, jak Przeciwny wskazuje, GAN nie jest jedną jednostką, ale nierównym konfliktem między władzą a drudgeryjną pracą. Aby zrozumieć, jakie ulepszenia badacze wprowadzili w tym zakresie, przyjrzyjmy się, jak ta wojna była dotąd charakteryzowana.

Żałosny los generatora

Jeśli kiedykolwiek dręczyła cię myśl, że jakiś nowy przedmiot odzieży, który kupiłeś, został wyprodukowany w potwornych warunkach w wyzyskiwanej części świata, lub miałeś szefa lub klienta, który ciągle powtarzał „Zrób to jeszcze raz!” bez wskazania, co było nie tak z twoim ostatnim podejściem, poświęć chwilę współczucia generatorowi części sieci GAN.

Generator jest pracoholikiem, który rozkoszował cię przez ostatnie pięć lat, pomagając GAN w tworzeniu fotorealistycznych ludzi, którzy nie istnieją, podnosząc stare gry wideo do rozdzielczości 4k, oraz zmieniając stuletnie nagrania w pełnokolorowy materiał wideo o rozdzielczości 60 klatek na sekundę, wśród innych wspaniałych nowinek sztucznej inteligencji.

Od tworzenia fotorealistycznych twarzy nieistniejących ludzi po przywracanie dawnych nagrań i ożywianie archiwalnych gier wideo, GAN był zajęty w ostatnich latach.

Generator przechodzi przez wszystkie dane treningowe ponownie i ponownie (takie jak zdjęcia twarzy, aby utworzyć GAN, który może tworzyć zdjęcia losowych, nieistniejących ludzi), jeden obraz na raz, przez dni lub nawet tygodnie, aż do momentu, gdy jest w stanie tworzyć obrazy, które są równie przekonywające, jak autentyczne zdjęcia, które studiował.

Jak generator wie, że robi postępy, każdem razem, gdy próbuje stworzyć lepszy obraz niż poprzedni?

Generator ma szefa z piekła rodem.

Bezwzględna nieprzezroczystość dyskryminatora

Zadaniem dyskryminatora jest powiedzenie generatorowi, że nie zrobił wystarczająco dobrze, tworząc autentyczny obraz, i nakazanie mu zrobienie tego jeszcze raz. Dyskryminator nie mówi generatorowi co było nie tak z jego ostatnim podejściem; po prostu bierze prywatny rzut oka, porównuje wygenerowany obraz z obrazami źródłowymi (ponownie, prywatnie) i przydziela obrazowi ocenę.

Ocena jest nigdy dobra. Dyskryminator nie przestanie mówić „Zrób to jeszcze raz”, aż badacze go wyłączą (gdy uznają, że dodatkowy trening nie poprawi wyników).

W ten sposób, bez żadnej konstruktywnej krytyki, a uzbrojony tylko w ocenę, której miara jest tajemnicą, generator musi losowo zgadywać, które części lub aspekty obrazu spowodowały wyższą ocenę niż poprzednio. To doprowadzi go do wielu dalszych niezadowalających dróg, zanim zmieni coś wystarczająco pozytywnie, aby uzyskać wyższą ocenę.

Dyskryminator jako nauczyciel i mentor

Innowacja wprowadzona przez nowe badania polega na tym, że dyskryminator wskazuje generatorowi które części obrazu były niezadowalające, aby generator mógł się skoncentrować na tych obszarach w swoim następnym podejściu i nie odrzucić części, które zostały ocenione wyżej. Charakter relacji zmienił się z konfliktowego na współpracujący.

Aby naprawić dysproporcję wglądu między dyskryminatorem a generatorem, badacze wykorzystali GradCAM jako mechanizm, który może sformułować spostrzeżenia dyskryminatora w wizualne narzędzie sprzężenia zwrotnego dla następnego podejścia generatora.

Nowa metoda treningu równowagi nazywa się EqGAN. Aby zapewnić maksymalną odtwarzalność, badacze wykorzystali istniejące techniki i metody z ustawieniami domyślnymi, w tym użycie architektury StyleGan2.

Architektura EqGAN. Kodowanie przestrzenne generatora jest wyrównane z przestrzenną świadomością dyskryminatora, z losowymi próbkami map cieplnych (zobacz poprzedni obraz) zakodowanymi z powrotem do generatora za pomocą warstwy kodowania przestrzennego (SEL). GradCAM jest mechanizmem, za pomocą którego mapy uwagi dyskryminatora są udostępniane generatorowi.

GradCAM wytwarza mapy cieplne (zobacz powyższe obrazy), które odzwierciedlają krytykę dyskryminatora wobec ostatniego podejścia, i udostępnia je generatorowi.

Gdy model jest wytrenowany, mapa pozostaje jako artefakt tego współpracującego procesu, ale może być również wykorzystana do eksploracji ostatecznego kodu latentnego w interaktywny sposób, jak to pokazano w filmie badaczy (zobacz poniżej).

EqGAN

Projekt wykorzystał kilka popularnych zbiorów danych, w tym LSUN Cat i Churches, a także zestaw danych FFHQ. Poniższy film zawiera również przykłady manipulacji twarzami i kocimi za pomocą EqGAN.

Wszystkie obrazy zostały przeskalowane do 256×256 przed treningiem EqGAN na oficjalnej implementacji StyleGAN2. Model został wytrenowany z rozmiarem partii 64 na 8 GPU, aż do momentu, gdy dyskryminator został wystawiony na ponad 25 milionów obrazów.

Testując wyniki systemu na wybranych próbkach z użyciem odległości Frecheta (FID), autorzy ustalili miarę o nazwie Wskaźnik Nierównowagi (DI) – stopień, w jakim dyskryminator zachowuje przewagę wiedzy nad generatorem, z celem zawężenia tej luki.

Na trzech wytrenowanych zestawach danych nowa miara wykazała przydatny spadek po zakodowaniu świadomości przestrzennej w generatorze, z poprawioną równowagą wykazaną zarówno przez FID, jak i DI.

Badacze kończą:

‘Mamy nadzieję, że ta praca zainspiruje więcej badań nad równowagą GAN i rozwinie nowe metody poprawy jakości syntezy obrazu poprzez manipulowanie równowagą GAN. Będziemy również prowadzić dalsze teoretyczne badania nad tym problemem w przyszłej pracy.’

I kontynuują:

‘Wyniki jakościowe pokazują, że nasza metoda skutecznie nakazuje generatorowi skoncentrować się na określonych obszarach. Eksperymenty na różnych zestawach danych potwierdzają, że nasza metoda łagodzi nierównowagę w treningu GAN i znacznie poprawia jakość syntezy obrazu. Wynikowy model z świadomością przestrzenną umożliwia również interaktywną manipulację obrazem wyjściowym.’

Zobacz poniższy film, aby uzyskać więcej informacji o projekcie i dalszych przykładach dynamicznej i interaktywnej eksploracji przestrzeni latentnej w GAN.

11:12 4 grudnia 2021 – Poprawiono adres URL dla GradCAM i uporządkowano otaczające odniesienie.