Orkiestracja Syntezy Twarzy z Segmentacją Semantyczną

Problemem z wymyślaniem ludzkich twarzy za pomocą sieci generatywnej (GAN) jest to, że dane z rzeczywistego świata, które napędzają fałszywe obrazy, przychodzą z niepożądanymi i nieodłącznymi atrybutami, takimi jak włosy na głowie (i / lub twarzy), tła i różne rodzaje mebli twarzy, takie jak okulary, czapki i kolczyki; i że te peryferyjne aspekty osobowości nieuchronnie stają się związane z “połączoną” tożsamością.

W ramach najczęstszych architektur GAN, te elementy nie są adresowalne we własnej dedykowanej przestrzeni, ale raczej są dość ściśle związane z twarzą, w (lub wokół) której są osadzone.

Nie jest to zwykle możliwe, aby dyktować lub wpływać na wygląd podsekcji twarzy utworzonej przez GAN, takich jak zwężenie oczu, wydłużenie nosa lub zmiana koloru włosów w sposób, w jaki mógłby to zrobić artysta policyjny.

Jednak sektor badań nad syntezą obrazu pracuje nad tym:

Nowe badania nad generowaniem twarzy opartym na GAN wyodrębniły różne sekcje twarzy w odrębne obszary, każdy z własnym ‘generatorem’, pracującym w koncercie z innymi generatorami dla obrazu. W środkowym rzędzie widzimy orkiestrę ‘mapy cech’ budującą dodatkowe obszary twarzy. Źródło: https://arxiv.org/pdf/2112.02236.pdf

W nowym artykule, badacze z amerykańskiego oddziału chińskiego wielonarodowego giganta technologicznego ByteDance użyli segmentacji semantycznej, aby rozbić składowe części twarzy na oddzielne sekcje, z których każda ma swój własny generator, dzięki czemu możliwe jest osiągnięcie większego stopnia rozłączenia. Albo, przynajmniej, percepcyjne rozłączenie.

Artykuł nosi tytuł SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing i jest zaopatrzony w bogato ilustrowaną stronę projektu z wieloma przykładami różnych drobnych transformacji, które można osiągnąć, gdy elementy twarzy i głowy są izolowane w ten sposób.

Tekstura twarzy, styl i kolor włosów, kształt i kolor oczu oraz wiele innych aspektów twarzy, które wcześniej były nierozłączne, mogą teraz być de facto rozłączone, chociaż jakość rozłączenia i poziom instrumentacji może się różnić w zależności od przypadku. Źródło: https://semanticstylegan.github.io/

Nieograniczona Przestrzeń Ukryta

Sieć generatywna, która jest szkolona do generowania twarzy – taka jak generator StyleGan2, który napędza popularną stronę thispersondoesnotexist.com – tworzy złożone relacje między “cechami” (nie w sensie twarzy), które są pochodną analizy tysięcy prawdziwych twarzy, aby nauczyć się, jak tworzyć realistyczne twarze ludzkie.

Te tajemnicze procesy są “kodami ukrytymi”, zbiorowo przestrzeń ukryta. Są one trudne do analizy i w związku z tym trudne do instrumentalizacji.

W zeszłym tygodniu pojawił się nowy projekt syntezy obrazu, który próbuje “mapować” tę niemal okultystyczną przestrzeń podczas samego procesu szkolenia i następnie użyć tych map do interaktywnego nawigowania, a także inne rozwiązania zostały zaproponowane w celu uzyskania głębszej kontroli nad treścią generowaną przez GAN.

Jakieś postępy zostały dokonane, z różnorodną ofertą architektur GAN, które próbują “dotknąć” przestrzeń ukrytą w jakiś sposób i kontrolować generację twarzy z tego miejsca. Takie wysiłki obejmują InterFaceGAN, StyleFlow, GANSpace i StyleRig, wśród innych ofert w ciągle produktywnym strumieniu nowych artykułów.

Co one wszystkie mają wspólnego, to ograniczone stopnie rozłączenia; genialne kontrolki GUI dla różnych aspektów (takich jak “włosy” lub “wyraz twarzy”) tendencję do ciągnięcia tła i / lub innych elementów do procesu transformacji, a żadne z nich (w tym artykuł omawiany tutaj) nie rozwiązały problemu temporalnego neuronowego włosa.

Dzielenie i Podboje Przestrzeni Ukrytej

W każdym razie, badania ByteDance podejmują inne podejście: zamiast próbować rozgryzać tajemnice pojedynczej sieci GAN działającej na całym obrazie twarzy, SemanticStyleGAN formułuje podejście oparte na układzie, gdzie twarze są “skomponowane” przez oddzielne procesy generatora.

Aby osiągnąć ten wyjątek (cech twarzy), SemanticStyleGAN używa Fourier Features w celu wygenerowania mapy segmentacji semantycznej (grubych, kolorowych odróżnień topografii twarzy, pokazanych w dolnej prawej części obrazu poniżej) w celu wyizolowania obszarów twarzy, które otrzymają indywidualną, dedykowaną uwagę.

Architektura nowego podejścia, które nakłada warstwę segmentacji semantycznej na twarz, skutecznie zmieniając ramę w orkiestrę wielu generatorów dla różnych aspektów obrazu.

Mapy segmentacji są generowane dla fałszywych obrazów, które są systematycznie przedstawiane dyskryminatorowi GAN do oceny, gdy model się poprawia, oraz do (nie fałszywych) obrazów źródłowych używanych do szkolenia.

Na początku procesu wielowarstwowy perceptron (MLP) początkowo mapuje losowo wybrane kody ukryte, które będą następnie używane do kontrolowania wag kilku generatorów, które będą każde brać kontrolę nad sekcją obrazu twarzy, który ma być wyprodukowany.

Każdy generator tworzy mapę cech i symulowaną mapę głębi z cech Fourier, które są karmione nim w górę. To wyjście jest podstawą dla masek segmentacji.

Sieć renderująca w dół jest warunkowa tylko przez wcześniejsze mapy cech i teraz wie, jak wygenerować maskę segmentacji o wyższej rozdzielczości, ułatwiając ostateczną produkcję obrazu.

Wreszcie, bifurkowany dyskryminator nadzoruje skonsolidowaną dystrybucję zarówno obrazów RGB (które są dla nas ostatecznym wynikiem), jak i masek segmentacji, które pozwoliły im być oddzielonymi.

Z SemanticStyleGAN, nie ma niepożądanych wizualnych perturbacji, gdy “wprowadza się” zmiany cech twarzy, ponieważ każda cecha twarzy została oddzielnie przeszkolona w ramach orkiestracji.

Zastępowanie Tła

Ponieważ intencją projektu jest uzyskanie większej kontroli nad generowanym środowiskiem, proces renderowania / kompozycji obejmuje generator tła przeszkolony na prawdziwych obrazach.

Jednym z przekonywujących powodów, dla których tła nie są wciągane do manipulacji twarzą w SemanticStyleGAN, jest to, że znajdują się one na bardziej odległej warstwie i są kompletne, choć częściowo ukryte przez nałożone twarze.

Ponieważ mapy segmentacji będą skutkować twarzami bez tła, te “wstawiane” tła nie tylko zapewniają kontekst, ale są również skonfigurowane tak, aby były odpowiednie, pod względem oświetlenia, dla nałożonych twarzy.

Szkolenie i Dane

“Realistyczne” modele były szkolone na początkowych 28 000 obrazach w CelebAMask-HQ, przeskalowanych do 256×256 pikseli, aby pomieścić przestrzeń szkoleniową (tj. dostępną VRAM, która dyktuje maksymalny rozmiar partii na iterację).

Wiele modeli zostało przeszkolonych, a różne narzędzia, zestawy danych i architektury zostały eksperymentowane podczas procesu rozwoju i różnych testów ablacjacji. Największy produktywny model projektu miał rozdzielczość 512×512, przeszkolony w ciągu 2,5 dni na ośmiu procesorach NVIDIA Tesla V100. Po przeszkoleniu, generowanie jednego obrazu zajmuje 0,137 s na procesorze lobe bez paralelizacji.

Eksperymenty w stylu kreskówki / anime, prezentowane w wielu filmach na stronie projektu (patrz link powyżej), są pochodną różnych popularnych zestawów danych twarzy, w tym Toonify, MetFaces i Bitmoji.

Czasowe Rozwiązanie?

Autorzy twierdzą, że nie ma powodu, dla którego SemanticStyleGAN nie mógłby być zastosowany w innych dziedzinach, takich jak pejzaże, samochody, kościoły i wszystkie inne “domyślne” dziedziny testowe, do których nowe architektury są rutynowo poddawane na początku swojej kariery.

Jednakże, artykuł przyznaje, że w miarę wzrostu liczby klas dla danej dziedziny (takiej jak ‘samochód’, ‘‘latarnia uliczna’, ‘pieszy’, ‘budynek’, ‘samochód’ itd.), to podejście może stać się niewykonalne w wielu sposób, bez dalszej pracy nad optymalizacją. Zestaw danych CityScapes, na przykład, ma 30 klas w 8 kategoriach.

Trudno powiedzieć, czy obecne zainteresowanie podbojem przestrzeni ukrytej w bardziej bezpośredni sposób jest tak skazane na porażkę, jak alchemia; czy kody ukryte będą kiedyś możliwe do odczytania i kontrolowania – rozwój, który mógłby uczynić to bardziej “zewnętrznie złożone” podejście redundancją.