Tworzenie niestandardowej sieci generatywnej z przeciwstawnych przykładów z szkicami

Naukowcy z Carnegie Mellon i MIT opracowali nową metodologię, która pozwala użytkownikowi tworzyć niestandardowe systemy generatywne z przeciwstawnych przykładów (GAN) do tworzenia obrazów, po prostu rysując wskazujące szkice.

System tego typu mógłby umożliwić użytkownikowi tworzenie systemów generujących obrazy, które są w stanie generować bardzo konkretnych obrazów, takich jak określone zwierzęta, rodzaje budynków – a nawet poszczególne osoby. Obecnie większość systemów generatywnych GAN produkuje szerokie i dość losowe dane wyjściowe, z ograniczoną możliwością określenia konkretnych cech, takich jak rasa zwierzęcia, rodzaj włosów u ludzi, style architektury lub rzeczywiste tożsamości twarzy.

Podejście, opisane w artykule Szkicuj własną sieć GAN, wykorzystuje nowy interfejs rysowania jako skuteczną funkcję “wyszukiwania”, aby znaleźć funkcje i klasy w inaczej przeładowanych bazach danych obrazów, które mogą zawierać tysiące rodzajów obiektów, w tym wiele podtypów, które nie są istotne dla zamiarów użytkownika. Sieć GAN jest następnie szkolona na tym filtrowanym podzbiorze obrazów.

Poprzez rysowanie konkretnego rodzaju obiektu, z którym użytkownik chce kalibrować sieć GAN, możliwości generatywne ramy stają się wyspecjalizowane w tej klasie. Na przykład, jeśli użytkownik chce utworzyć ramę, która generuje konkretny typ kota (zamiast jakiegokolwiek kota, jak można uzyskać za pomocą This Cat Does Not Exist), ich szkice wejściowe służą jako filtr, aby wykluczyć nieistotne klasy kotów.

Źródło: https://peterwang512.github.io/GANSketching/

Badania są prowadzone przez Sheng Yu-Wanga z Carnegie Mellon University, wraz z kolegą Jun-Yan Zhu i Davidem Bau z Laboratorium Komputerowych i Sztucznej Inteligencji MIT.

Metoda ta nazywa się “szkicowaniem sieci GAN” i wykorzystuje szkice wejściowe, aby bezpośrednio zmienić wagi modelu “szablonu” sieci GAN, aby celować w określony domenę lub pod-domenę za pomocą przeciwnych strat.

Zbadano różne metody regularyzacji, aby upewnić się, że dane wyjściowe modelu są zróżnicowane, przy jednoczesnym utrzymaniu wysokiej jakości obrazu. Naukowcy stworzyli przykładowe aplikacje, które są w stanie interpolować przestrzeń latentną i prowadzić procedury edycji obrazu.

Ten [$class] nie istnieje

Systemy generatywne GAN stały się modą, jeśli nie memem, w ciągu ostatnich kilku lat, z rozprzestrzenieniem projektów, które mogą generować obrazy nieistniejących rzeczy, w tym ludzi, mieszkań, przekąsek, stóp, koni, polityków i owadów, wśród wielu innych.

Systemy generatywne GAN są tworzone przez składanie lub kurację obszernych zbiorów danych zawierających obrazy z docelowego domenu, takich jak twarze lub konie; szkolenie modeli, które uogólniają zakres funkcji w całej bazie danych; oraz wdrożenie modułów generatora, które mogą generować losowe przykłady na podstawie nauczonych funkcji.

Dane wyjściowe z szkiców w DeepFacePencil, które pozwalają użytkownikom tworzyć fotorealistyczne twarze z szkiców. Wiele podobnych projektów szkicu do obrazu istnieje.

Funkcje wielowymiarowe są wśród pierwszych, które są utrwalamiane podczas procesu szkolenia i są równoważne pierwszym szerokim pociągnięciom pędzla na płótnie. Te funkcje wielowymiarowe będą ostatecznie korelować z bardziej szczegółowymi funkcjami (tj. błyskiem oka i ostrymi wąsami kota, zamiast tylko ogólnego, beżowego bloku reprezentującego głowę).

Rozumiem, co masz na myśli…

Poprzez mapowanie relacji między tymi wcześniejszymi podstawowymi kształtami a ostatecznymi, szczegółowymi interpretacjami, które są uzyskiwane znacznie później w procesie szkolenia, jest możliwe wnioskowanie o relacjach między “niewyraźnymi” a “szczegółowymi” obrazami, co pozwala użytkownikom tworzyć złożone i fotorealistyczne obrazy z grubych szkiców.

Niedawno NVIDIA wydała wersję biurkową swojego długoterminowego badania GauGAN nad generacją krajobrazów opartych na sieciach GAN, co łatwo demonstruje tę zasadę:

Przybliżone szkice są tłumaczone na bogate obrazy scenicznego rodzaju za pomocą NVIDIA GauGAN i teraz aplikacji NVIDIA Canvas. Źródło: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Podobnie, wiele systemów, takich jak DeepFacePencil, wykorzystało tę samą zasadę, aby utworzyć generatory obrazów indukowanych szkicem dla różnych domen.

Architektura DeepFacePencil.

Uproszczenie szkicu do obrazu

Nowy artykuł podejścia GAN Sketching ma na celu usunięcie ogromnego ciężaru gromadzenia i kuracji danych, który jest zwykle zaangażowany w rozwój ram sieci GAN, poprzez wykorzystanie danych wejściowych użytkownika do określenia, jaki podzbiór obrazów powinien stanowić dane szkoleniowe.

System został zaprojektowany tak, aby wymagał tylko niewielkiej liczby szkiców wejściowych, aby skalibrować ramę. System skutecznie odwraca funkcjonalność PhotoSketch, wspólnego badania z 2019 roku przez naukowców z Carnegie Mellon, Adobe, Uber ATG i Argo AI, które jest uwzględnione w nowej pracy. PhotoSketch został zaprojektowany do tworzenia artystycznych szkiców z obrazów i już zawiera skuteczne mapowanie relacji między tworzeniem obrazu a szczegółowymi interpretacjami.

Dla części generatywnej procesu nowa metoda modyfikuje tylko wagi StyleGAN2. Ponieważ dane obrazowe używane są tylko podzbiorem wszystkich dostępnych danych, modyfikacja samej sieci mapującej daje pożądane wyniki.

Metoda została oceniona na kilku popularnych pod-domenach, w tym konnych, kościołach i kotach.

Zestaw danych LSUN z 2016 roku Uniwersytetu Princeton został użyty jako podstawowy materiał do wywnioskowania docelowych pod-domen. Aby ustalić system mapowania szkiców, który jest odporny na ekscentryczność danych wejściowych użytkownika, system jest szkolony na obrazach z zestawu danych QuickDraw opracowanego przez firmę Microsoft w latach 2021-2016.

Chociaż mapowanie szkiców między PhotoSketch i QuickDraw są dość różne, naukowcy stwierdzili, że ich ramy udaje się łatwo przerzucić je na stosunkowo proste pozy, chociaż bardziej skomplikowane pozy (takie jak koty leżące) okazują się bardziej wyzwaniem, a bardzo abstrakcyjne dane wejściowe użytkownika (tj. zbyt grubo rysowane) również utrudniają jakość wyników.

Przestrzeń latentna i edycja obrazu naturalnego

Naukowcy opracowali dwie aplikacje oparte na podstawowej pracy: edycję przestrzeni latentnej i edycję obrazu. Edycja przestrzeni latentnej oferuje użytkownikom kontrolę nad interpretacjami, które są ułatwione w czasie szkolenia, i pozwalają na szeroki zakres zmian, pozostając wiernymi docelowemu domenowi i przyjemnie spójnymi w całej zmianie.

Gładka interpolacja przestrzeni latentnej z niestandardowymi modelami GAN Sketching.

Komponent edycji przestrzeni latentnej został napędzany przez projekt GANSpace z 2020 roku, wspólną inicjatywę Uniwersytetu Aalto, Adobe i NVIDIA.

Jeden obraz może być również podany do niestandardowego modelu, ułatwiając edycję obrazu naturalnego. W tej aplikacji jeden obraz jest projektowany na niestandardową sieć GAN, nie tylko umożliwiając bezpośrednią edycję, ale także zachowując edycję przestrzeni latentnej, jeśli została również użyta.

Tutaj rzeczywisty obraz został użyty jako dane wejściowe do sieci GAN (model kotów), który edytuje dane wejściowe, aby dopasować do podanych szkiców. To pozwala na edycję obrazu za pomocą szkiców.

Chociaż system jest konfigurowalny, nie jest on zaprojektowany do pracy w czasie rzeczywistym, przynajmniej w odniesieniu do szkolenia i kalibracji. Obecnie GAN Sketching wymaga 30 000 iteracji szkoleniowych. System wymaga również dostępu do oryginalnych danych szkoleniowych dla oryginalnego modelu.

W przypadkach, w których zestaw danych jest otwarty i ma licencję, która pozwala na lokalną kopię, można to uwzględnić, umieszczając dane źródłowe w lokalnym pakiecie, chociaż wymagałoby to znacznej ilości miejsca na dysku; lub uzyskując lub przetwarzając dane zdalnie za pomocą podejścia opartego na chmurze, co wprowadza opóźnienia sieciowe i (w przypadku przetwarzania, które faktycznie występuje w chmurze) możliwe rozważania kosztów obliczeniowych.

Przekształcenia z niestandardowych modeli FFHQ szkolonych na tylko szkice wygenerowane przez ludzi.