Model eDiffi Diffusion NVIDIA pozwala na “malowanie słowami” i więcej

Próba tworzenia precyzyjnych kompozycji z latentnymi modelami generatywnymi obrazów, takimi jak Stable Diffusion, może być jak poganiać koty; te same wyobraźniowe i interpretatywne możliwości, które umożliwiają systemowi tworzenie nadzwyczajnych detali i wywoływanie nadzwyczajnych obrazów z relativnie prostych tekstowych podpowiedzi, są również trudne do wyłączenia, gdy szukamy kontroli na poziomie Photoshop nad generowanym obrazem.

Teraz nowe podejście od NVIDIA Research, zatytułowane ensemble diffusion for images (eDiffi), wykorzystuje mieszaninę wielu metod osadzania i interpretatywnych (zamiast tej samej metody na całej drodze przetwarzania) w celu umożliwienia znacznie większego poziomu kontroli nad generowaną treścią. W poniższym przykładzie widzimy, jak użytkownik maluje elementy, gdzie każdy kolor reprezentuje pojedyncze słowo z tekstowej podpowiedzi:

‘Malowanie słowami’ to jedna z dwóch nowych możliwości w modelu eDiffi Diffusion NVIDIA. Każdy nakładany kolor reprezentuje słowo z podpowiedzi (zobacz, jak pojawiają się na lewo podczas generowania), a zastosowany kolor obszaru będzie składał się tylko z tego elementu. Zobacz oficjalne wideo na https://www.youtube.com/watch?v=k6cOx9YjHJc

Skutecznie jest to “malowanie z maskami”, i odwraca paradygmat npainting w Stable Diffusion, który opiera się na naprawie uszkodzonych lub niezadowalających obrazów, lub rozszerzaniu obrazów, które mogłyby być pożądanej wielkości od samego początku.

Tutaj, zamiast tego, marginesy namalowanego pociągnięcia reprezentują dozwolone przybliżone granice tylko jednego unikalnego elementu z jednej koncepcji, pozwalając użytkownikowi ustalić ostateczną wielkość płótna od samego początku, a następnie dyskretnie dodać elementy.

Przykłady z nowego artykułu. Źródło: https://arxiv.org/pdf/2211.01324.pdf

Różnorodne metody zastosowane w eDiffi oznaczają również, że system lepiej radzi sobie z uwzględnieniem każdego elementu w długich i szczegółowych podpowiedziach, podczas gdy Stable Diffusion i DALL-E 2 tendencję do priorytetowego traktowania pewnych części podpowiedzi, w zależności od tego, jak wcześnie pojawiają się one w podpowiedzi, lub innych czynników, takich jak potencjalna trudność w rozłączaniu różnych elementów niezbędnych do pełnej, ale kompleksowej (w odniesieniu do tekstowej podpowiedzi) kompozycji:

Z artykułu: eDiffi jest w stanie iterować bardziej szczegółowo przez podpowiedź, aż do maksymalnej liczby elementów. Chociaż wyniki dla eDiffi (najbardziej na prawo) są wybrane, tak samo są porównywane obrazy z Stable Diffusion i DALL-E 2.

Dodatkowo, zastosowanie dedykowanego T5 tekstowego kodera oznacza, że eDiffi jest w stanie wygenerować zrozumiały angielski tekst, albo abstrakcyjnie zapytany z podpowiedzi (tj. obraz zawiera jakiś tekst [x]), albo wyraźnie zapytany (tj. koszulka mówi ‘Nvidia Rocks’):

Dedykowany tekstowy procesor w eDiffi oznacza, że tekst może być wygenerowany słowo w słowo, zamiast być tylko przetworzony przez warstwę tekstowo-obrazową, która psuje wyjście.

Kolejnym impulsem dla nowego frameworku jest to, że możliwe jest również podanie pojedynczego obrazu jako podpowiedź stylu, zamiast konieczności szkolenia modelu DreamBooth lub tekstowego osadzania na wielu przykładach gatunku lub stylu.

Przeniesienie stylu może być zastosowane z referencyjnego obrazu do tekstowo-obrazowej podpowiedzi lub nawet obrazowo-obrazowej podpowiedzi.

Nowy artykuł nowy artykuł jest zatytułowany eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers, i

Koder T5

Zastosowanie Google’ a Text-to-Text Transfer Transformer (T5) jest kluczowym elementem w uzyskanych wynikach w eDiffi. Średni latentny pipeline diffusion koncentruje się na powiązaniu pomiędzy wytrenowanymi obrazami a podpowiedziami, które towarzyszyły im, gdy zostały pobrane z Internetu (lub ręcznie dostosowane później, chociaż jest to kosztowna i rzadka interwencja).

Z lipcowego artykułu z 2020 roku o T5 – tekstowych transformacjach, które mogą pomóc w generatywnym przepływie obrazu w eDiffi (i potencjalnie innych latentnych modelach diffusion). Źródło: https://arxiv.org/pdf/1910.10683.pdf

Przez przepisanie źródłowego tekstu i uruchomienie modułu T5, można uzyskać bardziej dokładne skojarzenia i reprezentacje niż te, które zostały wytrenowane w modelu oryginalnie, prawie jak post facto ręczne oznaczenie, z większą specyfiką i zastosowaniem do wymagań podpowiedzi tekstowej.

Autorzy wyjaśniają:

‘W większości istniejących prac nad modelami diffusion, model denoising jest współdzielony we wszystkich poziomach szumu, a dynamiczny czasowy jest reprezentowany za pomocą prostego osadzania czasu, które jest podawane do modelu denoising za pomocą sieci MLP. Uważamy, że złożona dynamiczna czasowa denoising diffusion może nie być efektywnie nauczona z danych przy użyciu współdzielonego modelu o ograniczonej pojemności.

‘Zamiast tego, proponujemy zwiększyć pojemność modelu denoising, wprowadzając zespół ekspertów denoising; każdy ekspert denoising jest modelem denoising specjalizującym się w określonym zakresie poziomów szumu. W ten sposób możemy zwiększyć pojemność modelu bez spowalniania próbkowania, ponieważ złożoność obliczeniowa oceny [przetworzonego elementu] na każdym poziomie szumu pozostaje taka sama.’

Konceptualna architektura eDiffi.

Istniejące CLIP moduły kodowania w DALL-E 2 i Stable Diffusion są również w stanie znaleźć alternatywne interpretacje obrazu dla tekstu związanego z wejściem użytkownika. Jednak są one wytrenowane na podobnych informacjach, co oryginalny model, i nie są używane jako oddzielna warstwa interpretatywna w sposób, w jaki T5 jest w eDiffi.

Autorzy stwierdzają, że eDiffi jest pierwszym przypadkiem, gdy zarówno T5, jak i CLIP zostały zintegrowane z jednym potoku:

’Ponieważ te dwa kodery są wytrenowane z różnymi celami, ich osadzania faworyzują tworzenie różnych obrazów z tym samym tekstem wejściowym. Podczas gdy osadzania tekstowe CLIP pomagają określić ogólny wygląd generowanych obrazów, tendencja do pomijania drobnych szczegółów w tekście.

‘W przeciwieństwie do tego, obrazy wygenerowane z osadzaniem T5 tekstowym odzwierciedlają lepiej poszczególne obiekty opisane w tekście, ale ich ogólny wygląd jest mniej dokładny. Używanie ich łącznie daje najlepsze wyniki w naszym modelu.’

Przerywanie i uzupełnianie procesu dyfuzji

Artykuł zauważa, że typowy model latentny dyfuzji zaczyna podróż od czystego szumu do obrazu, polegając wyłącznie na tekście wejściowym na wczesnych etapach generacji.

Kiedy szum rozwiązuje się w jakiś rodzaj szkicu reprezentującego opis w podpowiedzi tekstowej, tekstowo-kierowany aspekt procesu praktycznie zanika, a pozostała część procesu przechodzi w stronę uzupełniania cech wizualnych.

To oznacza, że każdy element, który nie został rozwiązany na wczesnym etapie interpretacji szumu tekstowego, jest trudny do wstrzyknięcia do obrazu później, ponieważ dwa procesy (tekst-do-szkicu i szkic-do-obrazu) mają relatywnie niewiele wspólnego, a podstawowy szkic jest dość splątany, zanim dotrze do procesu uzupełniania obrazu.

obrazu dojrzewa. Widzimy gwałtowny spadek wpływu CLIP na obraz w dolnym rzędzie, podczas gdy T5 nadal wpływa na obraz znacznie dalej w procesie renderowania.” width=”1000″ height=”310″>

Potencjał profesjonalny

Przykłady na stronie projektu i wideo na YouTube koncentrują się na PR-owych generowaniach memowych, słodkich obrazów. Jak zwykle, NVIDIA Research zaniża potencjał swojej najnowszej innowacji, aby poprawić fotorealistyczne lub VFX-przepływy pracy, a także jej potencjał do poprawy głębokich fałszerstw obrazów i wideo.

W przykładach, początkujący lub amatorski użytkownik rysuje szkice umiejscowienia dla konkretnego elementu, podczas gdy w bardziej systematycznym VFX-przepływie pracy, można byłoby użyć eDiffi do interpretacji wielu klatek wideo elementu za pomocą tekstowo-obrazowej podpowiedzi, w której szkice są bardzo precyzyjne i oparte na, na przykład, figurach, gdzie tło zostało usunięte za pomocą zielonego ekranu lub algorytmicznych metod.

Runway ML już zapewnia AI-oparte rotoskoping. W tym przykładzie, ‘zielony ekran’ wokół obiektu reprezentuje warstwę alfa, podczas gdy ekstrakcja została wykonana za pomocą uczenia maszynowego, a nie algorytmicznego usunięcia prawdziwego tła zielonego ekranu. Źródło: https://twitter.com/runwayml/status/1330978385028374529

Używając wytrenowanego DreamBooth postaci i potoku obrazu-do-obrazu z eDiffi, jest potencjalnie możliwe, aby zacząć rozwiązywać jeden z problemów każdego latentnego modelu dyfuzji: stabilność czasową. W takim przypadku, zarówno marginesy nałożonego obrazu, jak i zawartość obrazu byłyby ‘zawieszone’ przeciwko użytkownikowi canvas, z ciągłością czasową wyrenderowanej zawartości (tj. przekształcenie prawdziwego praktyka Tai Chi w robota) zapewnionej przez użycie zablokowanego modelu DreamBooth, który ‘zapamiętał’ swoje dane szkoleniowe – złe dla interpretowalności, ale wspaniałe dla odtwarzalności, wierności i ciągłości.

Metoda, dane i testy

Artykuł stwierdza, że model eDiffi został wytrenowany na ‘kolekcji publicznych i własnych zbiorów danych’, silnie przefiltrowanych przez wytrenowany model CLIP, w celu usunięcia obrazów, które mogłyby obniżyć ogólny wynik estetyczny wyjścia. Ostateczny przefiltrowany zbiór obrazów składa się z ‘około jednego miliarda’ par tekstowo-obrazowych. Rozmiar wytrenowanych obrazów jest opisany jako ‘z najkrótszym bokiem większym niż 64 piksele’.

Wytrenowano kilka modeli dla procesu, z modelem podstawowym i modelem super-rozdzielczościowym wytrenowanym na optymalizatorze AdamW z szybkością uczenia 0,0001, z wygaszaniem wag 0,01, i przy olbrzymim rozmiarze batchu 2048.

Model podstawowy został wytrenowany na 256 procesorach GPU NVIDIA A100, a dwa modele super-rozdzielczościowe na 128 procesorach GPU A100 dla każdego modelu.

System był oparty na własnej bibliotece PyTorch Imaginaire od NVIDIA. Zbiory danych COCO i Visual Genome zostały użyte do oceny, chociaż nie były one częścią ostatecznych modeli, z MS-COCO jako konkretną wersją używaną do testowania. Porównywane systemy to GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, oraz dwa systemy syntezy obrazu Google, Imagen i Parti.

Zgodnie z podobnymi poprzednimi pracami, zero-shot FID-30K został użyty jako miara oceny. Pod FID-30K, 30 000 podpowiedzi zostało wyodrębnionych losowo z zestawu walidacji COCO (tj. nie obrazów ani tekstu użytych w szkoleniu), które zostały następnie użyte jako tekstowe podpowiedzi do syntezy obrazów.

Odległość Frecheta (FID) pomiędzy wygenerowanymi a rzeczywistymi obrazami została następnie obliczona, wraz z zapisaniem wyniku CLIP dla wygenerowanych obrazów.

Wyniki z testów zero-shot FID wobec obecnych podejść na zestawie walidacji COCO 2014, z niższymi wynikami lepszymi.

W wynikach, eDiffi był w stanie uzyskać najniższy (najlepszy) wynik w zero-shot FID, nawet w porównaniu z systemami o znacznie większej liczbie parametrów, takimi jak 20 miliardów parametrów w Parti, w porównaniu z 9,1 miliardem parametrów w najbardziej zaawansowanym modelu eDiffi wytrenowanym do testów.

Wnioski

eDiffi NVIDIA reprezentuje mile widzianą alternatywę dla prostego dodawania coraz większych ilości danych i złożoności do istniejących systemów, zamiast używania bardziej inteligentnego i warstwowego podejścia do niektórych z najtrudniejszych przeszkód związanych z splątaniem i nieedytowalnością w latentnych modelach dyfuzji generatywnych obrazów.

Istnieje już dyskusja na subredditach i Discordzie Stable Diffusion na temat bezpośredniego włączenia kodu eDiffi lub restagingu zasad za nim do oddzielnego wdrożenia. Nowy potok jest jednak tak radykalnie inny, że stanowiłby całą wersję zmiany dla SD, rezygnując z niektórych kompatybilności wstecznej, ale oferując możliwość znacznie lepszych poziomów kontroli nad ostatecznie wygenerowanymi obrazami, bez poświęcania olśniewających wyobraźniowych mocy latentnej dyfuzji. it would constitute an entire version number of change for SD, jettisoning some backward compatibility, though offering the possibility of greatly-improved levels of control over the final synthesized images, without sacrificing the captivating imaginative powers of latent diffusion. First published 3rd listopad 2022.