NVIDIA’s eDiffi Diffusion Model Umožňuje “Malování Slovy” a Více

Pokusy o vytvoření přesných kompozic s latentními difuzními generativními modely obrázků, jako je Stable Diffusion, mohou být jako honění koček; stejné imaginativní a interpretační schopnosti, které umožňují systému vytvořit mimořádné detaily a vyvolat mimořádné obrázky z relativně jednoduchých textových podnětů, jsou také obtížné vypnout, když hledáte kontrolu na úrovni Photoshopu nad generováním obrázků.

Nyní nová přístup od NVIDIA research, nazvaný ensemble difuze pro obrázky (eDiffi), používá směs více vkládání a interpretačních metod (místo stejné metody po celou dobu potrubí) pro umožnění mnohem vyšší úrovně kontroly nad generovaným obsahem. V následujícím příkladu vidíme uživatele, který maluje prvky, kde každá barva reprezentuje jediné slovo z textového podnětu:

‘Malování slovy’ je jedna z dvou nových schopností v NVIDIA’s eDiffi difuzním modelu. Každá nanášená barva reprezentuje slovo z podnětu (viz je objevují se na levé straně během generování), a oblast barvy aplikované bude состоять pouze z tohoto prvku. Viz zdroj (oficiální) video pro více příkladů a lepší rozlišení na https://www.youtube.com/watch?v=k6cOx9YjHJc

Efektivně je to “malování s maskami”, a obrací se k npainting paradigmatu v Stable Diffusion, který je založen na opravě poškozených nebo nevyhovujících obrázků, nebo prodloužení obrázků, které mohly být stejně tak požadované velikosti na začátku.

Zde, místo toho, okraje namalovaných prvků reprezentují povolené přibližné hranice pouze jednoho prvku z jediného konceptu, umožňující uživateli nastavit konečnou velikost plátna od začátku, a poté diskrétně přidávat prvky.

Příklady z nové práce. Source: https://arxiv.org/pdf/2211.01324.pdf

Různé metody používané v eDiffi také znamenají, že systém dělá mnohem lepší práci při zahrnutí každého prvku v dlouhých a podrobných podnětech, zatímco Stable Diffusion a OpenAI’s DALL-E 2 tendují k priorizaci určitých částí podnětu, v závislosti na tom, jak brzy se cílová slova objevují v podnětu, nebo na jiných faktorech, jako je potenciální obtížnost při rozlišování různých prvků nezbytných pro kompletní, ale komplexní (vzhledem k textovému podnětu) kompozici:

Z práce: eDiffi je schopný iterovat více důkladně skrz podnět, dokud nebude maximum možných prvků vykresleno. Ačkoli jsou zlepšené výsledky pro eDiffi (pravý sloupec) cherry-picked, jsou také srovnávací obrázky z Stable Diffusion a DALL-E 2.

Dále, použití dedikovaného T5 text-to-text encoder znamená, že eDiffi je schopen vykreslit srozumitelný anglický text, buď abstraktně vyžádaný z podnětu (tj. obraz obsahuje nějaký text [x]) nebo explicitně vyžádaný (tj. tričko říká ‘Nvidia Rocks’)

Dedikovaný text-to-text zpracování v eDiffi znamená, že text může být vykreslen doslovně v obrazech, místo aby byl spuštěn pouze přes text-to-image interpretační vrstvu, která zkazí výstup.

Další výhodou nového rámce je, že je možné také poskytnout jediný obrázek jako styl podnět, místo aby bylo nutné trénovat DreamBooth model nebo textový embedding na více příkladech žánru nebo stylu.

Převod stylu může být aplikován z referenčního obrázku na text-to-image podnět, nebo dokonce na image-to-image podnět.

Nová práce je nazvaná eDiffi: Text-to-Image Difuzní Modely s Ensemblovou Expertní Denoisery, a

T5 Text Encoder

Použití Google’s Text-to-Text Transfer Transformer (T5) je klíčovým prvkem ve zlepšených výsledcích prokázáných v eDiffi. Průměrný latentní difuzní potrubí se zaměřuje na asociaci mezi trénovanými obrázky a popisky, které je doprovázely, když byly staženy z internetu (nebo jinak ručně upraveny později, i když je to drahá a proto vzácná intervence).

Z července 2020 práce pro T5 – textové transformace, které mohou pomoci generativnímu obrazovému workflow v eDiffi (a potenciálně i jiných latentních difuzních modelech). Source: https://arxiv.org/pdf/1910.10683.pdf

Používáním reformulovaného zdrojového textu a spuštěním modulu T5, lze získat přesnější asociace a reprezentace než byly původně trénovány do modelu, téměř jako post facto manuální označení, s větší specifičností a aplikovatelností na požadavky textového podnětu.

Autoři vysvětlují:

‘Ve většině stávajících pracích na difuzních modelech je denoisovací model sdílený napříč všemi úrovněmi šumu, a časová dynamika je reprezentována pomocí jednoduchého časového vložení, které je krmeno do denoisovacího modelu prostřednictvím MLP sítě. Argumentujeme, že komplexní časová dynamika denoisovací difuze nemusí být naučena z dat efektivně pomocí sdíleného modelu s omezenou kapacitou.

‘Místo toho navrhujeme zvýšit kapacitu denoisovacího modelu zavedením ensemblu expertních denoisérů; každý expertní denoiser je denoisovací model specializovaný pro určitý rozsah úrovní šumu. Tímto způsobem můžeme zvýšit modelovou kapacitu bez zpomalení vzorkování, protože výpočetní složitost hodnocení [zpracovaného prvku] na každé úrovni šumu zůstává stejná.’

Konceptuální architektura pro eDiffi.

Stávající CLIP kódovací moduly zahrnuté v DALL-E 2 a Stable Diffusion jsou také schopné najít alternativní obrazové interpretace pro text související s uživatelským vstupem. Nicméně jsou trénovány na podobných informacích jako původní model a nejsou použity jako samostatná interpretační vrstva způsobem, jakým je T5 v eDiffi.

Autoři uvádějí, že eDiffi je poprvé, kdy byly obě T5 a CLIP encoder inkorporovány do jediného potrubí:

’Jako tyto dvě kódovací moduly jsou trénovány s rozdílnými cíli, jejich vložení favorizuje formace různých obrázků se stejným vstupním textem. Zatímco CLIP textové vložení pomáhá určit globální vzhled generovaných obrázků, tendence chybí jemné detaily v textu.

‘Naopak, obrázky generované s T5 textovým vložením samostatně lépe odrážejí jednotlivé objekty popsány v textu, ale jejich globální vzhled je méně přesný. Používání obou společně produkuje nejlepší výsledky generování obrázků v našem modelu.’

Přerušování a Doplnění Difuzního Procesu

Práce poznamenává, že typický latentní difuzní model začne cestu od čistého šumu k obrázku spoléháním se pouze na text v raných fázích generování.

Když se šum vyřeší v some druhu hrubého rozložení reprezentujícího popis v textovém podnětu, textem řízená část procesu prakticky zmizí, a zbytek procesu se přesune k doplnění vizuálních funkcí.

To znamená, že jakýkoli prvek, který nebyl vyřešen v rané fázi textem řízené interpretace šumu, je obtížné vložit do obrázku později, protože dva procesy (text-to-layout a layout-to-image) mají relativně málo překrytí, a základní rozložení je bastante zapleteno, než se dostane k procesu augmentace obrázku.

Z práce: pozornostní mapy různých částí potrubí, jak se šum>obraz proces zrátí. Můžeme vidět prudký pokles vlivu CLIP na obrázek v dolní řadě, zatímco T5 pokračuje ve vlivu na obrázek mnohem dále do renderovacího procesu.

Profesionální Potenciál

Příklady na projektové stránce a YouTube videu se zaměřují na PR-přátelskou generaci meme-tastických obrázků. Jako obvykle, NVIDIA research hraje dolů potenciál své poslední inovace pro zlepšení fotorealistických nebo VFX workflow, stejně jako jeho potenciál pro zlepšení deepfake obrázků a videa.

V příkladech, začátečník nebo amatérský uživatel kreslí hrubé obrysy umístění pro konkrétní prvek, zatímco ve více systematickém VFX workflow, mohlo by být možné použít eDiffi k interpretaci více snímků videa prvku pomocí text-to-image, kde jsou obrysy velmi přesné a založené na, například, figurách, kde byl pozadí odstraněno pomocí zeleného plátna nebo algoritmickými metodami.

Runway ML již poskytuje AI-založené rotoskopování. V tomto příkladu, ‘zelené plátno’ kolem subjektu reprezentuje alfa vrstvu, zatímco extrakce byla provedena pomocí strojového učení, spíše než algoritmického odstranění skutečného zeleného plátna pozadí. Source: https://twitter.com/runwayml/status/1330978385028374529

Používáním trénovaného DreamBooth charakteru a image-to-image potrubí s eDiffi, je potenciálně možné začít řešit jednu z největších překážek jakéhokoli latentního difuzního modelu: temporální stabilitu. V takovém případě, obě okraje vloženého obrázku a obsah obrázku by byly ‘předplaveny’ proti uživatelskému plátnu, s temporální kontinuitou vykresleného obsahu (tj. přeměna skutečného Tai Chi praktika na robota) poskytnutou pomocí uzamčeného DreamBooth modelu, který ‘pamatuje’ své trénovací data – špatné pro interpretovatelnost, skvělé pro reprodukovatelnost, věrnost a kontinuitu.

Metoda, Data a Testy

Práce uvádí, že eDiffi model byl trénován na ‘sbírku veřejných a proprietárních datových sad’, silně filtrovaných pomocí předtrénovaného CLIP modelu, aby se odstranily obrázky, které by mohly snížit obecnou estetickou hodnotu výstupu. Konečná filtrovaná sada obrázků se skládá z ‘přibližně jedné miliardy’ text-obrázkových párů. Velikost trénovaných obrázků je popsána jako ‘s nejkratší stranou větší než 64 pixelů’.

Byly trénovány několik modelů pro proces, s oběma základními a super-rozlišovacími modely trénovanými na AdamW optimalizátoru na learning rate 0,0001, s váhou poklesu 0,01, a na formidabilní batch size 2048.

Základní model byl trénován na 256 NVIDIA A100 GPU, a dva super-rozlišovací modely na 128 NVIDIA A100 GPU pro každý model.

Systém byl založen na NVIDIA’s vlastní Imaginaire PyTorch knihovně. COCO a Visual Genome datové sady byly použity pro hodnocení, i když nebyly zahrnuty do konečných modelů, s MS-COCO konkrétní variantou použitou pro testování. Rivalové systémy testované byly GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, a Google’s dva image syntézní systémy, Imagen a Parti.

V souladu s podobnými předchozími pracemi, zero-shot FID-30K byl použit jako hodnocení metrika. Pod FID-30K, 30 000 popisků bylo extrahováno náhodně z COCO validační sady (tj. ne z obrázků nebo textu použitých pro trénování), které byly poté použity jako textové podněty pro syntézu obrázků.

Frechet Inception Distance (FID) mezi generovanými a ground truth obrázky byl poté vypočten, spolu s záznamem CLIP skóre pro generované obrázky.

Výsledky z zero-shot FID testů proti stávajícím špičkovým přístupům na COCO 2014 validační datové sadě, s nižšími výsledky lepšími.

V výsledcích, eDiffi byl schopen získat nejnižší (nejlepší) skóre na zero-shot FID, i proti systémům s mnohem vyšším počtem parametrů, jako je 20 miliard parametrů Parti, ve srovnání s 9,1 miliardami parametrů v nejvyšší specifikaci eDiffi modelu trénovaného pro testy.

Závěr

NVIDIA’s eDiffi reprezentuje vítanou alternativu k jednoduše přidávání větších a větších množství dat a komplexity do stávajících systémů, místo toho používá inteligentnější a vrstevnatější přístup k některým z nejthornějších překážek souvisejících s entanglementem a needitovatelností v latentních difuzních generativních systémech obrázků.

Je již diskuse na Stable Diffusion subredditech a Discordech o tom, zda přímo inkorporovat jakýkoli kód, který může být k dispozici pro eDiffi, nebo zda re-stagovat principy za ním v samostatné implementaci. Nový potrubí je však tak radikálně odlišné, že by to představovalo celou verzi změny pro SD, odstranění některé zpětné kompatibility, ale nabízející možnost mnohem lepší kontroly nad konečnými syntetizovanými obrázky, bez obětování fascinujících imaginativních sil latentní difuze.

První zveřejnění 3. listopadu 2022.