Andersonův úhel

Adobe Research rozšiřuje úpravy obličejů GAN s oddělenými vlastnostmi

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyAdobeův mapovač latentních prostorů zmrazuje identitu při úpravě 35 obličejových…
Zobrazit více
  • Adobeův mapovač latentních prostorů zmrazuje identitu při úpravě 35 obličejových atributů bez nutnosti přetrénování.
  • Systém používá FaceNet jako diskriminátor, aby zabránil degradaci identity během transformací atributů.
  • Konkurenční frameworky jako InterFaceGAN zaměňují věk s pohlavím nebo brýlemi, ale Adobeho přístup se těmto vedlejším efektům vyhýbá.

Není těžké pochopit, proč je entanglement problémem v obrazové syntéze, protože je to často problém v jiných oblastech života; například je mnohem těžší odstranit kurkumu z kari než odstranit okurku z burgeru, a je prakticky nemožné zbavit se sladkosti z šálku kávy. Některé věci prostě přicházejí v balíku.

Podobně je entanglement překážkou pro architektury obrazové syntézy, které by ideálně rády oddělily různé funkce a koncepty při použití strojového učení pro vytváření nebo editaci obličejů (nebo psů, lodí nebo jakýchkoli jiných domén).

Pokud byste mohli oddělit vlákna, jako je věk, pohlaví, barva vlasů, barva kůže, emocionální stav a tak dále, měli byste začátek skutečné ovladatelnosti a flexibility v rámci, který by mohl vytvářet a editovat obličejové obrázky na skutečně granulární úrovni, bez tažení nežádoucích “cestujících” do těchto konverzí.

Při maximálním entanglementu (nahoře vlevo) můžete pouze změnit obraz naučené GAN sítě na obraz jiné osoby.

To je efektivní použití nejnovější AI počítačové vize k dosažení něčeho, co bylo vyřešeno jinými prostředky před více než třiceti lety.

S určitým stupněm oddělení (‘Střední oddělení’ v předchozím obrázku výše) je možné provést stylem založené změny, jako je barva vlasů, výraz, kosmetické aplikace a omezená rotace hlavy, mezi jinými.

Zdroj: FEAT: Face Editing with Attention, únor 2022, https://arxiv.org/pdf/2202.02713.pdf

Zdroj: FEAT: Face Editing with Attention, únor 2022, https://arxiv.org/pdf/2202.02713.pdf

Byla provedena řada pokusů v posledních dvou letech o vytvoření interaktivních prostředí pro editaci obličejů, která by umožňovala uživateli měnit obličejové rysy pomocí posuvníků a dalších tradičních interakcí s uživatelským rozhraním, zatímco zachovávaly základní rysy cílové osoby neporušené při přidávání nebo měnění. Nicméně to se ukázalo jako výzva kvůli provázání vlastností a stylu v latentním prostoru GAN.

Například brýle jsou často spojeny s věkem, což znamená, že přidání brýlí může také “zestárnout” obličej, zatímco stárnutí obličeje může přidat brýle, v závislosti na stupni aplikovaného oddělení vysokých funkcí (viz “Testování” níže pro příklady).

Většinou se ukázalo, že je téměř nemožné změnit barvu vlasů a další vlásové aspekty bez přepočítání vlasových vláken a jejich rozložení, což dává “šumivý”, přechodný efekt.

Zdroj: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Zdroj: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Pohyb GAN z latentního do latentního prostoru

Nová studie vedená společností Adobe (ADBE ) přihlášená na WACV 2022 nabízí novou cestu k těmto základním problémům v článku nazvaném Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Doplňkový materiál ke studii Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Vidíme, že základní vlastnosti naučeného obličeje nejsou zahrnovány do nesouvisejících změn. Podrobnosti a vyšší rozlišení najdete v úplném videu vloženém na konci článku. Zdroj: https://www.youtube.com/watch?v=rf_61llRH0Q

Doplňkový materiál ke studii Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Vidíme, že základní vlastnosti naučeného obličeje nejsou zahrnovány do nesouvisejících změn. Podrobnosti a vyšší rozlišení najdete v úplném videu vloženém na konci článku. Zdroj: https://www.youtube.com/watch?v=rf_61llRH0Q

Studii vede Siavash Khodadadeh, vědec aplikovaného výzkumu ve společnosti Adobe, spolu se čtyřmi dalšími výzkumníky Adobe a výzkumníkem z katedry informatiky University of Central Florida.

Článek je zajímavý částečně proto, že Adobe působí v tomto prostoru již nějakou dobu, a je lákavé si představit, že tato funkčnost vstoupí do Creative Suite projektu v příštích několika letech; ale hlavně proto, že architektura vytvořená pro projekt bere jiný přístup k zachování vizuální integrity v GAN face editoru, zatímco se aplikují změny.

Autoři prohlašují:

‘[My] trénujeme neuronovou síť, aby provedla latent-to-latent transformaci, která najde latentní kódování odpovídající obrazu s změněným atributem. Jako technika je one-shot, nezávisí na lineární nebo nelineární trajektorii postupné změny atributů.

‘Tréninkem sítě end-to-end přes celou generační pipeline, systém může přizpůsobit latentnímu prostoru off-the-shelf generátorových architektur. Zachování vlastností, jako je zachování identity osoby, lze zakódovat ve formě tréninkových ztrát.

‘Jakmile byla latent-to-latent síť trénována, může být znovu použita pro libovolné obrázky bez dalšího tréninku.’

Tato poslední část znamená, že navrhovaná architektura přichází s koncovým uživatelem v dokončeném stavu. Stále potřebuje spustit neuronovou síť na místních zdrojích, ale nové obrázky lze “přidat” a být připraveny k úpravám téměř okamžitě, protože rámec je dostatečně odpojen, aby nemusel vyžadovat další image-specifický trénink.

Pohlaví a vousy změněny jako posuvníky vykreslují náhodné a libovolné cesty skrze latentní prostor, ne jen 'posouvání mezi koncovými body'.

Pohlaví a vousy změněny jako posuvníky vykreslují náhodné a libovolné cesty skrze latentní prostor, ne jen ‘posouvání mezi koncovými body’. Další transformace ve vyšším rozlišení najdete ve videu vloženém na konci článku.

Mezi hlavní úspěchy v práci je síť schopnost “zmrazit” identity v latentním prostoru změnou pouze atributu v cílovém vektoru a poskytování “korekčních termínů”, které zachovávají identity, které se transformují.

V podstatě je navrhovaná síť vložena do širší architektury, která orchestruje všechny zpracované prvky, které procházejí předtrénovanými komponentami s zamrzlými váhami, které nebudou produkovat nežádoucí laterální účinky na transformace.

Jelikož tréninkový proces závisí na tripletech, které lze vygenerovat buď z počátečního obrázku (pod GAN inverzí) nebo existujícího počátečního latentního kódování, celý tréninkový proces je nesupervizovaný, s tacitními akcemi obvyklého rozsahu označování a kurátorských systémů v takových systémech efektivními do architektury. Skutečně, nový systém používá off-the-shelf atributové regresory:

‘[Počet] atributů, které naše síť může nezávisle ovládat, je omezen pouze schopnostmi rozpoznávače(s) – pokud máte rozpoznávač pro atribut, můžete ho přidat k libovolným obličejům. V našich experimentech jsme trénovali latent-to-latent síť, aby umožnila úpravu 35 různých obličejových atributů, více než jakékoli předchozí přístupy.’

Systém zahrnuje další bezpečnostní opatření proti nežádoucím “vedlejších” transformacím: v nepřítomnosti požadavku na změnu atributu bude latent-to-latent síť mapovat latentní vektor na sebe sama, dále zvyšující stabilní persistenci cílové identity.

Rozpoznávání Obličejů

Jednou z opakujících se otázek s GAN a encoder/decoder-založenými editory obličejů v posledních několika letech byla tendence aplikovaných transformací degradovat podobnost. Aby se tomu zabránilo, Adobe projekt používá zabudovaný rozpoznávací síť obličejů nazvaný FaceNet jako diskriminátor.

Projektová architektura, vidět níže uprostřed vlevo pro zařazení FaceNet. Zdroj: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

Projektová architektura, vidět níže uprostřed vlevo pro zařazení FaceNet. Zdroj: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Na osobní poznámku, toto zdá se být povzbudivým krokem směrem k integraci standardních systémů rozpoznávání obličejů a dokonce i rozpoznávání výrazů do generativních sítí, pravděpodobně nejlepší způsob, jak překonat slepé pixel-pixel mapování, které dominuje současné deepfake architektury na úkor expresivní věrnosti a dalších důležitých domén v generování obličejů.)

Přístup ke Všem Oblastem v Latentním Prostoru

Další působivou funkcí rámce je jeho schopnost cestovat libovolně mezi potenciálními transformacemi v latentním prostoru, na uživatelské přání. Několik předchozích systémů, které poskytly průzkumné rozhraní, často nechaly uživatele v podstatě pouze posouvat mezi pevnými transformačními časovými osami – působivé, ale často poměrně lineární nebo proscriptivní zkušenosti.

Ze studie Improving GAN Equilibrium by Raising Spatial Awareness: uživatel prochází možnými přechodovými body mezi dvěma místy latentního prostoru, ale pouze v mezích předem naučených míst. Jiné transformace téhož materiálu vyžadují změnu konfigurace nebo nové trénování. Zdroj: https://genforce.github.io/eqgan/

Ze studie Improving GAN Equilibrium by Raising Spatial Awareness: uživatel prochází možnými přechodovými body mezi dvěma místy latentního prostoru, ale pouze v mezích předem naučených míst. Jiné transformace téhož materiálu vyžadují změnu konfigurace nebo nové trénování. Zdroj: https://genforce.github.io/eqgan/


Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai