Orchestration de sinteza facială cu segmentare semantică

Problema cu inventarea fețelor umane cu o Rețea Adversarială Generativă (GAN) este că datele din lumea reală care alimentează imaginile false vin cu accesorii nedorite și inseparabile, cum ar fi părul de pe cap (și/sau față), fundaluri și diverse tipuri de mobilier facial, cum ar fi ochelari, pălării și cercei; și că aceste aspecte periferice ale personalității devin inevitabil legate de o “identitate fuzionată”.

Sub arhitecturile GAN cel mai frecvent utilizate, aceste elemente nu sunt adresabile într-un spațiu dedicat, ci mai degrabă sunt strâns asociate cu fața în (sau în jurul) căreia sunt încorporate.

Nici nu este de obicei posibil să se dicteze sau să se influențeze aspectul subsecțiunilor unei fețe create de o GAN, cum ar fi îngustarea ochilor, lungirea nasului sau schimbarea culorii părului, în felul în care un artist de schițe polițienești ar putea.

Cu toate acestea, sectorul de cercetare a sintezei de imagini lucrează la acest lucru:

O nouă cercetare privind generarea de fețe bazate pe GAN a separat diversele secțiuni ale unei fețe în zone distincte, fiecare cu propriul său ‘generator’, care lucrează în concert cu alți generatori pentru imagine. În rândul din mijloc, vedem harta de caracteristici ‘orchestratoare’ care construiește zone suplimentare ale feței. Sursă: https://arxiv.org/pdf/2112.02236.pdf

Într-un articol, cercetătorii de la filiala americană a gigantului tehnologic chinez ByteDance au utilizat segmentarea semantică pentru a rupe părțile constitutive ale feței în secțiuni discrete, fiecare dintre acestea fiind alocată propriului generator, astfel încât să se poată obține un grad mai mare de disentanglement. Sau, cel puțin, disentanglement perceptual.

Articolul se intitulează SemanticStyleGAN: Învățarea priorităților generative compozabile pentru sinteza și editarea de imagini controlabile și este însoțit de o pagină de proiect bogată în media, care prezintă multiple exemple ale diverselor transformări fine care pot fi realizate atunci când elementele faciale și ale capului sunt izolate în acest mod.

Textura facială, stilul și culoarea părului, forma și culoarea ochilor și multe alte aspecte ale caracteristicilor generate de GAN, care erau anterior indisolubile, pot fi acum disentanglate, deși calitatea separării și nivelul de instrumentare pot varia în funcție de caz. Sursă: https://semanticstylegan.github.io/

Spațiul Latent Necontrolabil

O Rețea Adversarială Generativă antrenată pentru a genera fețe – cum ar fi generatorul StyleGan2 care alimentează site-ul popular thispersondoesnotexist.com – formează relații complexe între “caracteristicile” (nu în sensul facial) pe care le derivă din analiza a mii de fețe din lumea reală, pentru a învăța cum să creeze fețe realiste umane.

Aceste procese clandestine sunt “coduri latente”, colectiv spațiul latent. Ele sunt dificil de analizat și, în consecință, dificil de instrumentalizat.

În urmă cu o săptămână, a apărut un nou proiect de sinteză de imagini care încearcă să “hărțuiască” acest spațiu aproape ocult în timpul procesului de antrenare însuși și apoi să utilizeze aceste hărți pentru a naviga interactiv, și diverse alte soluții au fost propuse pentru a obține un control mai profund asupra conținutului sintetizat de GAN.

Au fost făcute progrese, cu o ofertă diversă de arhitecturi GAN care încearcă să “ajungă” în spațiul latent într-un fel și să controleze generarea facială de acolo. Astfel de eforturi includ InterFaceGAN, StyleFlow, GANSpace și StyleRig, printre alte oferte într-un flux constant de noi articole.

Ce au toate în comun este gradul limitat de disentanglement; ingeniile GUI pentru diverse facetă (cum ar fi “păr” sau “expresie”) tind să tragă fundalul și/sau alte elemente în procesul de transformare, și niciuna dintre ele (inclusiv articolul discutat aici) nu a rezolvat problema părului neural temporal.

Divizarea și Cucerirea Spațiului Latent

În orice caz, cercetarea ByteDance adoptă o abordare diferită: în loc de a încerca să descifreze misterele unei singure GAN care operează pe o imagine de față generată în întregime, SemanticStyleGAN formulează o abordare bazată pe layout, în care fețele sunt “compușe” de procese de generator separate.

Pentru a realiza această distincție a caracteristicilor (faciale), SemanticStyleGAN utilizează Caracteristici Fourier pentru a genera o hartă de segmentare semantică (distincții crude de topografie facială, arătate spre partea dreapta inferioară a imaginii de mai jos) pentru a izola zonele faciale care vor primi atenție dedicată.

Arhitectura noii abordări, care impune un strat intermediar de segmentare semantică pe față, transformând efectiv cadrul într-un orchestrator al mai multor generatori pentru diverse aspecte ale unei imagini.

Hărțile de segmentare sunt generate pentru imaginile false care sunt prezentate sistematic discriminatorului GAN pentru evaluare pe măsură ce modelul se îmbunătățește, și pentru imaginile sursă (nefalse) utilizate pentru antrenare.

La începutul procesului, un Perceptron Multistrat (MLP) hărțuiește inițial coduri latente aleatorii, care vor fi utilizate ulterior pentru a controla greutățile mai multor generatori care vor lua fiecare controlul unei secțiuni a imaginii de față care urmează a fi produsă.

Fiecare generator creează o hartă de caracteristici și o hartă de adâncime simulată din caracteristicile Fourier care îi sunt furnizate în amonte. Această ieșire este baza pentru măștile de segmentare.

Rețeaua de render în aval este condiționată doar de hărțile de caracteristici anterioare și acum știe cum să genereze o mască de segmentare de înaltă rezoluție, facilitând producerea finală a imaginii.

În final, un discriminator bifurcat supraveghează distribuția concatenată a ambelor imagini RGB (care sunt, pentru noi, rezultatul final) și a măștilor de segmentare care au permis separarea lor.

Cu SemanticStyleGAN, nu există perturbații vizuale nedorite atunci când “setați” schimbări ale caracteristicilor faciale, deoarece fiecare caracteristică facială a fost antrenată separat în cadrul orchestral.

Înlocuirea Fundalurilor

Deoarece intenția proiectului este de a obține un control mai mare asupra mediului generat, procesul de rendering/compoziție include un generator de fundal antrenat pe imagini reale.

Un motiv convingător pentru care fundalurile nu sunt trase în manipulările faciale în SemanticStyleGAN este că se află pe un strat mai îndepărtat și sunt complete, chiar dacă parțial ascunse de fețele suprapuse.

Deoarece hărțile de segmentare vor rezulta în fețe fără fundaluri, aceste “drop-in” fundaluri nu numai că oferă context, dar sunt și configurate pentru a fi potrivite, în ceea ce privește iluminarea, pentru fețele suprapuse.

Antrenarea și Datele

Modelele “realiste” au fost antrenate pe primele 28.000 de imagini din CelebAMask-HQ, redimensionate la 256×256 de pixeli pentru a se potrivi spațiului de antrenare (adică VRAM-ul disponibil, care dictează o dimensiune maximă de lot pe iterație).

Au fost antrenate mai multe modele și au fost experimentate diverse unelte, seturi de date și arhitecturi în timpul procesului de dezvoltare și al diverselor teste de ablație. Modelul cel mai productiv al proiectului a avut o rezoluție de 512×512, antrenat pe parcursul a 2,5 zile pe opt GPU-uri NVIDIA Tesla V100. După antrenare, generarea unei singure imagini durează 0,137 s pe un GPU fără paralelizare.

Experimentele mai de tip desen animat/anime demonstrate în numeroasele videouri de pe pagina proiectului (vezi linkul de mai sus) sunt derivate din diverse seturi de date populare bazate pe fețe, inclusiv Toonify, MetFaces și Bitmoji.

O Soluție Temporară?

Autorii susțin că nu există niciun motiv pentru care SemanticStyleGAN nu ar putea fi aplicat și altor domenii, cum ar fi peisaje, mașini, biserici și toate celelalte “domenii de testare” la care arhitecturile noi sunt supuse în mod obișnuit la începutul carierei lor.

Cu toate acestea, articolul recunoaște că, pe măsură ce numărul de clase crește pentru un domeniu (cum ar fi ‘mașină’, ‘‘lampă de stradă’, ‘pieton’, ‘clădire’, ‘mașină’ etc.), această abordare pe bucăți ar putea deveni ineficientă în mai multe moduri, fără o optimizare suplimentară. De exemplu, setul de date urban CityScapes are 30 de clase în 8 categorii.

Este dificil de spus dacă interesul actual pentru cucerirea spațiului latent într-un mod mai direct este sortit eșecului, la fel ca alchimia; sau dacă codurile latente vor fi în cele din urmă descifrabile și controlabile – un progres care ar putea face ca această abordare mai “complexă extern” să devină redundantă.