GAN som ansiktsrenderare för “traditionell” CGI

Åsikt När Generative Adversarial Networks (GANs) först demonstrerade sin förmåga att reproducera häpnadsväckande realistiska 3D-ansikten, utlöste det en guldrush för den outnyttjade potentialen hos GANs för att skapa tidsmässigt konsekventa videor med mänskliga ansikten.

Någonstans i GANs latenta utrymme tycktes det bör finnas en dold ordning och rationalitet – en schema av nascent semantisk logik, begravd i de latenta koderna, som skulle tillåta en GAN att generera konsekventa flera vyer och flera tolkningar (såsom uttrycksförändringar) av samma ansikte – och därigenom erbjuda en tidsmässigt övertygande deepfake-videometod som skulle blåsa autoencoders ur vattnet.

Högupplöst utdata skulle vara trivialt i jämförelse med de lågupplösta miljöer som GPU-begränsningar tvingar DeepFaceLab och FaceSwap att operera i, medan “swap-zonen” för ett ansikte (i autoencoder-arbetsflöden) skulle bli “skapande-zonen” för en GAN, informerad av ett fåtal inmatningsbilder eller till och med bara en enda bild.

Det skulle inte finnas någon mer missmatch mellan “swap”- och “host”-ansikten, eftersom hela bilden skulle genereras från scratch, inklusive hår, käklinjer och de yttre extremiteterna av ansiktslinjerna, som ofta visar sig vara en utmaning för “traditionella” autoencoder-deepfakes.

GAN-ansiktets vinter

Det visade sig att det inte skulle bli riktigt så enkelt. Till slut visade sig disentanglement vara den centrala frågan, och förblir den primära utmaningen. Hur kan man behålla en distinkt ansiktsidentitet, och ändra dess pose eller uttryck utan att samla ihop en korpus av tusentals referensbilder som lär en neural nätverk vad som händer när dessa förändringar genomförs, på samma sätt som autoencoder-system så mödosamt gör?

I stället var den efterföljande tanken inom GAN-ansiktsuttryck och syntesforskning att en inmatningsidentitet kanske kunde göras föremål för teleologiska, generiska, mallbaserade transformationer som inte är identitetsspecifika. Ett exempel på detta skulle vara att applicera ett uttryck på ett GAN-ansikte som inte fanns i någon av de bilder av den personen som GAN känner till.

Från 2022 års artikel Tensor-based Emotion Editing in the StyleGAN Latent Space, appliceras mallbaserade uttryck på ett inmatningsansikte från FFHQ-databasen. Källa: https://arxiv.org/pdf/2205.06102.pdf

Det är uppenbart att en “en storlek passar alla”-approach inte kan täcka den mångfald av ansiktsuttryck som är unika för en individ. Vi måste undra om ett leende så unikt som Jack Nicholsons eller Willem Dafoes någonsin kunde få en trogen tolkning under påverkan av sådana “medelvärdesuttryck”-latenta koder.

Vem är den charmige latinske främlingen? Även om GAN-metoden producerar ett mer realistiskt och högupplöst ansikte, är transformationen inte informerad av flera verkliga bilder av skådespelaren, som är fallet med DeepFaceLab, som tränar omfattande på en databas med tusentals sådana bilder, och följaktligen är likheten komprometterad. Här (bakgrund) importeras en DeepFaceLab-modell till DeepFaceLive, en strömmande implementation av den populära och kontroversiella programvaran. Exemplen är från https://www.youtube.com/watch?v=9tr35y-yQRY (2022) och https://arxiv.org/pdf/2205.06102.pdf.

En mängd GAN-ansiktsuttrycksredigerare har lagts fram under de senaste åren, de flesta av dem hanterar okända identiteter, där troheten i transformationerna är omöjlig för den vanlige läsaren att veta, eftersom dessa inte är bekanta ansikten.

Okända identiteter omvandlas i 2020 års version av Cascade-EF-GAN. Källa: https://arxiv.org/pdf/2003.05905.pdf

Kanske är det GAN-ansiktsredigerare som har fått mest uppmärksamhet (och citeringar) under de senaste tre åren är InterFaceGAN, som kan utföra latenta utrymmestraversaler i latenta koder relaterade till pose (kameravinkel/ansikte), uttryck, ålder, ras, kön och andra väsentliga egenskaper.

1980-talsstilens “morphing”-förmåga i InterFaceGAN och liknande ramverk är främst ett sätt att illustrera vägen mot transformation när en bild projiceras tillbaka genom en lämplig latent kod (såsom “ålder”). I termer av att producera videofootage med tidsmässig kontinuitet, sådana scheman har hittills kvalificerat som “imponerande katastrofer”.

Om man lägger till det svårigheten att skapa tidsmässigt konsekvent hår, och det faktum att tekniken för latenta kodutforskning/manipulering inte har någon inbyggd tidsmässig vägledning att arbeta med (och det är svårt att veta hur man injicerar sådan vägledning i ett ramverk som är utformat för att generera stillbilder, och som inte har någon inbyggd provision för videooutput), kan det vara logiskt att dra slutsatsen att GAN inte är Allt Du Behöver™ för ansiktsvideo-syntes.

Därför har efterföljande ansträngningar gett stegvisa förbättringar i disentanglement, medan andra har lagt till andra konventioner inom datorseende som en “guidance-lager”, såsom användningen av semantisk segmentering som en kontrollmekanism i den sena 2021 artikeln SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

Semantisk segmentering som en metod för latenta utrymmesinstrumentalitet i SemanticStyleGAN. Källa: https://semanticstylegan.github.io/

Parametrisk vägledning

GAN-ansikts syntesforskningsgemenskapen är alltmer inriktad på att använda “traditionella” parametriska CGI-ansikten som en metod för att vägleda och bringa ordning till de imponerande men otyglade latenta koderna i ett GANs latenta utrymme.

Även om parametriska ansiktsprimitiver har varit en stapelvara inom datorseende-forskning i över tjugo år, har intresset för denna approach ökat nyligen, med den ökade användningen av Skinned Multi-Person Linear Model (SMPL) CGI-primitiver, en approach som banats av Max Planck-institutet och ILM, och som sedan förbättrats med Sparse Trained Articulated Human Body Regressor (STAR) ramverket.

SMPL (i detta fall en variant som kallas SMPL-X) kan påtvinga en CGI-parametrisk mesh som överensstämmer med den uppskattade posen (inklusive uttryck, om nödvändigt) för hela kroppen som visas i en bild, och tillåter nya operationer att utföras på bilden med hjälp av den parametriska meshen som en volymetrisk eller perceptuell vägledning. Källa: https://arxiv.org/pdf/1904.05866.pdf

Den mest berömda utvecklingen i denna linje har varit Disneys 2019 Rendering with Style initiativ, som förenade användningen av traditionella texture-maps med GAN-genererad bild, i ett försök att skapa förbättrad, “deepfake-stil” animerad output.

Gammalt möter nytt i Disneys hybridapproach till GAN-genererade deepfakes. Källa: https://www.youtube.com/watch?v=TwpLqTmvqVk

Disney-approachen påtvingar traditionellt renderade CGI-facetter i ett StyleGAN2-nätverk för att “inpainta” mänskliga ansikten i “problemområden”, där tidsmässig kontinuitet är ett problem för videogenerering – områden som hudtextur.

Rendering with Style-arbetflödet.

Eftersom den parametriska CGI-huvudet som styr denna process kan justeras och ändras för att passa användaren, kan det GAN-genererade ansiktet reflektera dessa ändringar, inklusive ändringar av huvudpose och uttryck.

Även om det är utformat för att förena instrumentaliteten hos CGI med den naturliga realismen hos GAN-ansikten, visar resultaten i slutändan det sämsta av båda världarna, och lyckas fortfarande inte hålla hårtextur och till och med grundläggande funktionpositionering konsekvent:

En ny typ av uncanny valley uppstår från Rendering with Style, men principen har fortfarande potential.

2020 års artikel StyleRig: Rigging StyleGAN for 3D Control over Portrait Images tar en alltmer populär approach, med användningen av tredimensionella morphbara ansiktsmodeller (3DMMs) som proxier för att ändra egenskaper i ett StyleGAN-miljö, i detta fall genom ett nytt riggningsnätverk som kallas RigNet:

3DMMs fungerar som proxier för latenta utrymmesinterpretationer i StyleRig. Källa: https://arxiv.org/pdf/2004.00121.pdf

Men som vanligt med dessa initiativ, verkar resultaten hittills vara begränsade till minimala posemanipulationer och “oinformerade” uttrycks-/affektförändringar.

StyleRig förbättrar kontrollnivån, men tidsmässigt konsekvent hår förblir en olöst utmaning. Källa: https://www.youtube.com/watch?v=eaW_P85wQ9k

Liknande output kan hittas från Mitsubishi Researchs MOST-GAN, en 2021 artikel som använder icke-linjära 3DMMs som en disentanglement-arkitektur, men som också kämpar för att uppnå dynamisk och konsekvent rörelse.

Den senaste forskningen som försöker åstadkomma instrumentaliitet och disentanglement är One-Shot Face Reenactment on Megapixels, som återigen använder 3DMM-parametriska huvuden som en vänlig gränssnitt för StyleGAN.

I MegaFR-arbetflödet för One-Shot Face Reenactment utför nätverket ansiktssyntes genom att kombinera en inverterad verklighetsbild med parametrar från en renderad 3DMM-modell. Källa: https://arxiv.org/pdf/2205.13368.pdf

OSFR tillhör en växande klass av GAN-ansiktsredigerare som försöker utveckla Photoshop/After Effects-stil linjära redigeringsarbetsflöden där användaren kan mata in en önskad bild som transformationer kan appliceras på, snarare än att leta efter latenta koder relaterade till en identitet.

Återigen representerar parametriska uttryck en övergripande och icke-personlig metod för att injicera uttryck, vilket leder till manipulationer som verkar “uncanny” på sitt eget, inte alltid positiva sätt.

Injicerade uttryck i OSFR.

Liksom tidigare arbete kan OSFR härleda nästan originalposen från en enda bild, och kan också utföra “frontalisering”, där en avvikande poserad bild översätts till en mugshot:

Original (överst) och härledda mugshot-bilder från en av implementationerna av OSFR som beskrivs i den nya artikeln.

I praktiken är denna typ av härledning liknande vissa av de fotogrammetriska principer som ligger till grund för Neural Radiance Fields (NeRF), förutom att geometrin här måste definieras av en enda bild, snarare än de 3-4 vyerna som tillåter NeRF att tolka de saknade interstitiella poserna och skapa utforskbara neurala 3D-scener med människor.

(Men NeRF är inte heller Allt Du Behöver™, eftersom det har en nästan annorlunda uppsättning hinder för GANs när det gäller att producera ansiktsvideo-syntes)

Har GAN en plats i ansiktsvideo-syntes?

Att uppnå dynamiska uttryck och ut-ur-distributionens poser från en enda källbild verkar vara en alkov-like besatthet i GAN-ansikts syntesforskning just nu, främst eftersom GANs är den enda metoden som för närvarande kan producera ganska högupplösta och relativt högkvalitativa neurala ansikten: medan autoencoder-deepfake-ramverk kan träna på en mängd verkliga poser och uttryck, måste de operera vid VRAM-begränsade in-/utdata-upplösningar, och kräver en “värd”; medan NeRF är lika begränsat, och – till skillnad från de andra två approacherna – har för närvarande inga etablerade metoder för att ändra ansiktsuttryck, och lider av begränsad redigerbarhet i allmänhet.

Det verkar som att den enda vägen framåt för ett korrekt CGI/GAN-ansikts syntes-system är att ett nytt initiativ måste hitta ett sätt att montera en multi-foto-identitet i det latenta utrymmet, där en latent kod för en persons identitet inte behöver resa hela vägen över det latenta utrymmet för att utnyttja orelaterade poseparametrar, utan kan hänvisa till sina egna relaterade (verklighetsbaserade) bilder som referenser för transformationer.

Även i ett sådant fall, eller till och med om ett helt StyleGAN-nätverk tränades på en enda-identitets ansiktsuppsättning (liknande de träningsuppsättningar som autoencoders använder), skulle den saknade semantiska logiken troligen fortfarande behöva tillhandahållas av adjungerad teknik såsom semantisk segmentering eller parametriska 3DMM-ansikten, som i ett sådant scenario skulle ha mer material att arbeta med.