SofGAN: En GAN-ansigtsgenerator, der giver større kontrol

Forskere i Shanghai og USA har udviklet et GAN-baseret portrætgenereringssystem, der giver brugerne mulighed for at oprette nye ansigter med en hidtil utilgængelig niveau af kontrol over enkelte aspekter såsom hår, øjne, briller, teksturer og farve.

For at demonstrere systemets fleksibilitet har skaberen leveret en Photoshop-lignende grænseflade, hvor en bruger kan tegne semantiske segmenteringselementer direkte, som derefter vil blive fortolket til realistiske billeder, og som kan opnås ved at tegne direkte over eksisterende fotografier.

I eksemplet nedenfor bruges et billede af skuespilleren Daniel Radcliffe som en tegne-skabelon (og målet er ikke at producere en lighed med ham, men snarere et generelt fotorealistisk billede). Da brugeren udfylder forskellige elementer, herunder diskrete aspekter såsom briller, identificeres og fortolkes de i output-billedet:

Brug af et billede som tegne-materiale til en SofGAN-genereret portræt. Kilde: https://www.youtube.com/watch?v=xig8ZA3DVZ8

Den artikel er titlen SofGAN: En portrætbilledegenerator med dynamisk styling, og er ledet af Anpei Chen og Ruiyang Liu, sammen med to andre forskere fra ShanghaiTech University og en fra University of California i San Diego.

Disentangling Features

Den primære bidrag fra arbejdet er ikke så meget at give en brugervenlig brugergrænseflade, men snarere at “disentangle” karakteristika af lært ansigtsfunktioner, såsom pose og tekstur, hvilket giver SofGAN mulighed for også at generere ansigter, der er indirekte vinkler til kameraets synsvinkel.

Usædvanligt blandt ansigtsgenereringsbaserede på Generative Adversarial Networks, kan SofGAN ændre synsvinklen efter behov, inden for grænserne af vinkelsamlingen i træningsdataene. Kilde: https://arxiv.org/pdf/2007.03780.pdf

Siden teksturer nu er disentangled fra geometri, kan ansigtsform og tekstur også manipuleres som separate enheder. I virkeligheden giver dette mulighed for at ændre racen på et kildeansigt, en skandaløs praksis, der nu har en potentiel anvendelse i skabelsen af racemæssigt balancede maskinlæringsdata.

SofGAN understøtter også kunstig aldring og attribut-konsistent stiljustering på et granulært niveau, der ikke er set i lignende segmentering> billedsystemer såsom NVIDIA’s GauGAN og Intel’s spil-baserede neurale renderings system.

SofGAN kan implementere aldring som en iterativ stil.

En anden gennembrud for SofGAN’s metode er, at træningen ikke kræver parret segmentering/real billeder, men kan trænes direkte på uparret virkelige billeder.

Forskere mener, at “disentangling”-arkitekturen af SofGAN blev inspireret af traditionelle billedrenderingssystemer, der dekomponerer de enkelte aspekter af et billede. I visuelle effekter-arbejdsgange deles elementerne for en komposition ofte ned i de mindste komponenter, med specialister dedikeret til hver komponent.

Semantisk Besættelsesfelt (SOF)

For at opnå dette i et maskinlæringsbilledsynthesis-rammeværk udviklede forskerne et semantisk besættelsesfelt (SOF), en udvidelse af den traditionelle besættelsesfelt, der individuerer komponentelementerne af ansigtsportrætter. SOF blev trænet på kalibrerede multi-view semantiske segmenteringskort, men uden nogen grund sandhedssupervision.

Flere iterationer fra et enkelt segmenteringskort (nederst til venstre).

Desuden opnås 2D-segmenteringskort ved at ray-trace outputtet af SOF, før de tekstureres af en GAN-generator. De “synthetiske” semantiske segmenteringskort er også kodet i et lavt dimensionsrum via en tre-lags encoder for at sikre kontinuitet af output, når synsvinklen ændres.

Træningsskemaet kombinerer to tilfældige stilarter for hvert semantisk område:

Arkitekturen for SofGAN.

Forskere hævder, at SofGAN opnår en lavere Frechet Inception Distance (FID) end den nuværende alternative tilstand af kunst (SOTA)-tilgange, samt en højere Learned Perceptual Image Patch Similarity (LPIPS)-metrik.

Tidligere StyleGAN-tilgange har ofte været hæmmet af funktionelt sammenfletning, hvor elementerne, der udgør et billede, er uadskilleligt bundet sammen, hvilket resulterer i, at uønskede elementer dukker op sammen med et ønsket element (f.eks. øreringer kan dukke op, når en øreskabelon renderes, der blev informeret under træningstiden af et billede, der havde øreringer).

Ray-marching bruges til at beregne volumen af semantiske segmenteringskort, hvilket giver mulighed for flere synsvinkler.

Dataset og Træning

Tre dataset blev brugt i udviklingen af forskellige implementationer af SofGAN: CelebAMask-HQ, en samling af 30.000 højopløsningsbilleder taget fra CelebA-HQ-datasettet; NVIDIA’s Flickr-Faces-HQ (FFHQ), der indeholder 70.000 billeder, hvor forskerne havde mærket billederne med en forudtrænet ansigtsparser; og en selvproduceret gruppe af 122 portrætscans med manuelt mærkede semantiske regioner.

SOF består af tre trænbarer undermoduler – hyper-nettet, en ray-marcher (se billedet ovenfor), og en klassifikator. Projektets Semantic Instance Wised (SIW) StyleGAN-generator er konfigureret lignende StyleGAN2 i visse aspekter. Dataforstærkning anvendes gennem tilfældig skalerings- og beskæring, og træning indeholder sti-regularisering hver fjerde skridt. Den samlede træningsprocedure tog 22 dage at nå 800.000 iterationer på fire RTX 2080 Ti-GPU’er over CUDA 10.1.

Artiklen nævner ikke konfigurationen af 2080-kortene, der kan rumme mellem 11 GB-22 GB VRAM hver, hvilket betyder, at den samlede VRAM, der blev anvendt i størstedelen af en måned til at træne SofGAN, er et sted mellem 44 GB og 88 GB.

Forskere observerer, at accepterede generaliserede, højniveaueresultater begyndte at dukke op ret tidligt i træningen, ved 1500 iterationer, tre dage inde i træningen. Resten af træningen blev brugt til den forudsigelige, langsomme kravling mod at opnå fine detaljer såsom hår og øjne.

SofGAN opnår generelt mere realistiske resultater fra en enkelt segmenteringskort end rivaliserende metoder såsom NIVDIA’s SPADE og Pix2PixHD, og SEAN.

Nedenfor er videoen, der er udgivet af forskerne. Yderligere selv-værtsede videoer er tilgængelige på projektsiden.