Orkestrering av ansikts syntese med semantisk segmentering

Problemet med å oppfinne menneskelige ansikter med en Generative Adversarial Network (GAN) er at den virkelige verdensdata som driver de falske bildene kommer med uvelkommen og uskilbare attributter, som hår på hodet (og/eller ansiktet), bakgrunner og forskjellige typer ansiktsutstyr, som briller, hatter og øreringer; og at disse perifere aspektene av personligheten uunngåelig blir bundet opp i en “fusjonert” identitet.

Under de vanligste GAN-arkitekturer, er disse elementene ikke adressebare i deres eget dedikerte rom, men heller ganske tett assosiert med ansiktet i (eller rundt) hvilket de er innlejret.

Det er heller ikke vanligvis mulig å diktere eller påvirke utseendet på underseksjoner av et ansikt skapt av en GAN, som å smalne øynene, forlenge nesen eller endre hårfarge på samme måte som en politisk skissekunstner kunne.

Men, bildesynteseforskningssektoren arbeider med det:

Ny forskning på GAN-basert ansiktsgenerering har separert de forskjellige delene av et ansikt i distinkte områder, hver med sin egen ‘generator’, som arbeider i samarbeid med andre generatorene for bildet. I midterraden ser vi den orkestrerende ‘feature map’ bygge opp ytterligere områder av ansiktet. Kilde: https://arxiv.org/pdf/2112.02236.pdf

I en ny artikkel, har forskere fra den amerikanske avdelingen av den kinesiske teknologigiganten ByteDance brukt semantisk segmentering til å bryte opp de konstituerende delene av ansiktet i separate seksjoner, hver av dem tildelt sin egen generator, slik at det er mulig å oppnå en større grad av disentanglement. Eller, i hvert fall, perceptuell disentanglement.

Artikkelen er tittelen SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing, og er ledsaget av en medierik prosjektside som viser flere eksempler på de forskjellige fine-grained transformasjoner som kan oppnås når ansikts- og hoddelementer isoleres på denne måten.

Arkitektur av den nye tilnærmingen, som pålegger en interstitiell lag av semantisk segmentering på ansiktet, effektivt omdanner rammeverket til en orkestrator av flere generatorene for forskjellige aspekter av et bilde.

Segmenteringskartene genereres for de falske bildene som systematisk presenteres for GANs diskriminatorens vurdering som modellen forbedres, og til de (ikke-falske) kildebildene som brukes til trening.

I begynnelsen av prosessen, kartlegger en Multi-Layer Perceptron (MLP) tilfeldig valgte latente koder, som deretter vil bli brukt til å kontrollere vektene til de flere generatorer som vil hver tar kontroll over en seksjon av bilde som skal produseres.

Hver generator skaper en trekk-kart og en simulerings-dybde-kart fra Fourier-trekkene som mates inn strømmen. Dette utgangspunktet er grunnlaget for segmenteringsmaskene.

Den nedstrøms rendringsnetverket er kun betinget av de tidligere trekk-kartene, og vet nå hvordan man kan generere en høyere oppløsning segmenteringsmaske, som muliggjør den endelige produksjonen av bildet.

Til slutt, overvåker en bifurcated diskriminatorens konkatenerende distribusjon av både RGB-bildene (som er, for oss, det endelige resultatet) og segmenteringsmaskene som har muliggjort dem å bli separert.

Med SemanticStyleGAN, er det ingen uvelkommen visuell forstyrrelser når ‘dialer inn’ ansiktstrekkforandringer, fordi hvert ansiktstrekk har blitt separat trent innenfor orkestreringsrammeverket.

Erstatning av bakgrunner

Fordi intensjonen med prosjektet er å oppnå større kontroll over det genererte miljøet, inkluderer rendrings-/komposisjonsprosessen en bakgrunnsgenerator trent på virkelige bilder.

En overbevisende grunn til at bakgrunnene ikke blir dratt inn i ansiktmanipulasjoner i SemanticStyleGAN er at de sitter på en mer fjernt lag, og er fullstendige, selv om delvis skjult av de overlagte ansiktene.

Ettersom segmenteringskartene vil resultere i ansikter uten bakgrunner, gir disse ‘drop-in’ bakgrunnene ikke bare kontekst, men er også konfigurert til å være passende, i termer av lys, for de overlagte ansiktene.

Trening og data

De ‘realistiske’ modellene ble trent på de første 28 000 bildene i CelebAMask-HQ, størrelse 256×256 piksler for å tilpasse treningsspacet (dvs. den tilgjengelige VRAM, som dikterer en maksimal batch-størrelse per iterasjon).

Flere modeller ble trent, og diverse verktøy, datasamlinger og arkitekturer ble eksperimentert med under utviklingsprosessen og forskjellige ablasjonstester. Prosjektets største produktive modell hadde en oppløsning på 512×512, trent over 2,5 dager på åtte NVIDIA Tesla V100 GPU-er. Etter trening, generering av et enkelt bilde tar 0,137 sekunder på en lobe GPU uten parallellisering.

De mer teikneserie-/anime-inspirerte eksperimentene demonstrert i de mange videoene på prosjektets side (se lenke over) er avledet fra forskjellige populære ansiktsbaserte datasamlinger, inkludert Toonify, MetFaces, og Bitmoji.

En midlertidig løsning?

Forfatterne hevder at det ikke finnes noen grunn til at SemanticStyleGAN ikke kunne brukes på andre domener, som landskaper, biler, kirker og alle andre ‘standard’ testdomener som nye arkitekturer vanligvis blir utsatt for tidlig i deres karriere.

Men, artikkelen innrømmer at når antallet klasser øker for et domene (som ‘bil’, ‘‘gate-lykt’, ‘fotgjenger’, ‘bygning’, ‘bil’ osv.), kan denne piecemeale tilnærmingen bli uframkommelig på flere måter, uten videre arbeid på optimalisering. CityScapes urban dataset, for eksempel, har 30 klasser over 8 kategorier.

Det er vanskelig å si om nåværende interesse for å erobre det latente rommet mer direkte er like dømt som alkymi; eller om latente koder til slutt vil bli tydbare og kontrollerbare – en utvikling som kunne gjøre denne mer ‘eksternt komplekse’ type tilnærming redundant.