Orkestrering af ansigtssyntese med semantisk segmentering

Problemet med at opfinde menneskeansigter med en Generative Adversarial Network (GAN) er, at de virkelige data, der bruges til at frembringe de falske billeder, kommer med uønskede og uskillelige tilbehør, såsom hår på hovedet (og/eller ansigtet), baggrunde og forskellige former for ansigtsudstyr, såsom briller, huer og øreringe; og at disse perifere aspekter af personligheden uundgåeligt bliver bundet sammen i en “fuset” identitet.

Under de mest almindelige GAN-arkitekturer er disse elementer ikke tilgængelige i deres egen dedikerede rum, men er ret tæt forbundet med ansigtet (eller omkring) hvori de er indlejret.

Det er heller ikke normalt muligt at diktere eller påvirke udseendet af underafsnit af et ansigt, der er oprettet af en GAN, såsom at mindske øjnene, forlænge næsen eller ændre hårfarve, på samme måde som en politisketchkunstner kunne.

Men billedsynteseforskningssektoren arbejder på det:

Nyt forskning i GAN-baseret ansigtsgenerering har adskilt de forskellige dele af et ansigt i separate områder, hver med deres egen ‘generator’, der arbejder i samarbejde med andre generatore for billedet. I midterrækken ser vi den orkestrerende ‘feature map’, der bygger op yderligere områder af ansigtet. Kilde: https://arxiv.org/pdf/2112.02236.pdf

I en ny artikel har forskere fra den amerikanske afdeling af den kinesiske teknologigigant ByteDance brugt semantisk segmentering til at bryde de bestandige dele af ansigtet op i separate områder, hver af dem tildelt sin egen generator, så det er muligt at opnå en højere grad af disentanglement. Eller, i hvert fald, perceptuel disentanglement.

Artiklen er titlen SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing, og er ledsaget af en medierig projektside med flere eksempler på de forskellige fine-grænse-transformationer, der kan opnås, når ansigts- og hovedelementer isoleres på denne måde.

<img class="wp-image-179135 size-full" src="https://www.unite.ai/wp-content/uploads/2021/12/disentanglement.gif" alt="Ansigtstekstur, hårstil og farve, øjeform og farve og mange andre aspekter af tidligere usammenhængende GAN-genererede funktioner kan nu disentanglere, selv om kvaliteten af adskillelse og niveauet af instrumentering sandsynligvis vil variere over przypad Kilde: https://semanticstylegan.github.io/

Det ustyrlige latente rum

En Generative Adversarial Network, der er trænet til at generere ansigter – såsom StyleGan2-generatoren, der driver den populære hjemmeside thispersondoesnotexist.com – danner komplekse sammenhænge mellem “funktionerne” (ikke i ansigtssansen) som den afleder fra analyse af tusinder af virkelige ansigter, for at lære at lave realistiske menneskeansigter selv.

Disse hemmelige processer er “latente koder”, kollektivt det latente rum. De er svære at analysere og følgelig svære at instrumentaliserer.

Sidste uge opstod et andet nyt billedsynteseprojekt, der forsøger at “kortlægge” dette næsten-okkulte rum under træningsprocessen selv, og derefter at bruge disse kort til interaktivt at navigere i det, og forskellige andre løsninger er blevet foreslået for at opnå en dybere kontrol over GAN-syntetiseret indhold.

Noget fremgang er blevet opnået, med en diversificeret udvalg af GAN-arkitekturer, der forsøger at “række ind” i det latente rum på en eller anden måde og kontrollere ansigtsgenereringerne derfra. Sådanne bestræbelser omfatter InterFaceGAN, StyleFlow, GANSpace og StyleRig, blandt andre tilbud i en konstant-produktiv strøm af nye artikler.

What they all have in common er begrænsede grader af disentanglement; de intelligente GUI-klæder til forskellige aspekter (såsom “hår” eller “udtryk”) tenderer til at trække baggrunden og/eller andre elementer ind i transformationsprocessen, og ingen af dem (herunder artiklen, der diskuteres her) har løst problemet med den temporale neurale hår.

At dele og erobre det latente rum

I alle tilfælde tager ByteDance-forskningen en anden tilgang: i stedet for at forsøge at afsløre mysterierne om en enkelt GAN, der opererer over et helt genereret ansigtbillede, formulerer SemanticStyleGAN en layout-baseret tilgang, hvor ansigter “komponeres” af separate generatorprocesser.

For at opnå denne forskel af (ansigts)funktioner bruger SemanticStyleGAN Fourier-funktioner til at generere en semantisk segmenteringskort (groft farvede forskelle i ansigtstopografi, vist mod den nederste højre del af billedet nedenfor) for at isolere ansigtsområderne, der skal modtage individuel, dedikeret opmærksomhed.

Arkitekturen for den nye tilgang, der påfører et mellemled af semantisk segmentering på ansigtet, hvilket effektivt omdanner rammen til en orkestrator af multiple generatore for forskellige aspekter af et billede.

Segmenteringskortene genereres for de falske billeder, der systematisk præsenteres for GAN’s diskriminator til evaluering, da modellen forbedres, og til de (ikke-falske) kildebilleder, der bruges til træning.

I starten af processen kortlægger en Multi-Layer Perceptron (MLP) tilfældigt valgte latente koder, der derefter vil blive brugt til at kontrollere vægtningerne af de flere generatore, der hver især vil tage kontrol over et område af ansigtbilledet, der skal produceres.

Hver generator opretter en funktionkort og en simuleret dybdekort fra Fourier-funktionerne, der føres til den ovenfor. Dette output er grundlaget for segmenteringsmaskerne.

Det nedstrøms render-netværk er kun betinget af de tidligere funktionkort, og ved nu, hvordan man kan generere en højere opløsning segmenteringsmaske, hvilket faciliterer den endelige produktion af billedet.

Til sidst overvåger en bifurceret diskriminator den sammensatte distribution af både RGB-billeder (som er, for os, det endelige resultat) og segmenteringsmaskerne, der har muliggjort, at de kan adskilles.

Med SemanticStyleGAN er der ingen uønskede visuelle forstyrrelser, når “indstiller” ansigtstræk, fordi hver ansigtstræk er blevet adskilt trænet inden for orkestreringsrammen.

Erstatning af baggrunde

Fordi projektets intention er at opnå en større kontrol over det genererede miljø, omfatter renderings-/kompositionprocessen en baggrundsgenerator, der er trænet på virkelige billeder.

En overbevisende grund til, at baggrunde ikke bliver trukket ind i ansigtmanipulationer i SemanticStyleGAN, er, at de sidder på et mere fjernt lag, og er komplet, selv om de er delvist skjult af de overlagte ansigter.

Da segmenteringskortene resulterer i ansigter uden baggrunde, giver disse “drop-in”-baggrunde ikke kun kontekst, men er også konfigureret til at være passende i forhold til lys, for de overlagte ansigter.

Træning og data

De “realistiske” modeller blev trænet på de første 28.000 billeder i CelebAMask-HQ, omlagt til 256×256 pixels for at tilpasse træningsrummet (dvs. det tilgængelige VRAM, der dikterer en maksimal batch-størrelse per iteration).

Flere modeller blev trænet, og forskellige værktøjer, datasæt og arkitekturer blev eksperimenteret med under udviklingsprocessen og forskellige ablationsforsøg. Projektets største produktive model havde en opløsning på 512×512, trænet over 2,5 dage på otte NVIDIA Tesla V100 GPU’er. Efter træning tager generationen af et enkelt billede 0,137 sekunder på en lobe-GPU uden parallelisering.

De mere tegneserie/anime-inspirerede eksperimenter, der demonstreres i de mange videoer på projektets side (se link ovenfor), er afledt fra forskellige populære ansigtsbaserede datasæt, herunder Toonify, MetFaces og Bitmoji.

En midlertidig løsning?

Forfatterne hævder, at der ikke er nogen grund til, at SemanticStyleGAN ikke kan anvendes på andre områder, såsom landskaber, biler, kirker og alle de andre “standard”-testområder, som nye arkitekturer rutinemæssigt underkastes tidligt i deres karriere.

Men artiklen indrømmer, at når antallet af klasser stiger for et område (såsom ‘bil’, ‘‘gadebelysning’, ‘fodgænger’, ‘bygning’, ‘bil’ osv.), kan denne stykkevis tilgang blive uanvendelig på flere måder, uden yderligere arbejde på optimering. CityScapes-urbane datasæt har f.eks. 30 klasser over 8 kategorier.

Det er svært at sige, om den nuværende interesse for at erobre det latente rum mere direkte er lige så dømt som alkymi; eller om latente koder vil blive tydbare og kontrollerbare – en udvikling, der kunne gøre denne mere “eksternt komplekse” type tilgang redundant.