Orkestratie van gezichtssynthese met semantische segmentatie

Het probleem met het uitvinden van menselijke gezichten met een Generative Adversarial Network (GAN) is dat de real-world data die de nep-beelden voedt, komt met ongewenste en onlosmakelijke attributen, zoals haar op het hoofd (en/of gezicht), achtergronden en verschillende soorten gezichtsmeubilair, zoals bril, hoeden en oorbellen; en dat deze perifere aspecten van persoonlijkheid onvermijdelijk worden gebonden aan een ‘gefuseerde’ identiteit.

Onder de meest voorkomende GAN-architecturen zijn deze elementen niet aanspreekbaar in hun eigen toegewezen ruimte, maar zijn ze eerder zeer nauw verbonden met het gezicht in (of om) waarin ze zijn ingebed.

Het is ook meestal niet mogelijk om de verschijning van sub-secties van een door een GAN gegenereerd gezicht te dicteren of te beïnvloeden, zoals het verkleinen van de ogen, het verlengen van de neus of het veranderen van de haarkleur op de manier waarop een politietekenaar dat zou doen.

Echter, het onderzoeksgebied van beeldsynthese werkt eraan:

Nieuw onderzoek naar GAN-gebaseerde gezichtsgeneratie heeft de verschillende secties van een gezicht gescheiden in afzonderlijke gebieden, elk met hun eigen ‘generator’, die samenwerkt met andere generators voor het beeld. In de middelste rij zien we de orkestrerende ‘feature map’ die extra gebieden van het gezicht toevoegt. Bron: https://arxiv.org/pdf/2112.02236.pdf

In een nieuw artikel hebben onderzoekers van de Amerikaanse tak van de Chinese multinational tech-gigant ByteDance semantische segmentatie gebruikt om de constituerende delen van het gezicht te breken in discrete secties, elk met hun eigen generator, zodat het mogelijk is om een grotere mate van disentanglement te bereiken. Of, tenminste, perceptueel disentanglement.

Het artikel heeft de titel SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing en wordt vergezeld van een media-rijke projectpagina met meerdere voorbeelden van de verschillende fijne transformaties die kunnen worden bereikt wanneer gezichts- en hoofdelementen op deze manier worden geïsoleerd.

Gezichtstekstuur, haartype en -kleur, oogvorm en -kleur en veel andere aspecten van eerder onlosmakelijke GAN-gegenereerde functies kunnen nu de facto worden ontkoppeld, hoewel de kwaliteit van de scheiding en het niveau van instrumentatie waarschijnlijk zal variëren in verschillende gevallen. Bron: https://semanticstylegan.github.io/

Het onbeheersbare latente ruimte

Een Generatieve Adversarial Network getraind om gezichten te genereren – zoals de StyleGan2-generator die de populaire website thispersondoesnotexist.com aandrijft – vormt complexe interrelaties tussen de ‘functies’ (niet in de zin van gezicht) die het afleidt uit het analyseren van duizenden echte gezichten, om te leren hoe het realistische menselijke gezichten kan maken.

Deze clandestiene processen zijn ‘latente codes’, collectief de latente ruimte. Ze zijn moeilijk te analyseren en daardoor moeilijk te instrumentaliseren.

Afgelopen week verscheen een ander nieuw beeldsyntheseproject dat probeert de ‘latente ruimte’ tijdens het trainingsproces zelf in kaart te brengen en vervolgens deze kaarten te gebruiken om de ruimte interactief te navigeren, en verschillende andere oplossingen zijn voorgesteld om dieper controle over GAN-gegenereerde inhoud te krijgen.

Enige vooruitgang is geboekt, met een divers aanbod van GAN-architecturen die proberen ‘in’ de latente ruimte te reiken en de gezichtsgeneraties van daaruit te controleren. Dergelijke inspanningen omvatten InterFaceGAN, StyleFlow, GANSpace en StyleRig, onder andere aanbod in een constant-productieve stroom van nieuwe artikelen.

Wat ze allemaal gemeen hebben, is een beperkte mate van disentanglement; de ingenieuze GUI-schuifregelaars voor verschillende facetten (zoals ‘haar’ of ‘uitdrukking’) trekken de achtergrond en/of andere elementen meestal mee in het transformatieproces, en geen van hen (inclusief het artikel dat hier wordt besproken) hebben het probleem van temporele neurale haar opgelost.

De latente ruimte verdelen en veroveren

In elk geval neemt het ByteDance-onderzoek een andere benadering: in plaats van proberen de mysteries van een enkele GAN te ontrafelen die over een volledig gegenereerd gezichtsbeeld werkt, formuleert SemanticStyleGAN een layout-gebaseerde benadering, waarbij gezichten worden ‘samengesteld’ door afzonderlijke generatorprocessen.

Om deze onderscheiding van (gezichts)functies te bereiken, gebruikt SemanticStyleGAN Fourier-functies om een semantische segmentatiekaart te genereren (grof gekleurde onderscheidingen van gezichtstopografie, getoond naar de onder-rechtse zijde van het onderstaande beeld) om de gezichtsgebieden te isoleren die individuele, toegewijde aandacht zullen ontvangen.

Architectuur van de nieuwe benadering, die een tussenlaag van semantische segmentatie op het gezicht oplegt, waardoor het kader effectief wordt omgezet in een orkestrator van meerdere generators voor verschillende facetten van een beeld.

De segmentatiekaarten worden gegenereerd voor de nep-beelden die systematisch aan de GAN’s discriminator worden gepresenteerd voor evaluatie tijdens het trainingsproces, en aan de (niet-neppe) bronbeelden die worden gebruikt voor training.

Aan het begin van het proces wordt een Multi-Layer Perceptron (MLP) gebruikt om willekeurig gekozen latente codes te koppelen, die vervolgens worden gebruikt om de gewichten van de verschillende generators te controleren die elk een deel van het gezichtsbeeld zullen produceren.

Elke generator creëert een feature-kaart en een gesimuleerde dieptekaart van de Fourier-functies die aan hem worden doorgegeven, wat de basis vormt voor de segmentatiemaskers.

Het downstream render-netwerk wordt alleen geconditioneerd door de eerdere feature-kaarten en weet nu hoe het een hogeresolutie-segmentatiemasker kan genereren, waardoor de uiteindelijke productie van het beeld wordt gefaciliteerd.

Tenslotte houdt een gespleten discriminator toezicht op de geconcateneerde distributie van zowel de RGB-beelden (die voor ons het eindresultaat zijn) als de segmentatiemaskers die hen hebben toegestaan om te worden gescheiden.

Met SemanticStyleGAN zijn er geen ongewenste visuele perturbaties wanneer ‘gezichtsfunctiewijzigingen’ worden ingesteld, omdat elk gezichtsfunctie afzonderlijk is getraind binnen het orkestratiekader.

Achtergronden vervangen

Omdat het doel van het project is om meer controle te krijgen over de gegenereerde omgeving, omvat het render-/compositieproces een achtergrondgenerator die is getraind op echte beelden.

Een overtuigende reden waarom de achtergronden niet worden meegesleept in gezichtsmanipulaties in SemanticStyleGAN is dat ze op een meer afgelegen laag zitten en compleet zijn, hoewel gedeeltelijk verborgen door de overgelegde gezichten.

Aangezien de segmentatiekaarten resulteren in gezichten zonder achtergronden, bieden deze ‘drop-in’-achtergronden niet alleen context, maar zijn ze ook geconfigureerd om passend te zijn, in termen van verlichting, voor de overgelegde gezichten.

Training en gegevens

De ‘realistische’ modellen werden getraind op de eerste 28.000 beelden in CelebAMask-HQ, die zijn omgezet naar 256×256 pixels om de trainingsruimte (d.w.z. de beschikbare VRAM, die een maximale batchgrootte per iteratie dicteert) te accommoderen.

Er werden verschillende modellen getraind en diverse tools, datasets en architecturen werden geëxperimenteerd tijdens het ontwikkelingsproces en verschillende ablatietests. Het grootste productieve model van het project had een resolutie van 512×512, getraind over 2,5 dagen op acht NVIDIA Tesla V100 GPU’s. Na training duurt de generatie van een enkel beeld 0,137 seconden op een lobe GPU zonder parallelisatie.

De meer cartoon/anime-achtige experimenten die worden gedemonstreerd in de vele video’s op de projectpagina (zie link hierboven) zijn afgeleid van verschillende populaire gezichtsgebaseerde datasets, waaronder Toonify, MetFaces en Bitmoji.

Een tijdelijke oplossing?

De auteurs beweren dat er geen reden is waarom SemanticStyleGAN niet op andere domeinen kan worden toegepast, zoals landschappen, auto’s, kerken en alle andere ‘standaard’ testdomeinen waaraan nieuwe architectuur routinematig wordt onderworpen aan het begin van hun carrière.

Echter, het artikel erkent dat als het aantal klassen toeneemt voor een domein (zoals ‘auto’, ‘straatverlichting’, ‘voetganger’, ‘gebouw’, ‘auto’ enz.), deze stuksgewijze benadering op verschillende manieren onuitvoerbaar kan worden zonder verdere werk aan optimalisatie. De CityScapes-stedelijke dataset heeft bijvoorbeeld 30 klassen over 8 categorieën.

Het is moeilijk te zeggen of het huidige interesse in het directer veroveren van de latente ruimte even gedoemd is als alchemie; of of latente codes uiteindelijk ontcijferbaar en controleerbaar zullen zijn – een ontwikkeling die deze meer ‘extern complexe’ soort benadering overbodig zou kunnen maken.