De Onbedoelde Voordelen van het Kaarten van een GAN’s Latente Ruimte

Terwijl ze probeerden de kwaliteit en geloofwaardigheid van door AI gegenereerde afbeeldingen te verbeteren, ontdekten een groep onderzoekers uit China en Australië per ongeluk een methode om de latente ruimte van een Generatief Adversarial Network (GAN) interactief te controleren – de mysterieuze berekeningsmatrix achter de nieuwe golf van beeldsynthesetechnieken die de film-, gaming- en sociale media-industrie en vele andere sectoren in de entertainment- en onderzoekssector zullen revolutioneren.

Hun ontdekking, een bijproduct van het centrale doel van het project, stelt een gebruiker in staat om willekeurig en interactief door de latente ruimte van een GAN te bladeren met een muis, alsof hij door een video scrolt of door een boek bladert.

Een uitsnede uit de begeleidende video van de onderzoekers (zie embed aan het einde van het artikel voor meer voorbeelden). Let op dat de gebruiker de transformaties manipuleert met een ‘grijp’-cursor (bovenaan links). Bron: https://www.youtube.com/watch?v=k7sG4XY5rIc

De methode gebruikt ‘hittekaarten’ om aan te geven welke delen van een afbeelding verbeterd moeten worden terwijl de GAN dezelfde dataset duizenden (of honderdduizenden) keren doorloopt. De hittekaarten zijn bedoeld om de beeldkwaliteit te verbeteren door de GAN te vertellen waar het fout gaat, zodat de volgende poging beter zal zijn; maar toevallig biedt dit ook een ‘kaart’ van de hele latente ruimte die kan worden doorzocht door een muis te bewegen.

Ruimtelijke visuele aandacht benadrukt via GradCAM, die aandacht nodig heeft door felle kleuren op te leggen. Bron: https://arxiv.org/pdf/2112.00718.pdf

Het artikel heet Verbetering van GAN-evenwicht door ruimtelijke bewustzijn te vergroten, en komt van onderzoekers aan de Chinese Universiteit van Hong Kong en de Australian National University. Naast het artikel zijn video’s en andere materialen te vinden op de projectpagina.

Het werk is nog in de kinderschoenen en momenteel beperkt tot lage resolutiebeelden (256×256), maar het is een bewijs van concept dat belooft de ‘black box’ van de latente ruimte te openen en komt op een moment dat meerdere onderzoeksprojecten aan die deur bonzen om meer controle over beeldsynthese te krijgen.

Hoewel dergelijke beelden boeiend zijn (en u er meer van kunt zien, in betere resolutie, in de video die aan het einde van dit artikel is ingebed), is het misschien nog wel belangrijker dat het project een manier heeft gevonden om de beeldkwaliteit te verbeteren en potentieel sneller te doen, door de GAN specifiek te vertellen waar het verkeerd gaat tijdens de training.

Maar, zoals Adversarial aangeeft, is een GAN geen enkel onderdeel, maar eerder een ongelijke strijd tussen autoriteit en arbeid. Om de verbeteringen te begrijpen die de onderzoekers in dit opzicht hebben gemaakt, laten we eens kijken hoe deze oorlog tot nu toe is gekarakteriseerd.

Het Ellendige Lot van de Generator

Als u ooit door de gedachte bent achtervolgd dat een geweldig nieuw kledingstuk dat u kocht in een sweatshop in een uitgebuit land is geproduceerd, of een baas of klant had die u constant zei ‘Doe het opnieuw!’ zonder ooit te vertellen wat er mis was met uw laatste poging, spaar dan een beetje medelijden voor het Generator-deel van een Generatief Adversarial Network.

De Generator is het werkpaard dat u de afgelopen vijf jaar heeft vermaakt door GAN’s te helpen fotorealistische mensen te creëren die niet bestaan, oude videogames op te schalen naar 4k-resolutie, en oude beelden om te zetten in volledige kleuren HD-uitvoer bij 60 fps, onder andere wonderbaarlijke AI-nieuwigheden.

Van het creëren van fotorealistische gezichten van niet-bestaande mensen tot het herstellen van oude beelden en het herleven van archiefvideogames, GAN is de afgelopen jaren druk geweest.

De Generator loopt door alle trainingsdata heen, één voor één, voor dagen of zelfs weken, totdat het in staat is om beelden te creëren die even overtuigend zijn als de echte foto’s die het heeft bestudeerd.

Hoe weet de Generator of het vorderingen maakt, elke keer dat het probeert een beter beeld te creëren dan zijn vorige poging?

De Generator heeft een baas van de hel.

De Meedogenloze Ondoorzichtigheid van de Discriminator

De taak van de Discriminator is om de Generator te vertellen dat het niet goed genoeg heeft gedaan om een authentiek beeld te creëren, en om ‘Doe het opnieuw’ te zeggen. De Discriminator vertelt de Generator niets over wat er mis was met de vorige poging van de Generator; het kijkt er alleen naar, vergelijkt het gegenereerde beeld met de bronbeelden (opnieuw, privé), en wijst het beeld een score toe.

De score is nooit goed genoeg. De Discriminator zal niet stoppen met zeggen ‘Doe het opnieuw’ tot de onderzoekers het uitschakelen (wanneer ze oordelen dat verdere training de uitvoer niet verder zal verbeteren).

Op deze manier, zonder enige constructieve kritiek, en gewapend met een score waarvan de meting een mysterie is, moet de Generator willekeurig raden welke delen of aspecten van het beeld een hogere score zouden hebben opgeleverd dan voorheen. Dit zal het op veel onbevredigende routes brengen voordat het iets positief genoeg verandert om een hogere score te krijgen.

De Discriminator als Leraar en Mentor

De innovatie die door het nieuwe onderzoek wordt geboden, is essentieel dat de Discriminator nu aan de Generator aangeeft welke delen van het beeld onbevredigend waren, zodat de Generator zich op die gebieden kan concentreren in zijn volgende iteratie, en niet de delen weggooit die hoger werden gewaardeerd. De aard van de relatie is veranderd van strijd naar samenwerking.

Om het verschil in inzicht tussen de Discriminator en de Generator te verhelpen, gebruikten de onderzoekers GradCAM als een mechanisme dat in staat is om de inzichten van de Discriminator om te zetten in een visuele feedbackhulp voor de volgende poging van de Generator.

De nieuwe ‘evenwicht’-trainingsmethode heet EqGAN. Voor maximale reproduceerbaarheid hebben de onderzoekers bestaande technieken en methoden op standaardinstellingen geïmplementeerd, waaronder het gebruik van de StyleGan2-architectuur.

De architectuur van EqGAN. De ruimtelijke codering van de Generator is uitgelijnd met de ruimtelijke bewustzijn van de Discriminator, met willekeurige voorbeelden van ruimtelijke hittekaarten (zie eerder beeld) die worden gecodeerd terug naar de generator via de ruimtelijke coderingslaag (SEL). GradCAM is het mechanisme waarmee de aandachtskaarten van de Discriminator beschikbaar worden gemaakt voor de generator.

GradCAM produceert hittekaarten (zie bovenstaande beelden) die de kritiek van de Discriminator op de laatste iteratie weerspiegelen en deze beschikbaar maken voor de Generator.

Zodra het model is getraind, blijft de kaart over als een artifact van dit samenwerkingsproces, maar kan ook worden gebruikt om de finale latente code op een interactieve manier te onderzoeken, zoals wordt gedemonstreerd in de projectvideo van de onderzoekers (zie onder).

EqGAN

Het project gebruikte een aantal populaire datasets, waaronder de LSUN Cat- en Churches-datasets, evenals de FFHQ-dataset. De onderstaande video bevat ook voorbeelden van faciale en feline manipulatie met EqGAN.

Alle beelden werden voorafgaand aan de training van EqGAN op de officiële implementatie van StyleGAN2 omgezet naar 256×256. Het model werd getraind met een batchgrootte van 64 over 8 GPU’s totdat de Discriminator meer dan 25 miljoen beelden had gezien.

De resultaten van het systeem werden getest op geselecteerde voorbeelden met Frechet Inception Distance (FID), en de auteurs stelden een meting genaamd Disequilibrium Indicator (DI) vast – de mate waarin de Discriminator zijn kennisvoorsprong op de Generator behoudt, met als doel om die kloof te verkleinen.

Over de drie getrainde datasets toonde de nieuwe meting een nuttige daling na het coderen van ruimtelijke bewustzijn in de Generator, met verbeterd evenwicht aangetoond door zowel FID als DI.

De onderzoekers concluderen:

‘We hopen dat dit werk kan inspireren tot meer onderzoek naar het GAN-evenwicht en dat het kan leiden tot meer innovatieve methoden om de beeldsynthesekwaliteit te verbeteren door het GAN-evenwicht te manipuleren. We zullen ook in de toekomst meer theoretisch onderzoek doen naar deze kwestie.’

En vervolgen:

‘Kwalitatieve resultaten laten zien dat onze methode succesvol is in het [concentreren van de Generator] op specifieke regio’s. Experimenten op verschillende datasets bevestigen dat onze methode de disbalans in GAN-training vermindert en de algehele beeldsynthesekwaliteit aanzienlijk verbetert. Het resulterende model met ruimtelijke bewustzijn maakt ook interactieve manipulatie van de uitvoerbeeld mogelijk.’

Kijk naar de onderstaande video voor meer informatie over het project en verdere voorbeelden van dynamische en interactieve exploratie van de latente ruimte in een GAN.

11:12am 4th Dec 2021 – Corrected URL for GradCAM and tidied up surrounding reference.