Den uventede fordel ved at kortlægge en GAN’s latente rum

Mens de forsøgte at forbedre kvaliteten og troværdigheden af AI-genererede billeder, opdagede en gruppe forskere fra Kina og Australien utilsigtet en metode til at interaktivt kontrollere det latente rum af en Generativ Adversarial Network (GAN) – den mystiske beregningsmatrix bag den nye bølge af billedsynthesis-teknikker, der er på vej til at revolutionere film, spil, sociale medier og mange andre sektorer i underholdning og forskning.

Deres opdagelse, en biprodukt af projektets centrale mål, giver brugeren mulighed for at arbitrært og interaktivt udforske et GAN’s latente rum med en mus, som om man scrubber gennem en video eller bladrer igennem en bog.

Et uddrag fra forskernes ledsagende video (se embed nedenfor). Bemærk, at brugeren manipulerer transformationerne med en ‘grab’ cursor (øverst til venstre). Kilde: https://www.youtube.com/watch?v=k7sG4XY5rIc

Metoden bruger ‘varme-kort’ til at angive, hvilke områder af et billede der skal forbedres, mens GAN’en kører gennem samme datasæt tusinder (eller hundredetusinder) af gange. Varme-kortene er tiltænkt at forbedre billedkvaliteten ved at fortælle GAN’en, hvor den går galt, så dens næste forsøg vil være bedre; men samtidig giver det også en ‘kortlægning’ af hele det latente rum, der kan gennemgås ved at flytte en mus.

Rumlig visuel opmærksomhed fremhævet via GradCAM, der angiver områder, der kræver opmærksomhed ved at påføre lyse farver. Kilde: https://arxiv.org/pdf/2112.00718.pdf

Artiklen hedder Forbedring af GAN-ligevægt ved at øge rumlig opmærksomhed og kommer fra forskere ved det kinesiske universitet i Hong Kong og det australske nationale universitet. Ud over artiklen kan video og andet materiale findes på projektets side.

Arbejdet er i sin begyndelse, og er i øjeblikket begrænset til lavopløselige billeder (256×256), men er en bevis for, at det er muligt at åbne ‘sorte boks’ af det latente rum og kommer på et tidspunkt, hvor flere forskningsprojekter banker på døren for at få større kontrol over billedsynthesis.

Selvom sådanne billeder er interessante (og du kan se mere af dem i bedre opløsning i videoen nedenfor), er det måske endnu mere betydningsfuldt, at projektet har fundet en måde til at forbedre billedkvaliteten og potentielt gøre det hurtigere, ved at fortælle GAN’en specifikt, hvor den går galt under træningen.

Men, som Adversarial antyder, er en GAN ikke en enkelt enhed, men snarere en uligevægtig konflikt mellem autoritet og slid. For at forstå, hvilke forbedringer forskerne har gjort på dette punkt, skal vi se på, hvordan denne krig er blevet karakteriseret indtil nu.

Den elendige situation for Generatoren

Hvis du nogensinde har været forfulgt af tanken om, at et nyt tøj, du har købt, blev produceret i en svedshop i et udnyttet land, eller havde en chef eller klient, der hele tiden sagde “Gør det igen!” uden at fortælle dig, hvad der var galt med dit sidste forsøg, spar lidt medlidenhed med Generatoren-delen af en Generativ Adversarial Network.

Generatoren er den arbejdshest, der har moret dig i de sidste fem år eller så ved at hjælpe GAN’er med at skabe fotorealistiske mennesker, der ikke eksisterer, opgradere gamle videospil til 4k-opløsning og omdanne hundredårige optagelser til fuld farve HD-udgang ved 60fps, blandt andre vidunderlige AI-nyheder.

Fra at skabe fotorealistiske ansigter af ikke-eksisterende mennesker til at genskabe gamle optagelser og genoplive arkiv-videospil, har GAN været beskæftiget i de sidste år.

Generatoren kører gennem alle træningsdata igen og igen (såsom billeder af ansigter for at skabe en GAN, der kan skabe billeder af tilfældige, ikke-eksisterende mennesker), ét billede ad gangen, i dage eller endda uger, indtil den kan skabe billeder, der er lige så overbevisende som de ægte billeder, den studerede.

Hvordan ved Generatoren, at den gør fremskridt, hver gang den prøver at skabe et billede, der er bedre end dens foregående forsøg?

Generatoren har en chef fra helvede.

Den ubarmhjertige uigennemsigtighed af Diskriminatoren

Diskriminatoren har til opgave at fortælle Generatoren, at den ikke gjorde det godt nok i at skabe et billede, der er autentisk i forhold til de oprindelige data, og at Gør det igen. Diskriminatoren fortæller ikke Generatoren hvad der var galt med Generatoren sidste forsøg; den tager blot en privat kig på det, sammenligner det genererede billede med kildebillederne (igen privat) og tildeler billedet en score.

Scoren er aldrig god nok. Diskriminatoren vil ikke stoppe med at sige ‘Gør det igen’ indtil forskerne slår den fra (når de bedømmer, at yderligere træning ikke vil forbedre outputtet yderligere).

På denne måde, uden nogen konstruktiv kritik, og kun væbnet med en score, hvis målestok er en hemmelighed, må Generatoren tilfældigt gætte, hvilke dele eller aspekter af billedet forårsagede en højere score end før. Dette vil føre den ned ad mange yderligere utilfredsstillende veje, før den ændrer noget positivt nok til at få en højere score.

Diskriminatoren som lærer og mentor

Innovationen, der er tilføjet af den nye forskning, er essentielt, at Diskriminatoren nu angiver til Generatoren hvilke dele af billedet var utilfredsstillende, så Generatoren kan fokusere på disse områder i sin næste iteration, og ikke smide væk de dele, der blev vurderet højere. Naturen af forholdet er ændret fra konflikt til samarbejde.

For at afhjælpe uligheden i indsigt mellem Diskriminatoren og Generatoren brugte forskerne GradCAM som en mekanisme, der kan formulerer Diskriminatoren indsigt i en visuel feedback-hjælp til Generatoren næste forsøg.

Den nye ‘ligevægt’-træningsmetode kaldes EqGAN. For maksimal reproducerbarhed inkorporerede forskerne eksisterende teknikker og metoder ved standardindstillinger, herunder brugen af StyleGan2-arkitekturen.

EqGAN’s arkitektur. Generatoren rumlige encoding er aligneret med Diskriminatoren rumlige opmærksomhed, med tilfældige eksempler på rumlige varme-kort (se tidligere billede) encoderet tilbage i Generatoren via den rumlige encoding-lag (SEL). GradCAM er mekanismen, hvormed Diskriminatoren attention-kort er tilgængelige for Generatoren.

GradCAM producerer varme-kort (se ovenstående billeder), der afspejler Diskriminatoren kritik af den seneste iteration, og gør dette tilgængeligt for Generatoren.

Når modellen er trænet, forbliver kortlægningen som en artifact af dette samarbejdende proces, men kan også bruges til at udforske den endelige latente kode på den interaktive måde, der demonstreres i forskernes projektvideo (se nedenfor).

EqGAN

Projektet brugte en række populære datasæt, herunder LSUN Cat og Churches datasæt, samt FFHQ-datasættet. Videoen nedenfor viser også eksempler på facial og feline manipulation ved hjælp af EqGAN.

Alle billeder blev omskaleret til 256×256 før træning af EqGAN på den officielle implementation af StyleGAN2. Modellen blev trænet med en batch-størrelse på 64 over 8 GPU’er, indtil Diskriminatoren havde været udsat for over 25 millioner billeder.

Test af resultaterne af systemet over udvalgte eksempler med Frechet Inception Distance (FID), etablerede forfatterne en metrik kaldet Disequilibrium Indicator (DI) – graden af, hvori Diskriminatoren fastholder sin videnfordel over Generatoren, med det formål at mindske denne afstand.

Over de tre datasæt, der blev trænet, viste den nye metrik en nyttig nedgang efter encoding af rumlig opmærksomhed i Generatoren, med forbedret ligevægt demonstreret af både FID og DI.

Forskerne konkluderer:

‘Vi håber, at dette arbejde kan inspirere mere arbejde med at genoverveje GAN-ligevægten og udvikle mere nytte metoder til at forbedre billedsynthesis-kvaliteten ved at manøvrere GAN-ligevægten. Vi vil også gennemføre mere teoretisk undersøgelse af dette spørgsmål i fremtidigt arbejde.’

Og fortsætter:

‘Kvalitative resultater viser, at vores metode succesfuldt [tvinger Generatoren] til at koncentrere sig om bestemte områder. Eksperimenter på forskellige datasæt validerer, at vores metode mildner den utilstrækkelige ligevægt i GAN-træning og forbedrer billedsynthesis-kvaliteten betydeligt. Den resulterende model med rumlig opmærksomhed giver også mulighed for interaktiv manipulation af output-billedet.’

Se videoen nedenfor for mere information om projektet og yderligere eksempler på dynamisk og interaktiv udforskning af det latente rum i en GAN.

11:12am 4th Dec 2021 – Rettede URL for GradCAM og ryddede op i omgivende reference.