Den uventede fordelen ved å kartlegge en GANs latente rom

Mens de prøvde å forbedre kvaliteten og troverdigheten av AI-genererte bilder, oppdaget en gruppe forskere fra Kina og Australia en metode for å interaktivt kontrollere den latente rommen i en Generative Adversarial Network (GAN) – den mystiske beregningsmatrisen bak den nye bølgen av bilde-synteseteknikker som vil revolusjonere film, spill, sosiale medier og mange andre sektorer i underholdning og forskning.

Deres oppdagelse, en biprodukt av prosjektets sentrale mål, tillater en bruker å arbitrært og interaktivt utforske en GANs latente rom med en mus, som om man blar gjennom en video eller en bok.

Et utdrag fra forskernes tilhørende video (se innlegg ved slutten av artikkelen for mange flere eksempler). Merk at brukeren manipulerer transformasjonene med en ‘grab’-kursor (øverst til venstre). Kilde: https://www.youtube.com/watch?v=k7sG4XY5rIc

Metoden bruker ‘varmekart’ for å indikere hvilke områder av et bilde som bør forbedres mens GAN kjører gjennom samme datasett tusener (eller hundredtusener) av ganger. Varmekartene er ment å forbedre bildekvaliteten ved å fortelle GAN hvor det går galt, så at dens neste forsøk vil være bedre; men, samtidig, gir dette også en ‘karte’ over hele den latente rommen som kan bli gjennomgått ved å flytte en mus.

Romlig visuell oppmerksomhet betonet via GradCAM, som indikerer områder som trenger oppmerksomhet ved å påføre lyse farger. Kilde: https://arxiv.org/pdf/2112.00718.pdf

Artikkelen hefter heter Forbedring av GAN-likning ved å øke romlig oppmerksomhet, og kommer fra forskere ved det kinesiske universitetet i Hong Kong og det australske nasjonale universitetet. I tillegg til artikkelen, video og annet materiale kan finnes på prosjektets side.

Arbeidet er i embyonal fase, og er for tiden begrenset til lavoppløselige bilder (256×256), men er et bevis på at det kan åpne opp ‘svarteboksen’ i den latente rommen, og kommer på et tidspunkt når flere forskningsprosjekter banker på døren i jakten på større kontroll over bilde-syntese.

Til tross for at slike bilder er engasjerende (og du kan se mer av dem, i bedre oppløsning, i videoen som er innlemmet i slutten av denne artikkelen), er det kanskje mer betydningsfullt at prosjektet har funnet en måte å forbedre bildekvaliteten, og potensielt å gjøre det raskere, ved å fortelle GAN spesifikt hvor det går galt under treningen.

Men, som Adversarial indikerer, er en GAN ikke en enkelt enhet, men heller en ulik kamp mellom myndighet og slit. For å forstå hvilke forbedringer forskerne har gjort i denne hensikt, la oss se på hvordan denne krigen har blitt karakterisert til nå.

Den elendige skjebnen til generatoren

Hvis du noen gang har blitt forfulgt av tanken på at noen nye klær du kjøpte ble produsert i en sweatshop i et utnyttet land, eller hadde en sjef eller kunde som stadig sa ‘Gjør det igjen!’ uten å fortelle deg hva som var galt med ditt siste forsøk, spar en liten smule medlidenhet for generatoren i en Generativ Adversarial Network.

Generatoren er arbeidshesten som har gledest deg i løpet av de siste fem eller seks årene ved å hjelpe GANer å lage fotorealistiske mennesker som ikke eksisterer, oppgradere gamle videospill til 4k-oppløsning, og omdanne hundre år gamle film til full-fargede HD-utgang ved 60fps, blant andre vidunderlige AI-nyheter.

Fra å lage fotorealistiske ansikter av ikke-eksisterende mennesker til å gjenopprette gamle film og gjenopplive arkiv-videospill, har GAN vært opptatt i løpet av de siste årene.

Generatoren kjører gjennom all treningdata igjen og igjen (slik som bilder av ansikter, for å lage en GAN som kan lage bilder av tilfeldige, ikke-eksisterende mennesker), ett bilde av gangen, i dager eller uker, til den er i stand til å lage bilder som er like overbevisende som de ekte bildene den studerte.

Hvordan vet generatoren at den gjør noen fremgang, hver gang den prøver å lage et bilde som er bedre enn sitt forrige forsøk?

Generatoren har en sjef fra helvete.

Den ubarmhjertige uigjennomtrengeligheten til diskriminatoren

Diskriminatorens jobb er å fortelle generatoren at den ikke gjorde det godt nok i å lage et bilde som er autentisk i forhold til de originale dataene, og å gjøre det igjen. Diskriminatoren forteller ikke generatoren hva som var galt med generatoren siste forsøk; den tar bare en hemmelig titt på det, sammenligner det genererte bildet med kildebildene (igjen, hemmelig), og tildeler bildet en score.

Scoren er aldri god nok. Diskriminatoren vil ikke slutte å si ‘Gjør det igjen’ før forskerne slår den av (når de dømmer at ytterligere trening ikke vil forbedre utgangen).

På denne måten, uten noen konstruktiv kritikk, og bare med en score hvis mål er en hemmelighet, må generatoren tilfeldig gjette hvilke deler eller aspekter av bildet som forårsaket en høyere score enn før. Dette vil føre den ned mange flere utilfredsstillende veier før den endrer noe positivt nok til å få en høyere score.

Diskriminatoren som lærer og mentor

Innovasjonen som er gitt av den nye forskningen er essensielt at diskriminatoren nå indikerer til generatoren hvilke deler av bildet som var utilfredsstillende, så generatoren kan fokusere på disse områdene i sitt neste forsøk, og ikke kaste bort delene som ble vurdert høyere. Naturen til forholdet har endret seg fra konfliktfylt til samarbeidende.

For å rette opp ulikheten i innsikt mellom diskriminatoren og generatoren, brukte forskerne GradCAM som en mekanisme i stand til å formulere diskriminatorens innsikt i en visuell tilbakemeldingshjelp for generatoren sitt neste forsøk.

Den nye ‘likevekt’-treningmetoden kalles EqGAN. For maksimal reproduserbarhet, inkorporerte forskerne eksisterende teknikker og metoder med standardinnstillinger, inkludert bruk av StyleGan2-arkitekturen.

EqGANs arkitektur. Generatorens romlige encoding er justert til diskriminatorens romlige oppmerksomhet, med tilfeldige eksempler på romlige varmekart (se tidligere bilde) kodet tilbake til generatoren via den romlige encoding-lag (SEL). GradCAM er mekanismen som gjør diskriminatorens oppmerksomhetskart tilgjengelig for generatoren.

GradCAM produserer varmekart (se ovenfor bilder) som reflekterer diskriminatorens kritikk av siste forsøk, og gjør dette tilgjengelig for generatoren.

Når modellen er trent, forblir kartet som en rest av denne samarbeidsprosessen, men kan også brukes til å utforske den endelige latente koden på en interaktiv måte, som demonstrert i forskernes prosjektvideo (se under).

EqGAN

Prosjektet brukte en rekke populære datasett, inkludert LSUN Cat og Churches-datasettene, samt FFHQ-datasettet. Videoen under viser også eksempler på ansikts- og feline-manipulasjon med EqGAN.

Alle bilder ble størrelsesendret til 256×256 før EqGAN ble trent på den offisielle implementeringen av StyleGAN2. Modellen ble trent med en batch-størrelse på 64 over 8 GPUer til diskriminatoren hadde blitt eksponert for over 25 millioner bilder.

Testene av resultater av systemet over utvalgte eksempler med Frechet Inception Distance (FID), etablerte forfatterne en metode kalt Disequilibrium Indicator (DI) – graden til hvilken diskriminatoren beholder sin kunnskapsfordel over generatoren, med målet å snevre denne gapen.

Over de tre datasettene som ble trent, viste den nye metoden en nyttig nedgang etter å ha kodet romlig oppmerksomhet inn i generatoren, med forbedret likevekt demonstrert av både FID og DI.

Forskerne konkluderer:

‘Vi håper at dette arbeidet kan inspirere flere arbeider med å se på GAN-likningen og utvikle nye metoder for å forbedre bilde-syntese-kvaliteten gjennom å manøvrere GAN-likningen. Vi vil også gjennomføre mer teoretisk undersøkelse på dette spørsmålet i fremtidens arbeid.’

Og fortsetter:

‘Kvalitative resultater viser at vår metode suksessfullt [tvinger generatoren] til å konsentrere seg om bestemte regioner. Eksperimenter på ulike datasett bekrefter at vår metode mildner den utilikningen i GAN-trening og forbedrer vesentlig bilde-syntese-kvaliteten. Den resulterende modellen med romlig oppmerksomhet muliggjør også interaktiv manipulering av utgangsbildet.’

Se videoen under for mer informasjon om prosjektet og flere eksempler på dynamisk og interaktiv utforsking av den latente rommen i en GAN.

11:12am 4. des. 2021 – Rettet URL for GradCAM og ryddet opp omkringliggende referanse.