Den oavsiktliga fördelen med att kartlägga en GAN:s latenta utrymme

Medan de försökte förbättra kvaliteten och trovärdigheten hos AI-genererade bilder upptäckte en grupp forskare från Kina och Australien oavsiktligt en metod för att interaktivt kontrollera den latenta utrymmet i en Generativ Adversarial Network (GAN) – den mystiska beräkningsmatrisen bakom den nya vågen av bildsyntestekniker som kommer att revolutionera film, spel, sociala medier och många andra sektorer inom underhållning och forskning.

Deras upptäckt, en biprodukt av projektets centrala mål, tillåter en användare att godtyckligt och interaktivt utforska en GAN:s latenta utrymme med en mus, som om man bläddrar genom en video eller bläddrar genom en bok.

Ett utdrag från forskarnas medföljande video (se inbäddad video i slutet av artikeln för fler exempel). Observera att användaren manipulerar transformationerna med en ‘grab’-markör (överst till vänster). Källa: https://www.youtube.com/watch?v=k7sG4XY5rIc

Metoden använder ‘värmekartor’ för att indikera vilka områden av en bild som bör förbättras medan GAN körs genom samma dataset tusentals (eller hundratusentals) gånger. Värmekartorna är avsedda att förbättra bildkvaliteten genom att tala om för GAN var den har fel, så att dess nästa försök blir bättre; men samtidigt tillhandahåller detta också en ‘karta’ över hela det latenta utrymmet som kan bläddras genom med en mus.

Rumslig visuell uppmärksamhet betonad via GradCAM, som indikerar områden som behöver uppmärksamhet genom att pålägga ljusa färger. Källa: https://arxiv.org/pdf/2112.00718.pdf

Artikeln heter Improving GAN Equilibrium by Raising Spatial Awareness och kommer från forskare vid Chinese University of Hong Kong och Australian National University. Utöver artikeln finns video och annat material på projektets webbplats.

Arbetet är i sin linda, och för närvarande begränsat till lågupplöst bildmaterial (256×256), men är ett bevis på koncept som lovar att bryta upp ‘svarta lådan’ i det latenta utrymmet, och kommer vid en tidpunkt då flera forskningsprojekt slår på dörren i jakten på större kontroll över bildsyntes.

Även om sådana bilder är engagerande (och du kan se fler av dem, i bättre upplösning, i videon som är inbäddad i slutet av den här artikeln), är vad som kanske är ännu viktigare att projektet har hittat ett sätt att skapa förbättrad bildkvalitet, och potentiellt att göra det snabbare, genom att tala om för GAN specifikt var den har fel under utbildningen.

Men, som Adversarial antyder, är en GAN inte en enda enhet, utan snarare en ojämn konflikt mellan auktoritet och slit. För att förstå vilka förbättringar forskarna har gjort i detta avseende, låt oss titta på hur denna krig har karakteriserats hittills.

Den bedrövliga situationen för generatoren

Om du någonsin har blivit besatt av tanken att någon stor ny artikel du köpte tillverkades i en svetshop i ett utnyttjat land, eller hade en chef eller kund som ständigt sa till dig att ‘Gör om det!’ utan att någonsin tala om vad som var fel med ditt senaste försök, skona en tanke för generatoren i en Generativ Adversarial Network.

Generatoren är den slitstarke arbetare som har glatt dig under de senaste fem eller så åren genom att hjälpa GAN skapa fotorealistiska människor som inte existerar, uppgradera gamla videospel till 4k-upplösning, och förvandla sekelsgamla film till fullfärgs-HD-utdata i 60 fps, bland andra underverk av AI-nyheter.

Från att skapa fotorealistiska ansikten av icke-existerande människor till att återställa antika film och återuppliva arkiv-videospel, har GAN varit upptagen under de senaste åren.

Generatoren körs genom all utbildningsdata igen och igen (såsom bilder av ansikten, för att skapa en GAN som kan skapa foton av slumpmässiga, icke-existerande människor), en bild i taget, under dagar eller till och med veckor, tills den kan skapa bilder som är lika övertygande som de äkta foton den studerade.

Så hur vet generatoren att den gör några framsteg, varje gång den försöker skapa en bild som är bättre än dess föregående försök?

Generatoren har en chef från helvetet.

Discriminatorens obevekliga ogenomskinlighet

Discriminatorens uppgift är att tala om för generatoren att den inte gjorde tillräckligt bra ifrån sig för att skapa en bild som är äkta för den ursprungliga datan, och att Gör om det!. Discriminatoren berättar inte för generatoren vad som var fel med generatorns senaste försök; den tar bara en privat titt på det, jämför den genererade bilden med källbilderna (igen, privat), och tilldelar bilden en poäng.

Poängen är aldrig tillräckligt bra. Discriminatoren kommer inte att sluta säga ‘Gör om det!’ tills forskarna stänger av den (när de bedömer att ytterligare utbildning inte kommer att förbättra utdata något mer).

På detta sätt, utan någon konstruktiv kritik, och beväpnad endast med en poäng vars mått är ett mysterium, måste generatoren slumpmässigt gissa vilka delar eller aspekter av bilden som orsakade en högre poäng än tidigare. Detta kommer att leda den nedåt många fler otillfredsställande vägar innan den ändrar något tillräckligt positivt för att få en högre poäng.

Discriminatoren som lärare och mentor

Innovationen som tillhandahålls av den nya forskningen är i princip att discriminatoren nu indikerar för generatoren vilka delar av bilden som var otillfredsställande, så att generatoren kan fokusera på dessa områden i sin nästa iteration, och inte kasta bort de delar som fick en högre poäng. Karaktären på relationen har förändrats från stridig till samarbetsvillig.

För att avhjälpa olikheten i insikt mellan discriminatoren och generatoren använde forskarna GradCAM som en mekanism som kan formulera discriminatorens insikter i en visuell återkopplingshjälp för generatorns nästa försök.

Den nya ‘jämvikts’-träningsmetoden kallas EqGAN. För maximal reproducerbarhet inkorporerade forskarna befintliga tekniker och metoder med standardinställningar, inklusive användning av StyleGan2-arkitekturen.

EqGAN:s arkitektur. Generatorns rumsliga kodning är anpassad till discriminatorens rumsliga medvetenhet, med slumpmässiga prover av rumsliga värmebilder (se tidigare bild) kodade tillbaka till generatoren via den rumsliga kodningslagret (SEL). GradCAM är mekanismen genom vilken discriminatorens uppmärksamhetskartor görs tillgängliga för generatoren.

GradCAM producerar värmebilder (se ovanstående bilder) som återger discriminatorens kritik av den senaste iterationen, och gör detta tillgängligt för generatoren.

När modellen är tränad, förblir kartan som en artefakt av denna samarbetsprocess, men kan också användas för att utforska den slutliga latentkoden på det interaktiva sätt som visas i forskarnas projektvideo (se nedan).

EqGAN

Projektet använde ett antal populära dataset, inklusive LSUN Cat och Churches-dataset, samt FFHQ-datasetet. Videon nedan visar också exempel på ansikts- och kattmanipulation med EqGAN.

Alla bilder storleksändrades till 256×256 före utbildning av EqGAN på den officiella implementeringen av StyleGAN2. Modellen tränades med en batchstorlek på 64 över 8 GPU:er tills discriminatoren hade exponerats för över 25 miljoner bilder.

Testning av resultaten från systemet över utvalda prover med Frechet Inception Distance (FID), etablerade författarna en metric som kallas Disequilibrium Indicator (DI) – graden till vilken discriminatoren behåller sin kunskapsfördel över generatoren, med målet att minska den klyftan.

Över de tre dataset som tränades, visade den nya metriken en användbar minskning efter att rumslig medvetenhet kodats in i generatoren, med förbättrad jämvikt demonstrerad av både FID och DI.

Forskarna slutsats:

‘Vi hoppas att detta arbete kan inspirera fler arbeten att ompröva GAN-jämvikten och utveckla fler nya metoder för att förbättra bildsyntesens kvalitet genom att manövrera GAN-jämvikten. Vi kommer också att genomföra mer teoretisk undersökning av denna fråga i framtida arbete.’

Och fortsätter:

‘Kvalitativa resultat visar att vår metod framgångsrikt [tvingar generatoren] att fokusera på specifika områden. Experiment på olika dataset validerar att vår metod mildrar obalansen i GAN-utbildning och förbättrar avsevärt den övergripande bildsyntesens kvalitet. Den resulterande modellen med rumslig medvetenhet möjliggör också interaktiv manipulation av utdata-bilden.’

Ta en titt på videon nedan för mer information om projektet och fler exempel på dynamisk och interaktiv utforskning av det latenta utrymmet i en GAN.

11:12am 4th Dec 2021 – Rättad URL för GradCAM och städade upp omgivande referens.