Plastisk kirurgi for GAN-genererte ansikter

Ny forskning fra Sør-Korea lover å forbedre kvaliteten på syntetisk ansiktsdata skapt av Generative Adversarial Networks (GAN).

Systemet kan identifisere bildeartefakter produsert av GAN-prosesser og rette dem, selv til punktet hvor håret som var skjult av en lue erstattes, deler av ansiktet som mangler i originalen erstattes, og okklusjoner som hender og solbriller fjernes, og fungerer også godt på sceniske og arkitektoniske utdata.

Venstre for hver kolonne, det originale GAN-utdata med feil, fulgt av to andre tilnærminger til artefaktene, og til slutt av metoden brukt av de sørkoreanske forskerne. Kilde: https://arxiv.org/pdf/2104.06118.pdf

De fleste nyere tilnærminger til å forbedre kvaliteten på GAN-genererte bilder har tatt standpunktet at artefakter er en yrkesmessig fare ved prosessen, og behandlet metoden som en ‘naturkraft’, og de mer psykedeliske eller avvikende resultater den kan produsere som en uunngåelig biprodukt.

I stedet foreslår den sørkoreanske forskningen å faktisk ‘fikse’ berørte bilder på en måte som ikke forstyrer den fortsatte generative kjeden, ved å identifisere aspekter som forårsaker artefakter og redusere eller eliminere deres innflytelse i GAN-nettverket på et semi-overvåket nivå som overstiger og utvider de native selvkorrektive mekanismene i GAN-arkitekturen.

For prosjektet var det nødvendig å opprette en bredt anvendelig håndmerket datasett av bilder som var hardt berørt av GAN-artefakter. Først brukte forskerne Frechet Inception Distance (FID), en metric som vurderer kvaliteten på GAN-utdata ved å sammenligne funksjoner i bildene, som en kvalifiseringsenhet. De 10 000 bildene med de høyeste FID-poengene blant en kjøring av 200 000 bilder ble brukt som diskrete ‘artefakt-enheter’. Deretter merket forskerne hånd 2 000 genererte bilder, klassifiserte hver som ‘normal’ eller berørt av FID-artefakter. Så ble en modell opprettet for å klassifisere datasettet i artefakt, normal og tilfeldige virkelige eksempler.

Etter dette ble Gradient-weighted Class Activation Mapping (Grad-CAM) brukt til å generere masker for artefakt-påvirkede regioner, effektivt automatiserende merking av feil.

I bildet over er Grad-CAM-maskene blitt brukt til utdata fra LSUN-Church outdoor-datasettet og CelebA-HQ-datasettet.

Ved å analysere de 20 mest rammede resultater fra en kjøring av 20 000 bilder, genereres segmenteringsmasker, inn i hvilke områdets representative resultater over generasjonene (som sannsynligvis er mer nøyaktige eller overbevisende enn artefaktene) kan erstattes ved å senke aktiveringen av artefakt-produserende enheter i påfølgende generasjoner.

Menneskelig evaluering av korreksjonene resulterte i at 53% av de ‘reparerte’ bildene ble merket som ‘normalt’, mens 97% av de originale bildene fortsatt viser betydelige forbedringer sammenlignet med originalene.

Forskerne hevder at denne metoden, med noen mindre omverkning, også kan tilpasses NVIDIA’s StyleGAN2.

Fordelene med syntetisk data

Primært i forhold til ansiktsdata, er den generelle mangelen på virkelige verdens datasett for datavisning en hindring for mangfoldig forskning i viktige forskningssektorer, som ansiktsgjenkjenning, emosjonsgjenkjenning, medisinsk forskning og studier om mer detaljert segmentering av ansiktets topologi, blant andre felt.

Den nåværende reaksjonen mot fri bruk av web-orientert data og den ad hoc-innsamlingen av virkelige ansiktsbilder for inklusjon i ansiktsdatabaser er en ekstra hindring for forskning, med en økende antall stater og nasjoner som slår ned på web-scraping, og tilknytning av sosiale mediebilder for disse formålene.

Over de siste ti årene har et begrenset antall høyt kurerte ansiktsdatasett tilbudt en flukt fra denne usikkerheten, med forskjellige årlige offentlige forskningsutfordringer sentrert rundt dem. Imidlertid har dette trolig ført til at forskningsprosjektene har skjevhet sine metoder spesifikt mot disse datasettene, med konsistente og sammenlignbare årlige resultater oppnådd til en høy kostnad av mangelen på mangfold i killematerialet – en situasjon som blir verre hvert år som ny forskning begrenser seg til disse grensene.

I tillegg har noen av disse ‘tradisjonelle’ datasettene kommet under kritikk for mangelen på rase-mangfold, noe som antyder at disse benchmark-stolper ikke lenger kan anses som egnet ressurser i nær fremtid.

Dette indikerer behovet for høykvalitets ansiktsdata som er realistisk, men hvor de bidragende ‘virkelige’ bildene har blitt transformert langt utenfor gjenkjennelse. Selv om denne bruken av virkelige ansiktsdata ‘på ett steg’ kan utløse problemer over proveniens av GAN-genererte ansikter, er det en hindring som ikke sannsynligvis vil oppstå før lovmessige og tekniske mekanismer for datainnsamling av denne typen har blitt etablert; og, i forhold til mulige endringer i lovmessige rammer rundt problemet, er det fortsatt en mindre fare enn å bruke bilder av virkelige mennesker.

Videre lesning:

Forbedring av realismen i syntetiske bilder
Automatisk korreksjon av interne enheter i generative neurale nettverk