Oprettelse af en brugerdefineret Generative Adversarial Network med skitser

Forskere fra Carnegie Mellon og MIT har udviklet en ny metode, der giver brugeren mulighed for at oprette en brugerdefineret Generative Adversarial Network (GAN) billedskabningssystem ved blot at tegne indicative skitser.

Et system af denne type kan give brugeren mulighed for at oprette billedskabningssystemer, der kan generere meget specifikke billeder, såsom bestemte dyr, bygningstyper – og endda enkeltpersoner. For tiden producerer de fleste GAN-genereringssystemer bredt og ret tilfældigt output, med begrænset mulighed for at specificere bestemte karakteristika, såsom dyrearter, hårtypes hos mennesker, arkitekturstilarter eller faktiske ansigtskarakteristika.

Tilgangen, der er beskrevet i artiklen Tegn din egen GAN, anvender en ny tegnegrænseflade som en effektiv ‘søgefunktion’ til at finde funktioner og klasser i ellers overfyldte billed databaser, der kan indeholde tusinder af objektyper, herunder mange underkategorier, der ikke er relevante for brugernes hensigter. GAN’en trænes herefter på denne filtrerede undermængde af billeder.

Ved at tegne det specifikke objekttype, som brugeren ønsker at kalibrere GAN’en til, bliver rammevirkningens generative evner specialiseret til denne klasse. For eksempel, hvis en bruger ønsker at oprette en ramme, der genererer en bestemt type kat (i stedet for bare en hvilken som helst kat, som kan fås med This Cat Does Not Exist), fungerer brugerens input-tegninger som en filter til at udelukke ikke-relevante katte-klasser.

Kilde: https://peterwang512.github.io/GANSketching/

Forskningen er ledet af Sheng Yu-Wang fra Carnegie Mellon University, sammen med kollega Jun-Yan Zhu og David Bau fra MIT’s Computer Science & Artificial Intelligence Laboratory.

Metoden selv kaldes ‘GAN-tegning’, og anvender input-tegningerne til direkte at ændre vægtningen af en ‘skabelon’ GAN-model til specifikt at målrette den identificerede domæne eller underdomæne gennem cross-domæne adversarial tab.

Forskellige reguleringmetoder blev undersøgt for at sikre, at modellens output er divers, samtidig med at den opretholder en høj billedkvalitet. Forskerne oprettede prøveapplikationer, der kan interpolere latent rum og udføre billedredigering.

Dette [$class] eksisterer ikke

GAN-baserede billedgenereringsystemer er blevet en mode, hvis ikke en meme, i de sidste par år, med en udbredelse af projekter, der kan generere billeder af ikke-eksisterende ting, herunder mennesker, lejelejligheder, snacks, fødder, heste, politikere og insekter, blandt mange andre.

GAN-baserede billedsynthesesystemer oprettes ved at samle eller kuratere omfattende datasæt, der indeholder billeder fra måldomænet, såsom ansigter eller heste; træne modeller, der generaliserer en række funktioner på tværs af billederne i databasen; og implementere generator-moduler, der kan producere tilfældige eksempler baseret på de lænte funktioner.

Output fra skitser i DeepFacePencil, der giver brugeren mulighed for at oprette fotorealistiske ansigter fra skitser. Mange lignende skitse-til-billede-projekter findes.

Højdimensionelle funktioner er blandt de første, der konkreteres under træningsprocessen, og svarer til en malers første brede penselstrøg på en canvas. Disse højdimensionelle karakteristika vil til sidst korrelerer med langt mere detaljerede funktioner (dvs. øjneglans og skarpe vibrer på en kat, i stedet for bare en generisk beige klod, der repræsenterer hovedet).

Jeg ved, hvad du mener…

Ved at kortlægge forholdet mellem disse tidlige seminale former og de endelige detaljerede fortolkninger, der opnås meget senere i træningsprocessen, er det muligt at slutte forhold mellem ‘vage’ og ‘specifikke’ billeder, hvilket giver brugeren mulighed for at oprette komplekse og fotorealistiske billeder fra grove skitser.

For nylig udgav NVIDIA en desktop-version af deres langsigtede GauGAN-forskning i GAN-baseret landskabsgenerering, der let demonstrerer denne princip:

Omtrentlige skitser oversættes til rigtige landskabsbilleder via NVIDIA’s GauGAN og nu NVIDIA Canvas-applikationen. Kilde: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Ligeledes har flere systemer, såsom DeepFacePencil, anvendt samme princip til at oprette skitse-induceret fotorealistisk billedgenerering for forskellige domæner.

Arkitekturen af DeepFacePencil.

Forenkling af skitse-til-billede

Den nye artikels GAN-tegningstilgang søger at fjerne den betydelige byrde af dataindsamling og kuratering, der normalt er involveret i udviklingen af GAN-billedrammer, ved at anvende brugerinput til at definere, hvilken undermængde af billeder, der skal udgøre træningsdataene.

Systemet er designet til at kræve kun en lille mængde input-skitser for at kalibrere rammen. Systemet omvender effektivt funktionaliteten af PhotoSketch, et fælles forskningsinitiativ fra 2019 af forskere fra Carnegie Mellon, Adobe, Uber ATG og Argo AI, der er inkorporeret i det nye arbejde. PhotoSketch var designet til at oprette kunstneriske skitser fra billeder og indeholder allerede den effektive kortlægning af vagt>specifik billedskabelse-forhold.

For genereringsdelen af processen ændrer den nye metode kun vægtningen af StyleGAN2. Da billeddataene, der anvendes, kun er en undermængde af den samlede tilgængelige data, får modificering af kortlægningsnetværket ønskede resultater.

Metoden blev evaluereet på en række populære underdomæner, herunder heste, kirker og katte.

Princeton Universitets 2016 LSUN-datasæt blev anvendt som det centrale materiale, hvorfra at udlede mål-underdomæner. For at etablere et skitse-kortlægningsystem, der er robust over for de ekscentriciteter af virkelige brugerinput-skitser, trænes systemet på billeder fra QuickDraw-datasættet udviklet af Microsoft mellem 2021-2016.

Selv om skitse-kortlægningen mellem PhotoSketch og QuickDraw er ret forskellige, fandt forskerne, at deres rammevirkning lykkes godt i at overskride dem ret let på relativt simple stillinger, selv om mere komplicerede stillinger (såsom katte, der ligger ned) viser sig at være en større udfordring, mens meget abstrakt brugerinput (dvs. overordentligt grove tegninger) også hæmmer kvaliteten af resultaterne.

Latent rum og naturlig billedredigering

Forskerne udviklede to applikationer baseret på det centrale arbejde: latent rum-redigering og billedredigering. Latent rum-redigering tilbyder fortolkelige brugerkontroller, der faciliteres på træningstidspunktet, og giver en bred grad af variation, samtidig med at de forbliver trofaste over for måldomænet og behageligt konsekvent på tværs af variationer.

Jævnt latent rum-interpolation med de brugerdefinerede modeller af GAN-tegning.

Den latente rum-redigering-komponent blev drevet af 2020 GANSpace-projektet, et fælles initiativ fra Aalto Universitet, Adobe og NVIDIA.

Et enkelt billede kan også indføres i den tilpassede model, hvilket giver mulighed for naturlig billedredigering. I denne applikation indføres et enkelt billede projiceret til den tilpassede GAN, ikke kun giver mulighed for direkte redigering, men også bevare højere niveau latent rum-redigering, hvis dette også er anvendt.

Her er et virkeligt billede indført som input til GAN’en (katmodel), der redigerer input til at matche indsendte skitser. Dette giver mulighed for billedredigering via skitsering.

Selv om det er konfigurerbart, er systemet ikke designet til at fungere i realtid, i hvert fald ikke i forhold til træning og kalibrering. For tiden kræver GAN-tegning 30.000 træningsiterationer. Systemet kræver også adgang til den oprindelige træningsdata for den oprindelige model.

I tilfælde, hvor datasættet er åben kilde, og har en licens, der tillader lokal kopiering, kan dette være muligt ved at inkludere kilde-dataene i en lokal installeret pakke, selv om dette ville tage betydelig diskplads; eller ved at få adgang til eller behandle data fjernt, via en cloud-baseret tilgang, der introducerer netværks-overhead og (i tilfælde af, at behandlingen faktisk finder sted på cloud) muligvis beregningskostovervejelser.

Transformationer fra tilpassede FFHQ-modeller trænet på kun 4 menneskeskabte skitser.