Kirurgi för GAN-genererade ansikten

Ny forskning från Sydkorea lovar att förbättra kvaliteten på syntetisk ansiktsdata skapad av Generative Adversarial Networks (GAN).

Systemet kan identifiera bildartefakter som produceras av GAN-processer och åtgärda dem, även till den grad att de kan ersätta hår som skymdes av en keps, ersätta delar av ansiktet som helt saknades i originalet och ta bort ocklusioner som händer och solglasögon, och fungerar också bra på scener och arkitektoniska utdata.

Vänster för varje kolumn, det ursprungliga GAN-utdata med defekter, följt av två andra tillvägagångssätt för artefakterna och slutligen av metoden som används av de sydkoreanska forskarna. Källa: https://arxiv.org/pdf/2104.06118.pdf

De flesta senaste tillvägagångssätt för att förbättra kvaliteten på GAN-genererade bilder har intagit ståndpunkten att artefakter är en yrkesrisk för processen, och behandlar metoden som en “naturlag”, och de mer psykedeliska eller avvikande resultaten som den kan producera som en oundviklig biprodukt.

I stället föreslår den sydkoreanska forskningen att man faktiskt “reparerar” drabbade bilder på ett sätt som inte stör den fortsatta generativa kedjan, genom att identifiera aspekter som orsakar artefakter och minska eller eliminera deras inflytande i GAN-nätverket på ett semi-övervakat sätt som överträffar och utvidgar de inbyggda självkorrigerande mekanismerna i GAN-arkitekturen.

För projektet var det nödvändigt att skapa en bred tillämpbar handmärkt dataset av bilder som var kraftigt påverkade av GAN-artefakter. Initialt använde forskarna Frechet Inception Distance (FID), en metric som utvärderar kvaliteten på GAN-utdata genom att jämföra funktioner i bilderna, som en kvalificeringsenhet. De 10 000 bilderna med de högsta FID-poängen bland en serie om 200 000 bilder användes som separata “artefaktenheter”. Därefter märkte forskarna 2 000 genererade bilder för hand, klassificerade var och en som “normal” eller påverkad av FID-artefakter. Sedan skapades en modell för att klassificera datasetet i artefakt, normalt och slumpmässiga verkliga prover.

Efter detta användes Gradient-weighted Class Activation Mapping (Grad-CAM) för att generera masker för artefakt-påverkade områden, vilket i princip automatiserade märkningen av defekter.

I bilden ovan har Grad-CAM-maskerna applicerats på utdata från LSUN-Church utomhus-dataseten och CelebA-HQ-dataseten.

Genom att analysera de 20 mest drabbade resultaten från en serie om 20 000 bilder genereras segmenteringsmasker, i vilka representativa resultat över generationerna (som sannolikt är mer precisa eller övertygande än artefakterna) kan ersättas genom att sänka aktiveringen av artefaktproducerande enheter i efterföljande generationer.

Mänsklig utvärdering av korrektionerna resulterade i att 53 % av de “reparerade” bilderna klassificerades som “normala”, medan 97 % av de ursprungliga bilderna fortfarande visar betydande förbättringar jämfört med originalet.

Forskarna hävdar att denna metod, med någon mindre omkonstruktion, också kan anpassas till NVIDIA:s StyleGAN2.

Fördelarna med syntetiska data

Främst när det gäller ansiktsdata är den allmänna bristen på verkliga världens dataset för datorseende ett hinder för diversifierad forskning inom viktiga forskningssektorer, såsom ansiktsigenkänning, känslouttryck, medicinsk forskning och studier om mer detaljerad segmentering av ansiktets topologi, bland andra områden.

Den nuvarande reaktionen mot fri användning av webbaserad data och den ad hoc-insamlingen av verkliga ansiktsbilder för inklusion i ansiktsdatabaser är ett ytterligare hinder för forskning, med ett växande antal stater och nationer som slår till mot webbskrapning och appropriering av sociala mediebilder för dessa ändamål.

Under de senaste tio åren har ett begränsat antal välcirkulerade ansiktsdataset erbjudit en fristad från denna osäkerhet, med olika årliga offentliga forskningsutmaningar som fokuserar på dem. Men detta har troligen lett till att forskningsprojekt har anpassat sina metoder specifikt till dessa dataset, med konsekventa och jämförbara resultat från år till år som erhållits till priset av en brist på diversitet i källmaterialet – en situation som blir värre varje år som ny forskning begränsar sig till dessa gränser.

Dessutom har vissa av dessa “traditionella” dataset kritiserats för brist på etnisk mångfald, vilket antyder att dessa benchmark-staplar kanske inte anses vara lämpliga resurser i närmaste framtiden.

Detta betyder att det behövs högkvalitativa ansiktsdata som är realistiska, men där de bidragande “verkliga världens” bilderna har förvandlats långt bortom igenkänning. Även om denna användning av verkliga ansiktsdata “på ett stegs avstånd” kan utlösa problem med ursprunget för GAN-genererade ansikten, är det ett hinder som inte sannolikt kommer att dyka upp förrän rättsliga och tekniska mekanismer för datainsamling av detta slag har etablerats; och när det gäller möjliga ändringar av rättsliga ramverk kring frågan, är det fortfarande en mindre fara än att använda bilder av verkliga människor.

För ytterligare läsning:

Förbättring av realismen i syntetiska bilder
Automatisk korrektion av interna enheter i generativa neurala nätverk