Plastische chirurgie voor GAN-gegenereerde gezichten

Nieuw onderzoek uit Zuid-Korea belooft de kwaliteit van synthetische gezichtsgegevens die zijn gegenereerd door Generative Adversarial Networks (GAN’s) te verbeteren.

Het systeem is in staat om beeldartefacten die door GAN-processen worden gegenereerd te identificeren en te herstellen, zelfs tot het punt waarop het haar dat door een pet wordt bedekt, vervangt, delen van het gezicht die volledig ontbreken in het origineel, vervangt en occlusies zoals handen en zonnebrillen verwijdert, en werkt ook goed op scène- en architectuurgegevens.

Links in elke kolom, de oorspronkelijke GAN-uitvoer met defecten, gevolgd door twee andere benaderingen van de artefacten en tenslotte door de methode die door de Zuid-Koreaanse onderzoekers wordt gebruikt. Bron: https://arxiv.org/pdf/2104.06118.pdf

De meeste recente benaderingen om de kwaliteit van GAN-gegenereerde beelden te verbeteren, hebben de houding aangenomen dat artefacten een beroepsrisico van het proces zijn, waarbij de methodologie als een ‘natuurkracht’ wordt behandeld en de meer psychedelische of aberrationale resultaten die het kan produceren als een onvermijdelijk bijproduct.

In plaats daarvan stelt het Zuid-Koreaanse onderzoek voor om beïnvloede beelden daadwerkelijk te ‘herstellen’ op een manier die niet interfereert met de voortdurende generatieve keten, door facetten te identificeren die artefacten veroorzaken en hun invloed te verminderen of te elimineren in het GAN-netwerk op een semi-begeleid niveau dat de native zelfcorrigerende mechanismen in GAN-architectuur te boven gaat.

Voor het project was het noodzakelijk om een breed toepasbaar handgelabelde dataset van beelden te creëren die sterk werden beïnvloed door GAN-artefacten. Aanvankelijk gebruikten de onderzoekers Frechet Inception Distance (FID), een metriek die de kwaliteit van GAN-uitvoer evalueert door kenmerken in de beelden te vergelijken, als een kwalificatie-eenheid. De 10.000 beelden met de hoogste FID-scores onder een reeks van 200.000 beelden werden gebruikt als discrete ‘artefacteenheden’. Vervolgens labelden de onderzoekers 2.000 gegenereerde beelden handmatig, waarbij elke als ‘normaal’ of beïnvloed door FID-artefacten werd geclassificeerd. Vervolgens werd een model gemaakt om de dataset te classificeren in artefact, normaal en willekeurige echte wereldvoorbeelden.

Hierna werd Gradient-weighted Class Activation Mapping (Grad-CAM) gebruikt om masks te genereren voor artefact-beïnvloede regio’s, waardoor het labelen van defecten effectief geautomatiseerd werd.

In de bovenstaande afbeelding zijn de Grad-CAM-masks toegepast op uitvoer van de LSUN-Church outdoor dataset en de CelebA-HQ-dataset.

Door de top 20 meest getroffen resultaten van een reeks van 20.000 beelden te analyseren, worden segmentatiemaskers gegenereerd, waarin vertegenwoordigende resultaten over de generaties (die waarschijnlijk nauwkeuriger of overtuigender zijn dan de artefacten) kunnen worden vervangen door de activatie van de artefact-producerende eenheden in latere generaties te verlagen.

De menselijke evaluatie van de correcties resulteerde in 53% van de ‘herstelde’ beelden die als ‘normaal’ werden gelabeld, terwijl 97% van de oorspronkelijke beelden nog steeds significante verbeteringen ten opzichte van de oorspronkelijke beelden laten zien.

De onderzoekers beweren dat deze methode, met enkele kleine aanpassingen, ook kan worden aangepast voor NVIDIA’s StyleGAN2.

De voordelen van synthetische gegevens

Voornamelijk met betrekking tot gezichtsgegevens, vormt de algemene schaarste van echte werelddatasets voor computerzicht een obstakel voor diverse onderzoeken in belangrijke onderzoekssectoren, zoals gezichtsherkenning, emotieherkenning, medisch onderzoek en studies naar meer gedetailleerde segmentatie van de topologie van het gezicht, onder andere.

Het huidige terugdraaien van het vrije gebruik van web-georiënteerde gegevens en de ad hoc verzameling van echte wereldgezichtsbeelden voor opname in gezichtsdatabases is een extra obstakel voor onderzoek, met een groeiend aantal staten en landen die optreden tegen web-schrapen en de toe-eigening van socialemediabeelden voor deze doeleinden.

Over de afgelopen tien jaar hebben een beperkt aantal zeer zorgvuldig geselecteerde gezichtsdatabases een toevluchtsoord geboden voor dit soort onzekerheid, met verschillende jaarlijkse openbare onderzoeksuitdagingen die eromheen zijn georganiseerd. Echter, dit heeft waarschijnlijk geleid tot onderzoeksprojecten die hun methodologieën specifiek richten op deze datasets, met consistent en vergelijkbare jaar-op-jaarresultaten die tegen een hoge prijs van een gebrek aan diversiteit in de bronmateriaal worden behaald – een situatie die elk jaar dat nieuw onderzoek zich beperkt tot deze grenzen, erger wordt.

Bovendien zijn sommige van deze ‘traditionele’ datasets onder vuur komen te liggen vanwege een gebrek aan raciale diversiteit, wat suggereert dat deze benchmark-stalwarts mogelijk niet langer als geschikte bronnen worden beschouwd in de nabije toekomst.

Dit duidt op de noodzaak van hoge kwaliteit gezichtsgegevens die realistisch zijn, maar waarbij de bijdragende ‘echte wereld’ beelden ver zijn getransformeerd. Zelfs als het gebruik van echte gezichtsgegevens ‘op één afstand’ op zichzelf uiteindelijk problemen kan veroorzaken met betrekking tot de herkomst van GAN-gegenereerde gezichten, is het een obstakel dat waarschijnlijk niet zal optreden totdat de komst van juridische en technische mechanismen voor gegevensverzameling van deze soort is gevestigd; en met betrekking tot mogelijke veranderingen in de wettelijke kaders rond het onderwerp, is het nog steeds een kleiner gevaar dan het gebruik van beelden van echte mensen.

Verder lezen:

Het realisme van synthetische beelden verbeteren
Automatische correctie van interne eenheden in generatieve neurale netwerken