Nieuwe Deepfake-methode lost het ‘Face Host’-probleem op

Ondanks meerdere jaren van media-hype over het potentieel van deepfake-afbeeldingen om ons langdurig geloof in de authenticiteit van videobeelden te ondermijnen, zijn alle huidige populaire methoden afhankelijk van het vinden van ‘face hosts’ die in grote lijnen overeenkomen met de vorm van het doelwit-gezicht.

Wanneer de oorspronkelijke beelden een breed gezicht laten zien, maar het doelwit een smal gezicht heeft, zijn de resultaten altijd problematisch geweest, omdat een dergelijke overdracht het wegsnijden van een deel van het oorspronkelijke gezicht en het opnieuw opbouwen van de nu blootgelegde achtergrond betreft. Huidige pakketten zoals DeepFaceLab en FaceSwap kunnen beperkte resultaten produceren wanneer de configuratie omgekeerd is (smal>breed), maar hebben geen faciliteit om deze scenario overtuigend aan te pakken.

Nu heeft een samenwerking tussen Tencent en China’s Xiamen University een nieuwe aanpak ontwikkeld, getiteld HifiFace, om deze tekortkoming aan te pakken.

Twee HifiFace-deepfakes, de eerste van Anne Hathaway, waarbij een goede gelijkenis wordt verkregen ondanks de onverenigbare vorm van het host-gezicht. HifiFace werkt ook goed met doelwitten met bril, traditioneel een struikelblok in deepfakes. Bron: https://arxiv.org/pdf/2106.09965.pdf

Het opnieuw vormgeven van een deepfake-gezicht

Eerdere benaderingen, zoals die van 2019, Subject Agnostic Face Swapping and Reenactment (FSGAN), zijn afhankelijk van 3DMM-fitting (3D Morphable Models) of andere methoden die zijn gebaseerd op gezichtskenmerken of transformatie, waarbij de gezichtslijnen van het gezicht dat moet worden ‘overschreven’ grotendeels de grenzen van de uitwisseling bepalen.

3DMM-gezichtskenmerkdetectie. Bron: https://github.com/Yinghao-Li/3DMM-fitting

Hoewel concurrerende methoden zijn gebaseerd op kenmerken die zijn afgeleid van gezichtsherkenning-netwerken, zijn deze voornamelijk gericht op het opnieuw opbouwen van textuur in plaats van structuur, en produceren ze een ‘masker-achtig’ effect in gevallen waarin het host-gezicht niet geheel compatibel is (d.w.z. de grenzen en vorm van de haarlijn, kaaklijn en jukbeenderen).

Om deze problemen aan te pakken, hebben de Chinese onderzoekers, die zijn gevestigd in het Media Analytics and Computing Lab van de afdeling Kunstmatige Intelligentie van de universiteit, een eind-tot-eind-netwerk ontwikkeld dat de coëfficiënten van het doelwit en het bron-gezicht gebruikt met een 3D-reconstructiemodel, dat vervolgens wordt samengevoegd als vorminformatie en gekoppeld aan identiteitsvectorinformatie van een gezichtsherkenning-netwerk.

Deze geometrische gegevens worden vervolgens ingevoerd in een encoder-decoder-model als structurele informatie, die wordt gemengd met de expressie en houding van het doelwit-gezicht, die worden gebruikt als hulpbronnen voor een nauwkeurige overdracht.

Semantische gezichtsfusie

Bovendien bevat HifiFace een Semantische Gezichtsfusie (SFF)-component, die een laag-niveau-kenmerk in de encoder gebruikt om ruimtelijke en textuurinformatie te behouden, zonder de identiteit van het doelwitbeeld te offeren. Kenmerken van de encoder en decoder worden geïntegreerd in een geleerd adaptief masker, en de achtergrondinformatie wordt gemengd met de uitvoer door middel van het geleerde gezichtsmasker.

HifiFace in actie. Bron: https://johann.wang/HifiFace/

Aldus wijkt HifiFace af van het gebruik van oorspronkelijke materiaal-gezichtsgrenzen als een harde limiet, door middel van een verdiepte gezichtssemantische segmentatie, waarbij het model beter adaptieve fusie kan uitvoeren op de randen van het gezicht.

Twee eerdere benaderingen (boven en onder links), en de nieuwe HifiFace-architectuur, die bestaat uit een encoder, decoder, 3D-vorm-gevoelige identiteitsextractor en SFF-module.

In een vergelijking met eerdere methoden FSGAN, SimSwap en FaceShifter, toont HifiFace een superieure reconstructie van de gezichtsvorm, omdat het geen ‘spook’-elementen benadert waar de gezichtsgrenzen de identiteit>identiteit-toewijzing verwarren, maar deze definitief reconstrueert.

Testen

De onderzoekers hebben het systeem geïmplementeerd met behulp van de VGGFace2 en de DeepGlint Asian-Celeb-datasets. Gezichten werden uitgelijnd via 5 uitwaaiende landmarks en opnieuw uitgesneden tot 256×256 pixels. Een portretversterkingsnetwerk werd ook gebruikt om een 512×512 pixels-versie te genereren, voor een extra hogeresolutie-model. Het model werd getraind onder Adam.

Hoewel FaceShifter de identiteit goed behoudt, kan het geen problemen zoals expressie, kleur en occlusie zo effectief aanpakken als HifiFace, en heeft het een complexere netwerkstructuur. FSGAN heeft problemen met het overdragen van de verlichting van de bron naar het doelwit.

De onderzoekers gebruiken FaceForensics++ voor kwantitatieve vergelijkingen, waarbij tien frames elk in een batch van geconverteerde video’s worden bemonsterd over de concurrerende methoden, en vinden dat HifiFace een superieure ID-ophaal-score behaalde. Bij het testen van een reeks andere factoren, zoals beeldkwaliteit, vonden de onderzoekers ook dat hun methode de concurrerende methodologieën overtrof.

Benedict Cumberbatch’s gezichtslijnen worden getrouw nagebootst.

Het werk vertegenwoordigt een verdere stap in de richting van het abstract maken van het bronmateriaal, zodat het alleen een ruw sjabloon is waarin nauwkeurige identiteiten kunnen worden overgedragen. Sommige van de huidige FOSS-pakketten, waaronder DeepFaceLab, hebben een embryonale functionaliteit voor volledige hoofdvervanging, maar, net als HifiFace, negeren ze het haar en zijn ze effectiever in het ‘opbouwen’ van een gezicht dan in het wegsnijden ervan om overeen te komen met een gewenst doelwit.