De dageraad van diepgefakte emoties

Onderzoekers hebben een nieuwe machine learning-techniek ontwikkeld om willekeurig nieuwe emoties op te leggen op gezichten in video’s, door bestaande technologieën aan te passen die onlangs zijn ontwikkeld als oplossingen om lipbewegingen te laten overeenkomen met nasynchronisatie in vreemde talen.

Het onderzoek is een gelijke samenwerking tussen de Northeastern University in Boston en het Media Lab van MIT, en heeft als titel Omkeerbare fronsen: video-naar-video-gezichtsemotievertaling. Hoewel de onderzoekers toegeven dat de initiële kwaliteit van de resultaten moet worden ontwikkeld door verder onderzoek, beweren ze dat de techniek, genaamd Wav2Lip-Emotion, de eerste is die rechtstreeks de modificatie van volledige video-uitdrukkingen aanpakt met behulp van neurale netwerktechnieken.

De basiscode is uitgebracht op GitHub, hoewel modelcontrolepunten later zullen worden toegevoegd aan het open-source-repository, beloven de auteurs.

Links, een ‘treurige’ frame van de bronvideo. Rechts, een ‘gelukkige’ frame. In het midden zijn twee nascente benaderingen voor het synthetiseren van alternatieve emoties – bovenste rij: een volledig gemaskeerd gezicht waarbij het hele uitdrukkingsoppervlak is vervangen; onderste rij: een meer traditionele Wav2Lip-methode, die alleen het onderste deel van het gezicht vervangt. Bron: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Enkele video als brondata

In theorie zijn dergelijke manipulaties nu mogelijk door middel van volledige training op traditionele diepgefakte repositories zoals DeepFaceLab of FaceSwap. Echter, de standaardworkflow zou betekenen dat een alternatieve identiteit wordt gebruikt voor de ‘doel’-identiteit, zoals een acteur die de doelidentiteit imiteert, waarvan de eigen uitdrukkingen zouden worden overgedragen op een andere persoon, samen met de rest van de prestatie. Bovendien zouden diepgefakte stemkloon-technieken meestal nodig zijn om de illusie te voltooien.

Verder zou het daadwerkelijk veranderen van de uitdrukking van doel1>doel1 in een enkele bronvideo onder deze populaire kaders betekenen dat de gezichtsuitlijningsvectoren op een manier worden veranderd die deze architectuur momenteel niet faciliteert.

Wav2Lip-Emotion behoudt de lip-synchronisatie van de oorspronkelijke video-audio-gesprekken terwijl de bijbehorende uitdrukkingen worden getransformeerd.

In plaats daarvan zoekt Wav2Lip-Emotion ernaar om ‘kopieer en plak’ emotie-gerelateerde uitdrukkingen van een deel van een video en deze in andere punten te vervangen, met een zelfopgelegde soberheid van brondata die uiteindelijk bedoeld is om een lagere inspanning te bieden voor uitdrukkingsmanipulatie.

Offline-modellen kunnen later worden ontwikkeld die zijn getraind op alternatieve video’s van de spreker, waardoor de behoefte aan een enkele video om een ‘palet’ van uitdrukkingsstaten te bevatten waarmee de video kan worden gemanipuleerd, wordt geëlimineerd.

Mogelijke doeleinden

De auteurs suggereren een aantal toepassingen voor expressie-modificatie, waaronder een live video-filter om de effecten van PTSD en faciale verlamming te compenseren. Het artikel stelt:

‘Individuen met of zonder geremde gezichtsuitdrukkingen kunnen profiteren van het afstemmen van hun eigen uitdrukkingen op hun sociale omstandigheden. Men kan de uitdrukkingen in video’s die aan hen worden getoond willen veranderen. Sprekers kunnen tegen elkaar schreeuwen tijdens een videoconferentie, maar toch de inhoud van hun uitwisseling zonder de onplezierige uitdrukkingen willen verzamelen. Of een filmregisseur kan de uitdrukkingen van een acteur willen verhogen of verlagen.’

Aangezien gezichtsuitdrukking een sleutel- en kernindicator van intentie is, zelfs waar het tegen de woorden die worden gesproken ingaat, biedt de mogelijkheid om de uitdrukking te veranderen ook, in zekere mate, de mogelijkheid om te veranderen hoe de communicatie wordt ontvangen.

Vorige werk

Interesse in machine learning-uitdrukkingswijziging gaat terug tot minstens 2012, toen een samenwerking tussen Adobe, Facebook en Rutgers University een methode voorstelde om uitdrukkingen te wijzigen door middel van een Tensor-gebaseerde 3D-geometrie-reconstructiebenadering, die moeizaam een CGI-mesh over elk frame van een doelvideo plaatste om de verandering te bewerkstelligen.

Het onderzoek van Adobe/Facebook uit 2012 manipuleerde uitdrukkingen door traditionele, CGI-geïnspireerde veranderingen op video-opnames toe te passen. Bron: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Hoewel de resultaten veelbelovend waren, was de techniek omslachtig en waren de benodigde middelen aanzienlijk. Op dat moment was CGI ver vooruit op computer-vision-gebaseerde benaderingen voor directe functie- en pixelmanipulatie.

Meer in verband met het nieuwe artikel is MEAD, een dataset en expressie-generatiemodel dat in 2020 is uitgebracht, in staat om ‘talking-head’-video’s te genereren, hoewel zonder het niveau van verfijning dat potentieel kan worden behaald door de modificatie van daadwerkelijke bronvideo’s rechtstreeks.

Expressie-generatie met MEAD, een samenwerking tussen SenseTime Research, Carnegie Mellon en drie Chinese universiteiten. Bron: https://wywu.github.io/projects/MEAD/MEAD.html

In 2018 verscheen een ander artikel, getiteld GANimation: Anatomically-aware Facial Animation from a Single Image, als een Amerikaans-Spaanse academische onderzoeksamenwerking, en gebruikte Generative Adversarial Networks om uitdrukkingen in stiltebeelden te verhogen of te veranderen.

Uitdrukkingen veranderen in stiltebeelden met GANimation. Bron: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

In plaats daarvan is het nieuwe project gebaseerd op Wav2Lip, dat publiciteit kreeg in 2020 door een potentiële methode te bieden voor het opnieuw synchroniseren van lipbewegingen om nieuwe spraak (of lied) invoer te accommoderen die nooit in de oorspronkelijke video is verschenen.

De oorspronkelijke Wav2Lip-architectuur was getraind op een corpus van gesproken zinnen uit de BBC-archieven. Om Wav2Lip aan te passen voor de taak van expressie-wijziging, hebben de onderzoekers de architectuur ‘fijn afgesteld’ op de bovengenoemde MEAD-dataset.

MEAD bestaat uit 40 uur video met 60 acteurs die dezelfde zin uitspreken terwijl ze verschillende gezichtsuitdrukkingen vertonen. De acteurs komen uit 15 verschillende landen en bieden een reeks internationale kenmerken die zijn bedoeld om het project (en afgeleide projecten) te helpen om toepasbare en goed-generaliseerde expressie-synthese te produceren.

Op het moment van onderzoek had MEAD alleen het eerste deel van de dataset vrijgegeven, met 47 personen die uitdrukkingen zoals ‘boos’, ‘walging’, ‘angst’, ‘minachting’, ‘gelukkig’, ‘treurig’ en ‘verbazing’ vertonen. In deze eerste uitvoering van een nieuwe benadering hebben de onderzoekers de reikwijdte van het project beperkt tot het overplaatsen of anderszins veranderen van de waargenomen emoties ‘gelukkig’ en ‘treurig’, aangezien deze het meest herkenbaar zijn.

Methode en resultaten

De oorspronkelijke Wav2Lip-architectuur vervangt alleen het onderste deel van het gezicht, terwijl Wav2Lip-Emotion ook experimenteert met een volledige gezichtsvervanging en expressie-synthese. Daarom was het noodzakelijk voor de onderzoekers om de ingebouwde evaluatiemethoden aan te passen, aangezien deze niet waren ontworpen voor een volledige gezichtsconfiguratie.

De auteurs verbeteren de oorspronkelijke code door de oorspronkelijke audio-invoer te behouden en de consistentie van lipbewegingen te behouden.

Het generatorelement bevat een identiteitsencoder, spraakencoder en gezichtsdecoder, in overeenstemming met het eerdere werk. Het spraakelement wordt bovendien gecodeerd als gestapelde 2D-convoluties die vervolgens worden samengevoegd met hun bijbehorende frames.

Naast het generatie-element bevat de aangepaste architectuur drie hoofddiscriminatoren, gericht op de kwaliteit van lip-synchronisatie, een emotie-objectief element en een visueel kwaliteitselement dat is getraind met behulp van adversarial training.

Voor volledige gezichtsreconstructie bevatte het oorspronkelijke Wav2Lip-werk geen precedent, en werd het model daarom getraind vanaf scratch. Voor onderste-gezichtstraining (half-masker) zijn de onderzoekers vertrokken vanuit controlepunten die zijn opgenomen in de oorspronkelijke Wav2Lip-code.

Naast automatische evaluatie hebben de onderzoekers gebruik gemaakt van crowd-sourced mening die is geleverd door een semi-geautomatiseerd serviceplatform. De werknemers hebben de output over het algemeen hoog gewaardeerd in termen van het herkennen van de overgeplaatste emoties, maar alleen ‘gematigde’ evaluaties gerapporteerd voor beeldkwaliteit.

De auteurs suggereren dat, naast het verbeteren van gegenereerde video-kwaliteit met verdere verfijning, toekomstige iteraties van het werk een bredere reeks emoties kunnen omvatten, en dat het werk eveneens in de toekomst kan worden toegepast op gelabelde of automatisch afgeleide brondata en datasets, wat uiteindelijk zal leiden tot een authentiek systeem waarin emoties kunnen worden ingesteld of verlaagd naar de wens van de gebruiker, of uiteindelijk vervangen door tegenstrijdige emoties in verhouding tot de oorspronkelijke bronvideo.