Morgenen for Deepfaked Emotioner

Forskere har udviklet en ny maskinlærings-teknik til at påtvænge nye emotioner på ansigter i videoer, ved at tilpasse eksisterende teknologier, der nylig er dukket op som løsninger til at matche læbebevægelser med fremmedsprogede dubbing.

Forskningen er et lige samarbejde mellem Northeastern University i Boston og Media Lab på MIT, og har titlen Invertable Frowns: Video-to-Video Facial Emotion Translation. Selvom forskerne indrømmer, at den initiale kvalitet af resultaterne skal udvikles gennem yderligere forskning, hævder de, at teknikken, kaldet Wav2Lip-Emotion, er den første af sin art til direkte at adressere fuld-video-udtryksændring gennem neurale netværksteknikker.

Basis-koden er blevet frigivet på GitHub, selvom model-checkpoints vil blive tilføjet til den åbne kilde-repository senere, lover forfatterne.

Til venstre, en ‘sæd’ ramme af kildevideoen. Til højre, en ‘glad’ ramme. I midten er to nybegyndende tilgange til at syntetisere alternative emotioner – øverste række: en fuldt-maskeret ansigtsudtryksflade, hvor hele udtryksfladen er erstattet; nederste række: en mere traditionel Wav2Lip-metode, som kun erstatter den nederste del af ansigtet. Kilde: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Enkelt Video som Kilde Data

I teorien kan sådanne manipulationer opnås nu gennem fuldstændig træning på traditionelle deepfake-repositorier som DeepFaceLab eller FaceSwap. Imidlertid ville den standardmæssige arbejdsgang involvere brug af en alternativ identitet til ‘mål’-identiteten, såsom en skuespiller, der efterligner mål-identiteten, hvis egne udtryk ville blive overført til en anden person, sammen med resten af præstationen. Derudover ville deepfake-stemme-kloningsteknikker normalt være nødvendige for at fuldende illusionen.

Desuden ville det i virkeligheden ændre udtrykket af mål1>mål1 i en enkelt kildevideo under disse populære rammer kræve ændring af ansigtsudtryksvektorer på en måde, som disse arkitekturer ikke aktuelt faciliterer.

Wav2Lip-Emotion opretholder læbe-synkronisering af den originale video-audio-samtale, mens udtrykkene ændres.

I stedet søger Wav2Lip-Emotion effektivt at ‘kopiere og indsætte’ emotion-relaterede udtryk fra en del af en video og indsætte dem i andre punkter, med en selv påtvænget sparsommelighed af kilde-data, der er tiltænkt at tilbyde en lavere-indsat metode til udtryksmanipulation.

Offline-modeller kunne senere udvikles, der er trænet på alternative videoer af taleren, og som eliminerer behovet for en enkelt video at indeholde en ‘palet’ af udtryksstater, hvormed man kan manipulere videoen.

Potentielle Formål

Forfatterne foreslår en række anvendelser for udtryksændring, herunder en live-video-filter til at kompensere for effekterne af PTSD og ansigtslammelse. Artiklen bemærker:

‘Personer med eller uden hæmmede ansigtsudtryk kan have gavn af at justere deres egne udtryk for bedre at tilpasse sig deres sociale omstændigheder. En person kan ønske at ændre udtrykkene i videoer, der vises for dem. Talere kan råbe ad hinanden under en video-konference, men ønske alligevel at samle indholdet i deres udveksling uden de ubehagelige udtryk. Eller en filminstruktør kan ønske at forstærke eller formindske udtrykkene hos en skuespiller.’

Da ansigtsudtryk er en nøgle- og kerneindikator for hensigt, selv hvor det kan gå imod de ord, der tales, tilbyder evnen til at ændre udtryk også, i visse tilfælde, muligheden for at ændre, hvordan kommunikationen modtages.

Tidligere Arbejde

Interessen for maskinlærings-udtryksændring går tilbage til mindst 2012, da et samarbejde mellem Adobe, Facebook og Rutgers University foreslog en metode til at ændre udtryk ved at bruge en tensor-baseret 3D-geometri-rekonstruktionstilgang, som omhyggeligt påtvængete en CGI-mesh over hver ramme af en mål-video for at effektuere ændringen.

Den 2012 Adobe/Facebook-forskning manipulerede udtryk ved at påtvænge traditionelle, CGI-drevne ændringer på video-optagelser. Udtryk kunne forstærkes eller undertrykkes. Kilde: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Selv om resultaterne var lovende, var teknikken besværlig, og ressourcerne, der var nødvendige, var betydelige. På dette tidspunkt var CGI langt foran computer-vision-baserede tilgange til direkte feature- og pixel-manipulation.

En mere nærliggende tilgang til den nye artikel er MEAD, en dataset og udtryks-genereringsmodel, der blev udgivet i 2020, og som kan generere ‘talking-head’-videoer, selv om uden det niveau af sofistikation, der potentielt kan opnås ved at ændre den faktiske kildevideo direkte.

Udtryks-generering med 2020’s MEAD, et samarbejde mellem SenseTime Research, Carnegie Mellon og tre kinesiske universiteter. Kilde: https://wywu.github.io/projects/MEAD/MEAD.html

I 2018 dukkede en anden artikel op, med titlen GANimation: Anatomically-aware Facial Animation from a Single Image, som en akademisk forskningssamarbejde mellem USA og Spanien, og som brugte Generative Adversarial Networks til at forstærke eller ændre udtryk i stille billeder alene.

Ændring af udtryk i stille billeder med GANimation. Kilde: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

I stedet er det nye projekt baseret på Wav2Lip, som fået offentlighedens opmærksomhed i 2020 ved at tilbyde en potentiel metode til at gensynkronisere læbebevægelser med nye tale- (eller sang-) input, der aldrig har været en del af den originale video.

Den originale Wav2Lip-arkitektur blev trænet på en samling af talte sætninger fra BBC-arkiverne. For at tilpasse Wav2Lip til opgaven med udtryksændring, ‘finjusterede’ forskerne arkitekturen på den ovennævnte MEAD-dataset.

MEAD består af 40 timers video med 60 skuespillere, der læser den samme sætning op, mens de udfører en række ansigtsudtryk. Skuespillerne kommer fra 15 forskellige lande og tilbyder en række internationale karakteristika, der er tiltænkt at hjælpe projektet (og afledte projekter) med at producere anvendelige og generelle udtryks-synteser.

På tidspunktet for forskningen havde MEAD kun udgivet den første del af datasettet, der omfatter 47 personer, der udfører udtryk som ‘vred’, ‘foragt’, ‘frygt’, ‘foragt’, ‘glad’, ‘sæd’ og ‘overraskelse’. I denne første udgave af en ny tilgang begrænsede forskerne omfanget af projektet til at påtvænge eller ændre de opfattede emotioner ‘glad’ og ‘sæd’, da disse er de mest let genkendelige.

Metode og Resultater

Den originale Wav2Lip-arkitektur erstatter kun den nederste del af ansigtet, mens Wav2Lip-Emotion også eksperimenterer med en fuld ansigts-erstatningsmaske og udtryks-syntese. Derfor var det nødvendigt for forskerne at yderligere modificere de indbyggede evalueringmetoder, da disse ikke var designet til en fuld-ansigts-konfiguration.

Forfatterne forbedrer den originale kode ved at fastholde den originale audio-input, mens de opretholder konsistens af læbebevægelser.

Generator-elementet har en identitets-encoder, tale-encoder og ansigts-decoder, i overensstemmelse med det tidligere arbejde. Tale-elementet er yderligere kodet som stablede 2D-konvolutioner, der herefter konkateneres til deres tilhørende ramme(r).

Ud over det generative element har den modificerede arkitektur tre hoved-diskriminatorelementer, der sigter mod kvaliteten af læbe-synkronisering, et emotion-objekt-element og et adversarially trænet visuelt kvalitets-mål.

Til fuld ansigts-rekonstruktion indeholdt den originale Wav2Lip-arbejde ingen præcedens, og derfor blev modellen trænet fra scratch. Til lavere-ansigts-træning (halv-maske) gik forskerne ud fra checkpoints, der er inkluderet i den originale Wav2Lip-kode.

Ud over automatisk evaluering brugte forskerne crowd-sourced mening leveret af en semi-automatisk service-platform. Arbejderne vurderede generelt output højt i forhold til genkendelse af de påtvængede emotioner, mens de kun rapporterede ‘moderate’ vurderinger af billedkvalitet.

Forfatterne foreslår, at fremtidige iterationer af arbejdet kunne omfatte en bredere række af emotioner, og at arbejdet også kunne anvendes i fremtiden på mærkede eller automatisk infererede kilde-data og dataset, der fører til en autentisk system, hvor emotioner kan justeres op eller ned efter brugerens ønske, eller endda erstattes af modsatrettede emotioner i forhold til den originale kildevideo.