Gryningen for Deepfaked Emosjoner

Forskere har utviklet en ny maskinlæringsmetode for å påtvange nye emosjoner på ansikter i video, ved å tilpasse eksisterende teknologier som nylig har dukket opp som løsninger for å matche leppbevegelser med fremmedspråklige dubbing.

Forskningen er et likeverdig samarbeid mellom Northeastern University i Boston og Media Lab ved MIT, og har tittelen Invertable Frowns: Video-to-Video Facial Emotion Translation. Selv om forskerne innrømmer at den innledende kvaliteten på resultatene må utvikles gjennom videre forskning, hevder de at teknikken, kalt Wav2Lip-Emotion, er den første av sitt slag som direkte tar opp full-video-uttrykksmodifikasjon gjennom neurale nettverksteknikker.

Basis-koden har blitt gjort tilgjengelig på GitHub, selv om modellkontrollpunkter vil bli lagt til i den åpne kildekodemottakelsen senere, lover forfatterne.

Til venstre, en ‘sørgmodig’ ramme av kildevideoen. Til høyre, en ‘lykkelig’ ramme. I midten er to nyanserte tilnærminger til å syntetisere alternative emosjoner – øverste rad: en fullstendig maskert ansikt der hele uttrykksflaten har blitt erstattet; nederste rad: en mer tradisjonell Wav2Lip-metode, som bare erstatter den nedre delen av ansiktet. Kilde: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Enkelt Video som Kilde Data

I teorien er slike manipulasjoner nå mulige gjennom fullstendig trening på tradisjonelle deepfake-repositorier som DeepFaceLab eller FaceSwap. Imidlertid ville den standard arbeidsflyten innebære å bruke en alternativ identitet til ‘mål’-identiteten, som en skuespiller som imiterer målet, hvis egne uttrykk ville bli overført til en annen person, sammen med resten av forestillingen. I tillegg ville deepfake stemme-kloningsteknikker vanligvis være nødvendig for å fullføre illusjonen.

Videre, å faktisk endre uttrykket til mål1>mål1 i en enkelt kildevideo under disse populære rammeverkene, ville innebære å endre ansikts-alignment-vektorene på en måte som disse arkitekturerne ikke nå faciliterer.

Wav2Lip-Emotion opprettholder leppesynkronisering av den opprinnelige video-audio-dialogen mens uttrykkene transformeres.

I stedet søker Wav2Lip-Emotion å ‘kopiere og lime’ emosjonsrelaterte uttrykk fra en del av en video og erstatte dem i andre punkter, med en selvvalgt enkelhet i kilde-data som til slutt skal tilby en lavere-innsats metode for uttrykksmanipulering.

Offline-modeller kunne senere bli utviklet som er trent på alternative videoer av taleren, og dermed unngå behovet for at en enkelt video skal inneholde en ‘palett’ av uttrykks-tilstander som kan manipuleres.

Mulige Formål

Forfatterne foreslår en rekke anvendelser for uttrykksmodifikasjon, inkludert en live-video-filter for å kompensere for effektene av PTSD og ansiktslammelse. Artikkelen observerer:

‘Personer med eller uten hemmet ansiktsuttrykk kan dra nytte av å justere sine egne uttrykk for bedre å tilpasse seg sosiale omstendigheter. En person kan ønske å endre uttrykkene i videoer som vises for dem. Talere kan rope på hverandre under en video-konferanse, men likevel ønske å samle innholdet i deres utveksling uten de ubehagelige uttrykkene. Eller en filmregissør kan ønske å forsterke eller dempe uttrykkene til en skuespiller.’

Siden ansiktsuttrykk er en nøkkel- og kjerneindikator for intensjon, selv der det kan stride mot ordene som uttales, tilbyr evnen til å endre uttrykk også, i en viss grad, evnen til å endre hvordan kommunikasjonen mottas.

Tidligere Arbeid

Interessen for maskinlærings-uttrykksendring går tilbake til minst 2012, da et samarbeid mellom Adobe, Facebook og Rutgers University foreslo en metode for å endre uttrykk ved å bruke en tensor-basert 3D-geometri-rekonstruksjonsmetode, som møysommelig påtvang en CGI-mesh over hver ramme av en mål-video for å effektuere endringen.

2012 Adobe/Facebook-forskningen manipulerte uttrykk ved å påtvange tradisjonelle, CGI-drevne endringer på video-opptak. Uttrykk kunne forsterkes eller undertrykkes. Kilde: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Selv om resultater var lovende, var teknikken tungvint og ressursene som var nødvendig var betydelige. På dette tidspunktet var CGI langt foran datavisjonsbaserte tilnærminger til direkte funksjonsrom- og pikselmanipulering.

Mer nært beslektet med den nye artikkelen er MEAD, en datasett og uttrykks-genereringsmodell som ble lansert i 2020, i stand til å generere ‘talking-head’-videoer, selv om uten det nivået av sofistikert som potensielt kan oppnås ved å modifisere faktisk kildevideo direkte.

Uttrykks-generering med 2020s MEAD, et samarbeid mellom SenseTime Research, Carnegie Mellon og tre kinesiske universiteter. Kilde: https://wywu.github.io/projects/MEAD/MEAD.html

I 2018 dukket en annen artikkel, med tittelen GANimation: Anatomically-aware Facial Animation from a Single Image, opp som et akademisk samarbeid mellom USA og Spania, og brukte Generative Adversarial Networks til å forsterke eller endre uttrykk i stille bilder kun.

Uttrykks-endring i stille bilder med GANimation. Kilde: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

I stedet er det nye prosjektet basert på Wav2Lip, som fikk oppmerksomhet i 2020 ved å tilby en potensiell metode for å synkronisere leppbevegelser med nye tale- eller sang-input som aldri har vært med i den opprinnelige videoen.

Den opprinnelige Wav2Lip-arkitekturen ble trent på en korpus av talte setninger fra BBC-arkivene. For å tilpasse Wav2Lip til oppgaven med uttrykksendring, ‘finjusterte’ forskerne arkitekturen på ovennevnte MEAD-datasett.

MEAD består av 40 timers video som viser 60 skuespillere som leser opp en setning mens de utfører en rekke ansiktsuttrykk. Skuespillerne kommer fra 15 forskjellige land og tilbyr en rekke internasjonale karakteristika som skal hjelpe prosjektet (og avledede prosjekter) til å produsere anvendelige og godt generaliserte uttrykks-syntese.

På tidspunktet for forskningen hadde MEAD bare lansert den første delen av datasettene, som viser 47 personer som utfører uttrykk som ‘sint’, ‘forakt’, ‘frykt’, ‘forakt’, ‘lykkelig’, ‘sørgmodig’ og ‘overraskelse’. I denne første utgaven inn i en ny tilnærming, begrenset forskerne omfanget av prosjektet til å påtvange eller endre de oppfattede emosjonene ‘lykkelig’ og ‘sørgmodig’, da disse er de mest lett gjenkjennelige.

Metode og Resultater

Den opprinnelige Wav2Lip-arkitekturen erstatter bare den nedre delen av ansiktet, mens Wav2Lip-Emotion også eksperimenterer med en fullstendig ansikts-erstatningsmask og uttrykks-syntese. Derfor var det nødvendig for forskerne å modifisere de innebygde evalueringsmetodene, da disse ikke var designet for en fullt-ansikts-konfigurasjon.

Forfatterne forbedrer den opprinnelige koden ved å beholde den opprinnelige audio-inndata, og opprettholde konsistensen av leppbevegelser.

Generatoren består av en identitets-encoder, tale-encoder og ansikts-dekoder, i henhold til tidligere arbeid. Tale-elementet blir kodet som stakkede 2D-konvolusjoner som deretter kobles til deres tilhørende ramme/r.

Foruten generatoren, inneholder den modifiserte arkitekturen tre hoved-diskriminatorelementer, som retter seg mot kvaliteten på leppesynkronisering, et emosjons-mål-element, og et adversarialt trent visuelt kvalitets-mål.

For fullt ansikts-rekonstruksjon, inneholdt den opprinnelige Wav2Lip-arbeidet ingen forløper, og derfor ble modellen trent fra scratch. For nedre-ansikts-trening (halv-mask), gikk forskerne ut fra kontrollpunkter inkludert i den opprinnelige Wav2Lip-koden.

Foruten automatisk evaluering, brukte forskerne crowd-sourced mening supplert av en semi-automatisk tjenesteplattform. Arbeiderne vurderer generelt utgangen høyt i forhold til å gjenkjenne de påtvungne emosjonene, mens de bare rapporterte ‘moderate’ vurderinger for bildekvalitet.

Forfatterne foreslår at, foruten å forbedre generert video-kvalitet med videre forbedringer, fremtidige iterasjoner av arbeidet kunne omfatte en bredere rekke av emosjoner, og at arbeidet kunne likevel bli anvendt i fremtiden på merket eller automatisk inferert kilde-data og datasett, som til slutt skulle føre til et autentisk system hvor emosjoner kunne justeres opp eller ned etter brukerens ønske, eller til slutt erstattes av motsatte emosjoner i forhold til den opprinnelige kildevideoen.