Endring av Emosjoner i Videoopptak med AI

Forskere fra Hellas og Storbritannia har utviklet en ny dyp læringsteknikk for å endre uttrykk og åpenbart humør hos personer i videoopptak, samtidig som de beholder trofastheten til deres lebebevegelser i forhold til den originale lyden på en måte som tidligere forsøk ikke har kunnet matche.

Fra videoen som følger med artikkelen, en kort klipp av skuespiller Al Pacino som får uttrykket sitt endret av NED, basert på høynivåsemantiske konsepter som definerer enkeltansiktuttrykk og deres assosierte emosjon. ‘Reference-Driven’-metoden til høyre tar den tolkede emosjonen fra en kildevideo og anvender den på hele videosekvensen. Kilde: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Dette feltet hører til den voksende kategorien deepfaked emosjoner, der identiteten til den opprinnelige taleren beholder, men uttrykk og mikro-uttrykk endres. Ettersom denne AI-teknologien modnes, åpner den muligheter for film- og TV-produksjoner å gjøre subtile endringer i skuespillernes uttrykk – men åpner også en ganske ny kategori av ’emosjonsendrede’ video deepfakes.

Endring av Ansikter

Ansiktsuttrykk for offentlige personer, som politikere, er rigorous kuratert; i 2016 kom Hillary Clintons ansiktsuttrykk under intens mediegransking for deres potensielle negative innvirkning på hennes valgmuligheter; ansiktsuttrykk, det viser seg, er også et emne av interesse for FBI; og de er en kritisk indikator i jobbintervjuer, gjør (fjern) prospektet om en live ‘uttrykkskontroll’-filter en ønskelig utvikling for jobbsøkere som prøver å passere en forhåndsvisning på Zoom.

En studie fra 2005 i Storbritannia hevdet at ansiktsutseende påvirker valgavgjørelser, mens en artikkel i Washington Post i 2019 undersøkte bruk av ‘uten kontekst’ video klipp-deling, som for øyeblikket er det nærmeste man har kommet til å kunne endre hvordan en offentlig person synes å oppføre seg, reagere eller føle.

Mot Neuralt Uttrykksmanipulasjon

For øyeblikket er tilstanden av kunnskapen i å manipulere ansiktsuttrykk ganske rudimentær, siden det innebærer å takle disentanglement av høynivåkonsepter (slik som syk, sinne, lykkelig, smil) fra faktisk videoinnhold. Selv om tradisjonelle deepfake-arkitekturer synes å oppnå denne disentanglementen ganske bra, å speile emosjoner over forskjellige identiteter krever at to treningansiktssett inneholder matchende uttrykk for hver identitet.

Typiske eksempler på ansiktsbilder i datasett brukt til å trene deepfakes. For øyeblikket kan man bare manipulere en persons ansiktsuttrykk ved å lage ID-spesifikke uttrykk-uttrykk-veier i en deepfake neuralt nettverk. 2017-æras deepfake-programvare har ingen intrinsisk, semantisk forståelse av et ‘smil’ – det kartlegger og matcher bare oppfattede endringer i ansiktsgeometri over de to subjektene.

Hva som er ønskelig, og som ikke har blitt fullstendig oppnådd, er å gjenkjenne hvordan subjekt B (for eksempel) smiler, og bare lage en ‘smil’-bryter i arkitekturen, uten å måtte kartlegge det til et ekvivalent bilde av subjekt A som smiler.

Den nye artikkelen heter Neuralt Emosjonsdirektør: Tale-bevarende semantisk kontroll av ansiktsuttrykk i “i-felt”-videoer, og kommer fra forskere ved Skolen for elektrisk og datateknikk ved National Technical University of Athens, Instituttet for datateknikk ved Foundation for Research and Technology Hellas (FORTH), og College of Engineering, Mathematics and Physical Sciences ved University of Exeter i Storbritannia.

Laget har utviklet en ramme kalt Neuralt Emosjonsdirektør (NED), som inkorporerer et 3D-basert emosjons-oversettelsesnettverk, 3D-basert Emosjonsmanipulator.

NED tar imot en mottatt sekvens av uttrykksparametere og oversetter dem til et målområde. Det er trent på uparallelt data, som betyr at det ikke er nødvendig å trene på datasett hvor hver identitet har korresponderende ansiktsuttrykk.

Videoen, vist ved slutten av denne artikkelen, går gjennom en rekke tester hvor NED påfører en åpenbart emosjonell tilstand på opptak fra YouTube-datasettet.

Forfatterne hevder at NED er den første video-baserte metoden for å ‘regissere’ skuespillere i tilfeldige og uforutsigbare situasjoner, og har gjort koden tilgjengelig på NEDs prosjektside.

Metode og Arkitektur

Systemet er trent på to store video-datasett som har blitt annotert med ’emosjon’-etiketter.

Utdataene er aktivert av en video-ansiktsrenderer som renderer den ønskede emosjonen til video ved hjelp av tradisjonelle ansiktsbilde-synteseteknikker, inkludert ansiktssegmentering, ansiktslandmerke-justering og blanding, hvor bare ansiktsområdet syntetiseres, og deretter påføres til den originale opptaken.

Arkitekturen for pipeline til Neural Emosjonsdetektor (NED). Kilde: https://arxiv.org/pdf/2112.00585.pdf

Først får systemet 3D-ansikts-gjenopprettelse og påfører ansiktslandmerke-justeringer på inndata-rammene for å identifisere uttrykket. Deretter blir disse gjenopprettede uttrykksparametrene overført til 3D-basert Emosjonsmanipulator, og en stil-vektor beregnet ved hjelp av enten en semantisk etikett (slik som ‘lykkelig’) eller en referansefil.

En referansefil er en video som portretterer en bestemt gjenkjent uttrykk/emosjon, som deretter påføres til hele målvideoen, og bytter ut det originale uttrykket.

Stadier i emosjons-overførings-pipeline, med ulike skuespillere sampet fra YouTube-videoer.

Den endelige genererte 3D-ansiktsformen blir deretter koblet sammen med Normalisert Gjennomsnittlig Ansiktskoordinat (NMFC) og øye-bildene (de røde prikkene i bildet over), og overført til neuralt renderer, som utfører den endelige manipulasjonen.

Resultater

Forskerne utførte omfattende studier, inkludert bruker- og ablasjonsstudier, for å evaluere effektiviteten av metoden mot tidligere arbeid, og fant at i de fleste kategorier, NED overgår den nåværende tilstanden av kunnskapen i denne undersektoren av neuralt ansiktsmanipulasjon.

Artikkelforfatterne forestiller seg at senere implementeringer av dette arbeidet, og verktøy av en lignende natur, vil være nyttig primært i TV- og filmindustrien, og uttaler:

‘Vår metode åpner en mengde nye muligheter for nyttige anvendelser av neurale renderingsteknologier, fra film-postproduksjon og videospill til foto-realisticke affektive avatarer.’

Dette er et tidlig arbeid i feltet, men ett av de første som prøver å gjøre ansikts-reenactment med video i stedet for stille bilder. Selv om videoer i virkeligheten er mange stille bilder som løper sammen svært raskt, er det temporale overveielser som gjør tidligere anvendelser av emosjons-overføring mindre effektive. I den tilhørende videoen og eksemplene i artikkelen, inkluderer forfatterne visuelle sammenligninger av NEDs utdata mot andre sammenlignbare metoder.

Mer detaljerte sammenligninger og mange flere eksempler på NED, kan finnes i den fulle videoen nedenfor:

3. desember 2021, 18:30 GMT+2 – Ved forespørsel fra en av artikkelforfatterne, ble korreksjoner gjort vedrørende ‘referansefilen’, som jeg feilaktig hevdet var et stille bilde (når det i virkeligheten er en video klipp). Også en korreksjon av navnet på Instituttet for datateknikk ved Foundation for Research and Technology.
3. desember 2021, 20:50 GMT+2 – En annen forespørsel fra en av artikkelforfatterne for en ytterligere korreksjon av navnet på ovennevnte institusjon.