Gryningen för Deepfaked Emotioner

Forskare har utvecklat en ny maskinlärningsteknik för att godtyckligt påtvinga nya känslor på ansikten i video, genom att anpassa befintliga tekniker som nyligen har dykt upp som lösningar för att matcha läpprörelser till utländsk språkdubbing.

Forskningen är ett lika samarbete mellan Northeastern University i Boston och Media Lab på MIT, och har titeln Invertable Frowns: Video-to-Video Facial Emotion Translation. Även om forskarna medger att den initiala kvaliteten på resultaten måste utvecklas genom ytterligare forskning, hävdar de att tekniken, som kallas Wav2Lip-Emotion, är den första i sitt slag som direkt tar itu med fullständig videouttrycksmodifikation genom neurala nätverkstekniker.

Bas-koden har släppts på GitHub, även om modellkontrollpunkter kommer att läggas till i den öppna källkodsarkivet senare, lovar författarna.

Till vänster, en ‘sorgsen’ bildruta från källvideon. Till höger, en ‘glad’ bildruta. I mitten finns två embryonala tillvägagångssätt för att syntetisera alternativa känslor – översta raden: en fullständigt maskerad ansikte där hela uttrycksytan har ersatts; nedre raden: ett mer traditionellt Wav2Lip-tillvägagångssätt, som endast ersätter den nedre delen av ansiktet. Källa: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Enkel Video som Källdata

I teorin är sådana manipulationer möjliga nu genom fullständig utbildning på traditionella deepfake-repositorier som DeepFaceLab eller FaceSwap. Emellertid skulle den standardiserade arbetsflödesprocessen innebära att man använder en alternativ identitet till ‘mål’-identiteten, såsom en skådespelare som imiterar målet, vars egna uttryck skulle överföras till en annan person, tillsammans med resten av prestationen. Dessutom skulle deepfake-röstkloningsmetoder vanligtvis vara nödvändiga för att slutföra illusionen.

Dessutom skulle det faktiskt ändra uttrycket för mål1>mål1 i en enda källvideo under dessa populära ramverk innebära att man ändrar ansiktsjusteringsvektorerna på ett sätt som dessa arkitekturer för närvarande inte kan hantera.

Wav2Lip-Emotion upprätthåller läppsynkronisering av den ursprungliga videoaudiologen medan uttrycken omvandlas.

Istället syftar Wav2Lip-Emotion till att ‘kopiera och klistra in’ uttryck som är relaterade till känslor från en del av en video och ersätta dem i andra punkter, med en självpåtagen sparsamhet med källdata som avses att erbjuda en lägre ansträngning för uttrycksmanipulering.

Offline-modeller kunde senare utvecklas som tränas på alternativa videor av talaren, vilket eliminerar behovet av att någon video innehåller en ‘palett’ av uttryckstillstånd med vilka man kan manipulera videon.

Möjliga Syften

Författarna föreslår ett antal tillämpningar för uttrycksmodifikation, inklusive en livevideofilter för att kompensera för effekterna av PTSD och ansiktsförlamning. Artikeln observerar:

‘Personer med eller utan hämmade ansiktsuttryck kan dra nytta av att justera sina egna uttryck för att bättre passa deras sociala omständigheter. En person kan vilja ändra uttrycken i videor som visas för dem. Talare kan skrika åt varandra under en videokonferens, men ändå vilja samla innehållet i deras utbyte utan de obehagliga uttrycken. Eller en filmregissör kan vilja förstärka eller minska uttrycken hos en skådespelare.’

Eftersom ansiktsuttryck är en nyckel- och kärnindikator för avsikt, även där det kan nöta mot orden som uttalas, erbjuder förmågan att ändra uttryck också, i viss mån, möjligheten att ändra hur kommunikationen tas emot.

Tidigare Arbete

Intresset för maskinlärningsuttrycksändring går tillbaka till åtminstone 2012, när ett samarbete mellan Adobe, Facebook och Rutgers University föreslog en metod för att ändra uttryck genom att använda en tensorbaserad 3D-geometriåterställning, som mödosamt påtvingade en CGI-nätverk över varje bildruta i en målvideo för att åstadkomma ändringen.

2012 års Adobe/Facebook-forskning manipulerade uttryck genom att påtvinga traditionella, CGI-drivna ändringar på videoinspelningar. Uttryck kunde förstärkas eller undertryckas. Källa: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Även om resultaten var lovande, var tekniken betungande och resurserna som behövdes var betydande. Vid den här tidpunkten var CGI långt före datorseende-baserade tillvägagångssätt för direkt funktion och pixelmanipulering.

Mer relaterat till den nya artikeln är MEAD, en dataset och uttrycksgenereringsmodell som släpptes 2020, som kan generera ‘talande-huvuden’-videor, men utan den nivå av sofistikering som potentiellt kan erhållas genom att direkt modifiera källvideon.

Uttrycksgenerering med 2020 års MEAD, ett samarbete mellan SenseTime Research, Carnegie Mellon och tre kinesiska universitet. Källa: https://wywu.github.io/projects/MEAD/MEAD.html

2018 publicerades en annan artikel, med titeln GANimation: Anatomiskt medveten ansiktsanimation från en enda bild, som en akademisk forskningssamarbete mellan USA och Spanien, och som använde generativa adversariala nätverk för att förstärka eller ändra uttryck i stillbilder.

Ändra uttryck i stillbilder med GANimation. Källa: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Istället är det nya projektet baserat på Wav2Lip, som fick uppmärksamhet 2020 genom att erbjuda en potentiell metod för att återställa läpprörelser för att anpassa nytt tal (eller sång) indata som aldrig funnits i den ursprungliga videon.

Den ursprungliga Wav2Lip-arkitekturen tränades på en korpus av talade meningar från BBC-arkiven. För att anpassa Wav2Lip till uppgiften att ändra uttryck, ‘finjusterade’ forskarna arkitekturen på den ovannämnda MEAD-databasen.

MEAD består av 40 timmars video som visar 60 skådespelare som läser upp samma mening medan de utför en mängd olika ansiktsuttryck. Skådespelarna kommer från 15 olika länder och erbjuder en rad internationella egenskaper som syftar till att hjälpa projektet (och derivatprojekt) att producera tillämplig och välgeneraliserad uttryckssyntes.

Vid forskningstidpunkten hade MEAD endast släppt den första delen av databasen, som visar 47 personer som utför uttryck som ‘arg’, ‘avsmak’, ‘rädsla’, ‘förakt’, ‘glad’, ‘sorgsen’ och ‘överraskad’. I denna första utgåva i ett nytt tillvägagångssätt begränsade forskarna projektets omfattning till att påtvinga eller ändra de uppfattade känslorna ‘glad’ och ‘sorgsen’, eftersom dessa är de mest lättigenkännliga.

Metod och Resultat

Den ursprungliga Wav2Lip-arkitekturen ersätter endast den nedre delen av ansiktet, medan Wav2Lip-Emotion också experimenterar med en fullständig ansiktsmask och uttryckssyntes. Därför var det nödvändigt för forskarna att ytterligare modifiera de inbyggda utvärderingsmetoderna, eftersom dessa inte var utformade för en fullständig ansiktskonfiguration.

Författarna förbättrar den ursprungliga koden genom att behålla den ursprungliga ljudindata, vilket upprätthåller läpprörelsernas konsekvens.

Generatorelementet har en identitetsencoder, talencoder och ansiktsdecoder, i enlighet med det tidigare arbetet. Talet kodas ytterligare som staplade 2D-konvolutioner som sedan konkateneras till deras associerade bildruta/r.

Förutom det generativa elementet har den modifierade arkitekturen tre huvudsakliga diskrimineringskomponenter, som riktar sig mot kvaliteten på läppsynkronisering, ett känslomässigt mål-element och ett visuellt kvalitetsmål som tränats med motstånd.

För fullständig ansiktsrekonstruktion innehöll den ursprungliga Wav2Lip-arkitekturen ingen föregångare, och därför tränades modellen från scratch. För lägre ansiktsutbildning (halvmask) gick forskarna vidare från kontrollpunkter som ingick i den ursprungliga Wav2Lip-koden.

Förutom automatisk utvärdering använde forskarna crowd-sourced åsikt som tillhandahålls av en semi-automatisk serviceplattform. Arbetarna bedömde i allmänhet utdata högt i fråga om att känna igen de påtvingade känslorna, medan de endast rapporterade ‘måttliga’ utvärderingar för bildkvalitet.

Författarna föreslår att, förutom att förbättra den genererade videoens kvalitet med ytterligare förfiningar, framtida iterationer av arbetet kunde omfatta en bredare utbud av känslor, och att arbetet kunde lika gärna tillämpas i framtiden på märkta eller automatiskt härledda källdata och dataset, vilket skulle leda till en autentisk system där känslor kunde justeras upp eller ner efter användarens önskemål, eller slutligen ersättas av motsatta känslor i förhållande till den ursprungliga källvideon.