Varför djupfalska bilder inte kan förmedla subtilitet i känslor

Igår debuterade avsnitt 6 av Star Wars-spinoffen The Book of Boba Fett och verkar ha delat fanopinionen. Mottaget med allmänt godkännande, finns en svepande antagande över sociala nätverk att den mycket förbättrade återgestaltningen av en yngre Mark Hamill (jämfört med karaktärens tidigare framträdande i säsong 2-finalen av The Mandalorian 2020) är ett direkt resultat av att Industrial Light and Magic anställde den amatöra deepfakes-utövaren Shamook (som radikalt förbättrat sitt arbete med öppen källkod); och att återgestaltningarna av karaktären måste vara en kombination av deepfake-teknik, kanske städad med CGI.

Det finns för närvarande begränsad bekräftelse på detta, även om Shamook har sagt lite till världen sedan ILM-kontraktets NDA inföll. Trots detta är arbetet en extraordinär förbättring jämfört med 2020 års CGI; visar något av den “glans” som är associerad med deepfake-modeller som härrör från arkivverk; och i allmänhet överensstämmer med den bästa nuvarande visuella standarden för deepfakes.

Den andra stranden av fanopinion är att det nya försöket att skapa “Ung Luke” har en annorlunda uppsättning fel än det tidigare. Kanske mest talande är bristen på uttrycksfullhet och subtila, passande känslor i de mycket långa sekvenserna som visar den nya Skywalker-återgestaltningen, mer typisk för deepfakes än CGI; The Verge har beskrivit Boba Fett-simuleringen i termer av ‘det otroligt tomma, frusna ansiktet från 1983’.

Oavsett vilka tekniker som ligger bakom den nya ILM-återgestaltningen, har deepfake-transformationer ett grundläggande problem med subtilitet i känslor som är svårt att åtgärda, antingen genom ändringar i arkitekturen eller genom att förbättra källmaterialet, och som vanligtvis undviks genom de noggranna val som viral deepfakers gör när de väljer ett målvideo.

Begränsningar i ansiktsjustering

De två mest använda deepfake-FOSS-repositorierna är DeepFaceLab (DFL) och FaceSwap, båda härledda från den anonyma och kontroversiella 2017-källkoden, med DFL som har ett enormt försprång i VFX-branschen, trots dess begränsade instrument.

Var och en av dessa paket är initialt uppgiften att extrahera ansiktslandmärken från ansikten som den har kunnat identifiera från källmaterialet (dvs. bildrutor och/eller stillbilder).

Facial Alignment Network (FAN) i aktion, från det officiella repositoriet. Källa: https://github.com/1adrianb/face-alignment

Både DFL och FaceSwap använder Facial Alignment Network (FAN)-biblioteket. FAN kan skapa 2D- och 3D- (se bild ovan) landmärken för extraherade ansikten. 3D-landmärken kan ta omfattande hänsyn till den uppfattade orienteringen av ansiktet, upp till extrema profiler och relativt akuta vinklar.

Det är dock uppenbart att dessa är mycket rudimentära riktlinjer för att styra och utvärdera pixlar:

Från FaceSwap-forumet, en ungefärlig indikator på de tillgängliga landmärkena för ansiktslinjement.

De mest grundläggande linjerna i ansiktet tillåts: ögon kan vidgas och stängas, liksom käken, medan grundläggande konfigurationer av munnen (såsom leende, surt, etc.) kan spåras och anpassas. Ansiktet kan rotera i vilken riktning som helst upp till cirka 200 grader från kamerans synvinkel.

Bortom det är dessa ganska grova stängsel för hur pixlar kommer att bete sig inom dessa gränser, och representerar de enda verkligt matematiska och precisa ansiktsriktlinjerna i hela deepfake-processen. Träningsprocessen i sig jämför bara hur pixlar är fördelade inom eller nära dessa gränser.

Träning i DeepFaceLab. Källa: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Eftersom det inte finns någon bestämmelse för topologi av delar av ansiktet (konvexitet och konkavitet av kinder, åldersdetaljer, dimples, etc.), är det inte ens möjligt att försöka att matcha sådana “subtila” underfunktioner mellan en källa (‘ansikte du vill skriva över’) och en mål (‘ansikte du vill klistra in’) identitet.

Att göra med begränsad data

Att få matchad data mellan två identiteter för deepfake-utbildning är inte lätt. Ju ovanligare vinkeln är som du behöver matcha, desto mer kan du behöva kompromissa med om den (sällsynta) vinkelmatchen mellan identiteterna A och B faktiskt har samma uttryck.

Nära, men inte exakt en match.

I exemplet ovan är de två identiteterna ganska lika i disposition, men detta är så nära som denna datamängd kan komma till en exakt match.

Tydliga skillnader kvarstår: vinkeln och objektivets matchar inte exakt, och inte heller belysningen; ämne A har inte sina ögon helt stängda, till skillnad från ämne B; bildkvaliteten och komprimeringen är sämre i ämne A; och på något sätt verkar ämne B mycket lyckligare än ämne A.

Men, du vet, det är allt vi har, så vi måste träna på det ändå.

Eftersom denna A><B-match har så många ovanliga element i den, kan du vara säker på att det finns få, om några, liknande parningar i uppsättningen. Därför kommer utbildningen att antingen underträna det eller överträna det.

Underträna: Om denna match är en sann minoritet (dvs. föräldradatamängden är ganska stor och inte ofta har egenskaperna hos dessa två foton), kommer den inte att få mycket tränings tid jämfört med mer “populära” (dvs. lätta/neutrala) parningar. Följaktligen kommer denna vinkel/uttryck inte att vara väl representerat i en deepfake som skapats med den tränade modellen.

Överträna: I desperation vid knapphändig data-matchning för så sällsynta A><B-parningar, kommer deepfakers ibland att duplicera parningen många gånger i datamängden, så att den får en bättre chans att bli en funktion i den slutliga modellen. Detta kommer att leda till överträning, där deepfake-videor som skapas med modellen sannolikt kommer att pedantiskt upprepa missmatchningarna som är uppenbara mellan de två fotona, såsom den olika utsträckningen till vilken ögonen är stängda.

I bilden nedan ser vi Vladimir Putin som tränas i DeepFaceLab för att utföra en swap till Kevin Spacey. Här är utbildningen relativt avancerad vid 160 000 iterationer.

Källa: https://i.imgur.com/OdXHLhU.jpg

Den oinvigde kan hävda att Putin ser ut en aning, tja, rymdigare än Spacey i dessa test-swaps. Låt oss se vad ett online-emotionsigenkänningsprogram gör med missmatchningen i uttryck:

Källa: https://www.noldus.com/facereader/measure-your-emotions

Enligt denna särskilda oracle, som analyserar en mycket mer detaljerad ansiktstopografi än DFL och Faceswap, är Spacey mindre arg, äcklad och föraktfull än den resulterande Putin-deepfake i denna parning.

De ojämna uttrycken kommer som en del av ett sammanflätat paket, eftersom de populära deepfakes-applikationerna inte har någon kapacitet att registrera eller matcha uttryck eller känslor, utom underförstått, som en rå pixel>pixel-mappning.

För oss är skillnaderna enorma. Vi lär oss att läsa ansiktsuttryck som en grundläggande överlevnadsförmåga från vår tidigaste barndom, och fortsätter att förlita oss på denna färdighet i vuxen ålder för syften som social integration och framsteg, parning och som en kontinuerlig hotbedömningsram. Eftersom vi är så känsliga för mikrouttryck, kommer deepfake-teknologier så småningom att behöva ta hänsyn till detta.

Mot strömmen

Även om deepfake-revolutionen har medfört löftet om att infoga “klassiska” filmstjärnor i moderna filmer och TV, kan AI inte gå tillbaka i tiden och spela in deras klassiska verk i en mer kompatibel definition och kvalitet, vilket är avgörande för detta användningsfall.

På antagandet (och för våra syften, spelar det ingen roll om det är fel) att Boba Fett-rekonstruktionen av Hamill till stor del var ett tränat deepfake-modell, skulle datamängden för modellen ha behövt utnyttja filmsekvenser från perioden nära tidslinjen för showen (dvs. Hamill som en tidig trettiåring runt produktionstiden för Return of the Jedi, 1981-83)).

Filmen spelades in på Eastman Color Negative 250T 5293/7293 stock, en 250ASA-emulsion som ansågs vara medel till fint kornig vid den tiden, men överträffades i klarhet, färgområde och trohet redan i slutet av 1980-talet. Det är en aktie av sin tid, och den operativa omfattningen av Jedi tillät få close-ups, även för dess ledande skådespelare, vilket gör kornproblem ännu mer kritiska, eftersom källansikten bara upptar en del av ramen.

En serie scener med Hamill i Return of the Jedi (1983).

Utöver detta skulle en stor del av VFX-rika sekvenser som visar Hamill ha körts genom en optisk skrivare, vilket ökar filmkornet. Men tillgång till Lucasfilm-arkiven – som förmodligen har tagit väl hand om masternegativ och kunde erbjuda timmar av ytterligare outnyttjad råfilm – kunde övervinna detta problem.

Ibland är det möjligt att täcka ett antal år av en skådespelares utgång för att öka och diversifiera deepfakes-datamängden. I Hamills fall är deepfakers hämmade av hans förändring i utseende efter en bilolycka 1977, och det faktum att han omedelbart började sin andra karriär som en berömd röstskådespelare efter Jedi, vilket gör källmaterial relativt sällsynt.

Begränsad uttrycksrange?

Om du behöver att din deepfaked skådespelare ska “tugga” scenen, kommer du att behöva källfilm som innehåller en ovanligt stor mängd ansiktsuttryck. Det kan vara så att den enda ålderslämpliga filmen som är tillgänglig inte visar många av dessa uttryck.

Exempelvis, när Return of the Jedi-berättelsens båge kom runt, hade Hamills karaktär i stort sett bemästrat sina känslor, en utveckling som är absolut central för den ursprungliga franchise-myten. Därför, om du skapar en Hamill-deepfake-modell från Jedi-data, kommer du att behöva arbeta med den mer begränsade uttrycksrange och ovanliga ansiktskomposition som Hamills roll krävde av honom vid den tiden, jämfört med hans tidigare inträde i franchise.

Även om man kan hävda att det finns ögonblick i Return of the Jedi där Skywalker-karaktären är under stress och kunde ge material för en större uttrycksrange, är ansiktsmaterialet i dessa scener ändå flyktigt och utsatt för rörelseoskärpa och snabb redigering, typiskt för actionscener; så datamängden är ganska obalanserad.

Generalisering: Sammanfogning av känslor

Om Boba Fett-Skywalker-återgestaltningen verkligen är en deepfake, skulle bristen på uttrycksrange som har riktats mot den från vissa kvartaler inte vara helt på grund av begränsat källmaterial. Deepfakes encoder-decoder-träningsprocess söker en generaliserad modell som lyckas destillera centrala funktioner från tusentals bilder och kan åtminstone försöka att deepfake en vinkel som saknades eller var sällsynt i datamängden.

Om inte för denna flexibilitet, skulle en deepfake-arkitektur enbart vara kopiering och klistring av basmorfer på en per-ram-basis, utan att överväga antingen tidsmässig anpassning eller kontext.

Men den smärtsamma kompromissen för denna flexibilitet är att uttrycksfullhet sannolikt kommer att vara en offer för processen, och eventuella uttryck som är “subtila” kanske inte är de rätta. Vi spelar alla våra ansikten som 100-delars orkestrar och är välutrustade för att göra det, medan deepfake-programvara saknar förmodligen åtminstone stråksektionen.

Disparitet i påverkan av uttryck

Ansiktsrörelser och deras effekter på oss är inte ett enhetligt språk över alla ansikten; den höjda ögonbrynen som ser nonchalant ut på Roger Moore kan se mindre sofistikerad ut på Seth Rogan, medan den förföriska lockelsen från Marilyn Monroe kan översättas till en mer negativ känsla om den deepfakes på en person vars mest data-tillgängliga roll är “arg” eller “påverkad” (såsom Aubrey Plazas karaktär under sju säsonger av Parks and Recreation).

Därför är pixlar-pixelekvivalens över A/B-ansiktsuppsättningar inte nödvändigtvis hjälpsam i detta avseende; men det är allt som erbjuds i state-of-the-art deepfake-FOSS-program.

Vad som förmodligen behövs är en deepfake-ram som inte bara kan känna igen uttryck och härleda känslor, utan också har förmågan att inkarnera högnivåkoncept som arg, förförisk, trött, etc., och att kategorisera dessa känslor och deras relaterade uttryck i var och en av de två ansiktsidentiteterna, snarare än att undersöka och replikera dispositionen av en mun eller en ögonlock.

Publicerad första gången den 3 februari 2022. Uppdaterad 19:47 EET, felaktig namnattribut.