Hvorfor deepfakes ikke kan formidle subtilitet i følelser

I går debuterte episode 6 av Star Wars-spinoffen The Book of Boba Fett, og det ser ut til å ha delt fanenes mening. Mottatt til generell godkjenning, er det en svepende antakelse på sosiale nettverk at den mye bedre gjenskapelsen av en yngre Mark Hamill (i forhold til karakterens tidligere opptreden i sesong 2-finale av The Mandalorian i 2020) er et direkte resultat av at Industrial Light and Magic har ansatt den amatør deepfakes-utøveren Shamook (som hadde radikalt forbedret sitt arbeid med åpen kildekode); og at gjenskapelsene av karakteren må være en kombinasjon av deepfake-teknologi, kanskje ryddet opp med CGI.

Det er for øyeblikket begrenset bekreftelse av dette, selv om Shamook har sagt lite til verden siden ILM-kontraktens NDA descended. Likevel er arbeidet en ekstraordinær forbedring fra 2020-CGI; viser noen av “glansen” forbundet med deepfake-modeller avledet fra arkivverk; og generelt stemmer overens med den beste nåværende visuelle standarden for deepfakes.

Den andre delen av fanens mening er at det nye forsøket på “Young Luke” har en annen type feil enn det forrige. Kanskje mest talende, mangelen på uttrykk og subtile, passende følelser i de meget lange sekvensene med den nye Skywalker-gjenskapelsen, er mer typisk for deepfakes enn CGI; The Verge har beskrevet Boba Fett-simuleringen i termer av ‘uncanny, blank visage of Mark Hamill’s frozen 1983 face’.

Uavhengig av teknologiene bak den nye ILM-gjenskapelsen, har deepfake-omforminger et grunnleggende problem med subtilitet i følelser som er vanskelig å løse enten ved endringer i arkitekturen eller ved å forbedre kildeopplæringsmaterialet, og som vanligvis unngås av de omsorgsfulle valgene som virale deepfakers gjør når de velger et målvideo.

Ansiktets utstillingsbegrensninger

De to deepfake FOSS-repositoryene som oftest brukes, er DeepFaceLab (DFL) og FaceSwap, begge avledet fra den anonyme og kontroversielle 2017 kildekoden, med DFL som har en enormt forsprang i VFX-industrien, til tross for dens begrensede instrumentell.

Hver av disse pakker er oppgitt, opprinnelig, med å trekke ut ansiktslandemerker fra ansiktene som den har klart å identifisere fra kildematerialet (dvs. rammene av videoer og/eller stillbilder).

Facial Alignment Network (FAN) i aksjon, fra det offisielle repository. Kilde: https://github.com/1adrianb/face-alignment

Både DFL og FaceSwap bruker Facial Alignment Network (FAN)-biblioteket. FAN kan lage 2D- og 3D- (se bildet over) landemerker for trukne ansikter. 3D-landemerker kan ta omfattende hensyn til den oppfattede orienteringen av ansiktet, opp til ekstreme profiler og relativt akutte vinkler.

Men det er tydelig at disse er meget rudimentære retningslinjer for å samle og evaluere piksler:

Fra FaceSwap-forumet, en grov indikator på de tilgjengelige landemerker for ansiktslinjementer. Kilde: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

De mest grunnleggende linjementene av ansiktet er tillatt for: øyne kan åpne og lukke, samt kjeven, mens grunnleggende konfigurasjoner av munnen (så som smil, rynker osv.) kan spores og tilpasses. Ansiktet kan rotere i enhver retning opp til rundt 200 grader fra kameraets synsvinkel.

Bortsett fra det, er disse ganske grove hegn for måten pikslene vil oppføre seg innenfor disse grensene, og representerer de eneste virkelig matematiske og presise ansiktsretningene i hele deepfake-prosessen. Treningprosessen selv sammenligner bare måten pikslene er disponert innenfor eller nær disse grensene.

Trening i DeepFaceLab. Kilde: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Ettersom det ikke er noen provisjon for topologi av underdeler av ansiktet (konveksitet og konkavitet av kinn, aldringsdetaljer, dimpler osv.), er det ikke engang mulig å forsøke å matche slike “subtile” under-egenskaper mellom en kilde (‘ansikt du ønsker å skrive over’) og en mål (‘ansikt du ønsker å lime inn’) identitet.

Å gjøre det beste med begrensede data

Å få matchet data mellom to identiteter for å trene deepfakes er ikke lett. Jo mer uvanlig vinkelen du trenger å matche, jo mer må du kompromisse med om den (sjeldne) vinkelmatchen mellom identitet A og B faktisk har samme uttrykk.

Nært, men ikke helt en match.

I eksemplet over er de to identitetene ganske like i disposisjon, men dette er så nært som dette datasettet kan komme til en eksakt match.

Åpenbare forskjeller forblir: vinkelen og linser ikke eksakt matcher, og heller ikke lyset; subjekt A har ikke øynene helt lukket, i motsetning til subjekt B; bilde kvalitet og kompresjon er dårligere i subjekt A; og noen hvordan subjekt B ser mye lykkeligere ut enn subjekt A.

Men, du vet, det er alt vi har, så vi må trene på det likevel.

Fordi denne A><B-matchen har så mange uvanlige elementer i den, kan du være sikker på at det er få, hvis noen, lignende paringer i settet. Derfor vil treningen enten underfitte det eller overfitte det.

Underfit: Hvis denne matchen er en ekte minoritet (dvs. foreldre-datasettet er ganske stort, og ikke ofte viser karakteristikkene til disse to bildene), vil det ikke få mye treningstid i forhold til mer “populære” (dvs. enkle/nøytrale) paringer. Derfor vil denne vinkelen/uttrykket ikke bli godt representert i en deepfake laget med den trenede modellen.

Overfit: I desperation over sjeldne data-matcher for slike sjeldne A><B-paringer, vil deepfakers noen ganger duplisere paringen mange ganger i datasettet, så det får en bedre sjanse til å bli en funksjon i den endelige modellen. Dette vil føre til overfitting, hvor deepfake-videoer laget med modellen sannsynligvis vil pedantisk gjenta mismatches som er åpenbare mellom de to bildene, slik som den ulike utstrekningen til øynene er lukket.

I bildet under ser vi Vladimir Putin blir trenet i DeepFaceLab for å utføre en swap til Kevin Spacey. Her er treningen relativt avansert på 160 000 iterasjoner.

Kilde: https://i.imgur.com/OdXHLhU.jpg

Den kausale observatøren kunne hevde at Putin ser litt, vel, romligere enn Spacey i disse test-swappene. La oss se hva et nettbasert følelsesgjenkjenning-program gjør med mismatchet i uttrykk:

Kilde: https://www.noldus.com/facereader/measure-your-emotions

Ifølge dette orakelet, som analyserer en mye mer detaljert ansikts-topografi enn DFL og Faceswap, er Spacey mindre sinna, frastøtt og foraktelig enn den resulterende Putin-deepfake i denne paringen.

De ulike uttrykkene kommer som en del av en sammenflettet pakke, ettersom de populære deepfakes-applikasjonene ikke har noen kapasitet til å registrere eller matche uttrykk eller følelser, bortsett fra taktisk, som en rå piksel>piksel-mapping.

For oss er forskjellene enorme. Vi lærer å lese ansiktsuttrykk som en grunnleggende overlevelses-teknikk fra våre tidligste år, og fortsetter å stole på denne ferdigheten i voksen alder for formål med sosial integrasjon og fremgang, paring, og som en pågående trusselvurderings-ramme. Ettersom vi er så sensitiviserte til mikro-uttrykk, vil deepfake-teknologier til slutt måtte ta hensyn til dette.

Mot strømmen

Selv om deepfake-revolusjonen har bragt løftet om å sette “klassiske” filmstjerner inn i moderne filmer og TV, kan AI ikke gå tilbake i tid og spille inn deres klassiske verk på en mer kompatibel definisjon og kvalitet, som er avgjørende for denne bruksarten.

På antagelsen (og for våre formål, gjelder det ikke om det er feil) at Boba Fett-Hamill-gjenskapelsen i stor grad var resultatet av en trenet deepfake-modell, ville datasettet for modellen måttet utnytte filmopptak fra perioden nær tidslinjen for showet (dvs. Hamill som en tidlig trettiåring rundt tidspunktet for produksjon av Return of the Jedi, 1981-83).

Filmen var spilt inn på Eastman Color Negative 250T 5293/7293-utgave, en 250ASA-emulsjon som ble betraktet som medium til fin-kornet på den tiden, men ble overgått i klarhet, fargeområde og trofasthet selv ved slutten av 1980-årene. Det er en utgave av sin tid, og den operatiske omfanget av Jedi ga få nærbilder til og med til hovedrolleinnehaverne, gjorde korn-problemer enda mer kritiske, ettersom kilde-ansiktene bare okkuperte en del av rammen.

En rekke scener av Hamill i Return of the Jedi (1983).

I tillegg ville mye av VFX-utfylte filmopptakene som viser Hamill ha blitt kjørt gjennom en optisk skriver, og øke filmkornet. Men tilgang til Lucasfilm-arkivene – som har tatt godt vare på master-negativene og kunne tilby timer med ekstra ubrukt råfilm – kunne overvinne dette problemet.

Noen ganger er det mulig å dekke et område av års verk av en skuespillers utgave for å øke og diversifisere deepfakes-datasettet. I Hamills tilfelle er deepfakers hemmet av hans endring i utseende etter en bilulykke i 1977, og faktum at han nesten umiddelbart begynte sin andre karriere som en anerkjent stemmeskuespiller etter Jedi, gjorde kilde-materialet relativt sjeldent.

Begrenset rekkevidde av følelser?

Hvis du trenger din deepfakede skuespiller til å tygge scenariet, må du ha kildefilm som inneholder en usedvanlig bred rekke av ansiktsuttrykk. Det kan hende at det eneste alder-egnet filmopptak som er tilgjengelig, ikke viser mange av disse uttrykkene.

For eksempel, på tidspunktet da historie-arket til Return of the Jedi kom rundt, hadde Hamills karakter i stor grad mestret sine følelser, en utvikling absolutt sentral til den opprinnelige franchise-myten. Derfor, hvis du lager en Hamill-deepfake-modell fra Jedi-data, må du jobbe med den mer begrensede rekkevidden av følelser og uvanlige ansikts-komposisjon som Hamills rolle krevde av ham på den tiden, sammenlignet med hans tidligere innganger i franchise.

Selv om du kan tenke at det er øyeblikk i Return of the Jedi hvor Skywalker-karakteren er under stress, og kunne gi materiale for en større rekke av uttrykk, er ansiktsmateriale i disse scenene likevel flyktig og underlagt bevegelsesuskarpa og rask redigering typisk for action-scener; så dataene er ganske ubalansert.

Generalisering: Sammenslåing av følelser

Hvis Boba Fett-Skywalker-gjenskapelsen virkelig er en deepfake, ville mangelen på uttrykksrekke som er rettet mot det fra noen kilder, ikke være helt skyldes begrensede kilde-materiale. Encoder-decoder-treningsprosessen til deepfakes søker en generalisert modell som vellykket destillerer sentrale funksjoner fra tusenvis av bilder, og kan i det minste forsøke å deepfake en vinkel som manglet eller var sjelden i datasettet.

Hvis ikke for denne fleksibiliteten, ville en deepfake-arkitektur bare kopiere og lime inn basis-morfer på en per-ramme-basis, uten å vurdere hverken tidsmessig tilpasning eller kontekst.

Men, det smertefulle kompromisset for denne fleksibiliteten er at uttrykks-trofasthet sannsynligvis vil være en offer for prosessen, og noen uttrykk som er ‘subtile’ kan ikke være de riktige. Vi spiller alle våre ansikter som 100-delt orkester, og er godt utstyrt til å gjøre det, mens deepfake-programvare mangler kanskje hele streng-seksjonen.

Uenighet i uttrykk

Ansiktsbevegelser og deres effekter på oss er ikke et enhetlig språk over alle ansikter; det hevede øyebrynet som ser nonchalant ut på Roger Moore kan se mindre sofistikert ut på Seth Rogan, mens den forførende tiltrækningen til Marilyn Monroe kan oversettes til en mer negativ følelse hvis den deepfakes på en person hvis mest data-tilgjengelige rolle er ‘sinna’ eller ‘utilfreds’ (så som Aubrey Plazas karakter over syv sesonger av Parks and Recreation).

Derfor er piksel-for-piksel-ekvivalens over A/B-ansiktsett ikke nødvendigvis nyttig i denne hensikt; men det er alt som er tilbudt i state-of-the-art deepfake FOSS-programvare.

Hva som kanskje er nødvendig, er en deepfake-ramme som ikke bare kan gjenkjenne uttrykk og slutte seg til følelser, men har evnen til å inkorporere høynivå-konsepter som sinna, forførende, kjedelig, trøtt, osv., og å kategorisere disse følelsene og deres relaterte uttrykk i hver av de to ansiktsett-identiteter, snarere enn å undersøke og replikere disposisjonen av en munn eller et øyelokk.

Publisert første gang 3. februar 2022. Oppdatert 19:47 EET, feilaktig navnattribusjon.