Hvorfor dybe forfalskninger ikke kan formidle subtilitet af følelse

I går debuterede episode 6 af Star Wars-spin-off-serien The Book of Boba Fett, og det synes at have delt fanernes mening. Der er en generel antagelse på sociale netværk, at den meget forbedrede genskabelse af en yngre Mark Hamill (i forhold til karakterens tidligere optræden i sæson 2-finale af The Mandalorian i 2020) er et direkte resultat af, at Industrial Light and Magic har hyret den amatør-dybe forfalskningspraktiker Shamook (der havde radikalt forbedret deres arbejde med open source-software); og at genskabelserne af karakteren må være en kombination af dybe forfalskningsteknologi, måske renset op med CGI.

Der er i øjeblikket begrænset bekræftelse heraf, selvom Shamook har sagt lidt til verden, siden ILM-kontrakten blev indgået. Alligevel er arbejdet en ekstraordinær forbedring af 2020-CGI; viser nogen af den “glans”, der er forbundet med dybe forfalskningsmodeller, der er afledt af arkivværker; og generelt overensstemmer med den bedste nuværende visuelle standard for dybe forfalskninger.

Den anden strøm af fan-mening er, at det nye forsøg på at genskabe “Young Luke” har en anden sæt fejl end det tidligere; Måske mest talende, manglen på udtryksfuldhed og subtile, passende følelser i de meget lange sekvenser med den nye Skywalker-genskabelse, er mere typisk for dybe forfalskninger end CGI; The Verge har beskrevet Boba Fett-simulationen i termer af “den ukomfortable, tomme ansigtsudtryk af Mark Hamills fastfrosne ansigt fra 1983”.

Uanset hvilke teknologier, der ligger bag den nye ILM-genskabelse, har dybe forfalskninger et grundlæggende problem med subtilitet af følelse, der er svær at tackle enten gennem ændringer i arkitekturen eller gennem forbedring af kilde-træningsmaterialet, og som typisk undgås af de omhyggelige valg, der træffes af virale dybe forfalskere, når de vælger et mål-video.

Ansigtets begrænsninger

De to dybe forfalsknings-FOSS-repositorier, der mest almindeligt bruges, er DeepFaceLab (DFL) og FaceSwap, begge afledt fra den anonyme og kontroversielle 2017-kildekode, med DFL havende en enorm føring i VFX-industrien, på trods af dets begrænsede instrumentlighed.

Hver af disse pakker er opgaven, initialt, at udtrække ansigtets landemærker fra ansigterne, som det har kunnet identificere fra kilde-materialet (dvs. rammer af videoer og/eller stadig billeder).

Facial Alignment Network (FAN) i aktion, fra det officielle repository. Kilde: https://github.com/1adrianb/face-alignment

Both DFL og FaceSwap bruger Facial Alignment Network (FAN)-biblioteket. FAN kan oprette 2D- og 3D-landemærker (se billedet ovenfor) for udtrukne ansigter. 3D-landemærker kan tage omfattende hensyn til den opfattede orientering af ansigtet, op til ekstreme profiler og relativt skarpe vinkler.

Det er dog tydeligt, at disse er meget rudimentære retningslinjer for at samle og evaluere pixels:

Fra FaceSwap-forummet, en grov indikator for de tilgængelige landemærker for ansigtets linjer. Kilde: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

De mest grundlæggende linjer af ansigtet er tilladt for: Øjne kan åbne og lukke, som kan kæben, mens grundlæggende konfigurationer af munden (såsom smil, surt udtryk osv.) kan spores og tilpasses. Ansigtet kan rotere i enhver retning op til omkring 200 grader fra kameraets synspunkt.

Udenfor dette er disse ret gode hegn for, hvordan pixels vil opføre sig inden for eller nær disse grænser, og repræsenterer de eneste sande matematiske og præcise ansigtets retningslinjer i hele dybe forfalskningsprocessen. Træningsprocessen selv sammenligner blot, hvordan pixels er disponeret inden for eller nær disse grænser.

Træning i DeepFaceLab. Kilde: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Da der ikke er nogen bestemmelse for topologi af underdele af ansigtet (konvekthed og konkavitet af kinder, aldringsdetaljer, dimpler osv.), er det ikke engang muligt at forsøge at matche sådanne “subtile” under-egenskaber mellem en kilde ( “ansigt, du vil skrive over” ) og en mål ( “ansigt, du vil indsætte” ) identitet.

At klare sig med begrænsede data

At få matchet data mellem to identiteter til formålet med at træne dybe forfalskninger er ikke let. Jo mere usædvanligt vinklen, du har brug for at matche, desto mere kan du være nødt til at gå på kompromis med, om den (sjældne) vinkelmatch mellem identiteter A og B faktisk viser den samme udtryk.

Tæt, men ikke helt en match.

I eksemplet ovenfor er de to identiteter ret ens i disposition, men dette er så tæt, som dette dataset kan komme på en præcis match.

Åbenlyse forskelle er til stede: Vinklen og linserne matcher ikke helt, og heller ikke lyset; emne A har ikke øjnene helt lukket, i modsætning til emne B; billedkvaliteten og komprimeringen er dårligere i emne A; og på en eller anden måde synes emne B at være meget “gladere” end emne A.

Men, du ved, det er alt, vi har, så vi er nødt til at træne på det alligevel.

Fordi denne A><B-match har så mange usædvanlige elementer i den, kan du være sikker på, at der er få, hvis overhovedet nogen, lignende paringer i sættet. Derfor vil træningen enten underfitte eller overfitte det.

Underfit: Hvis denne match er en sand minoritet (dvs. det overordnede dataset er ret stort og ikke ofte viser karakteristikkerne af disse to billeder), vil det ikke få meget træningstid i forhold til mere “populære” (dvs. lette/neutrale) paringer. Følgelig vil denne vinkel/udtryk ikke blive godt repræsenteret i en dybe forfalskning lavet med det trænede model.

Overfit: I desperation over de sjældne data-matches for sådanne sjældne A><B-paringer, vil dybe forfalskere nogle gange gentage paringen mange gange i datasettet, så det får en bedre chance for at blive en funktion i den endelige model. Dette vil føre til overfitning, hvor dybe forfalskningsvideoer lavet med modellen er sandsynligvis pedantisk gentage mismatches, der er tydelige mellem de to billeder, såsom den forskellige udstrækning, hvori øjnene er lukket.

I billedet nedenfor ser vi Vladimir Putin blive trænet i DeepFaceLab til at udføre en swap til Kevin Spacey. Her er træningen ret avanceret på 160.000 iterationer.

Kilde: https://i.imgur.com/OdXHLhU.jpg

Den nonchalanterende iagttager kan påstå, at Putin ser en lille smule “rummeligere” end Spacey i disse test-swaps. Lad os se, hvad et online-emotion-genkendelsesprogram gør af mismatches i udtryk:

Kilde: https://www.noldus.com/facereader/measure-your-emotions

Ifølge dette bestemte orakel, der analyserer en langt mere detaljeret ansigtstopografi end DFL og Faceswap, er Spacey mindre “vred”, “foragtfuld” og “foragtlig” end den resulterende Putin-dybe forfalskning i denne paring.

De ulige udtryk kommer som en del af en sammenflettet pakke, da de populære dybe forfalskningsapplikationer ikke har nogen kapacitet til at registrere eller matche udtryk eller følelser, undtagen tavs, som en rå pixel>pixel-mapping.

Til os er forskellene enorme. Vi lærer at læse ansigtsudtryk som en grundlæggende overlevelsesstrategi fra vores tidligste år og fortsætter med at stole på denne færdighed i voksenlivet til formål af social integration og fremgang, paring og som en løbende trusselsvurderingsramme. Da vi er så følsomme over for mikro-udtryk, vil dybe forfalskningsteknologier til sidst være nødt til at tage hensyn til dette.

Mod strømmen

Selvom dybe forfalsknings-revolutionen har bragt løftet om at indsætte “klassiske” filmstjerner i moderne film og tv, kan AI ikke gå tilbage i tiden og optage deres klassiske værker i en mere kompatibel definition og kvalitet, hvilket er afgørende for denne brugsmodel.

Under antagelse (og for vores formål, er det ikke vigtigt, om det er forkert), at Boba Fett-Hamill-rekonstruktionen primært var resultatet af en trænet dybe forfalskningsmodel, ville datasettet for modellen have behov for at udnytte optagelser fra perioden nær til tidslinjen for showet (dvs. Hamill som en tidlig trediver omkring tidspunktet for produktion af Return of the Jedi, 1981-83).

Filmen blev optaget på Eastman Color Negative 250T 5293/7293-udstyr, en 250ASA-emulsion, der på det tidspunkt blev betragtet som medium til fin-kornet, men blev overgået i klarethed, farveskala og trofasthed, selv i slutningen af 1980’erne. Det er et udstyr fra sin tid, og den operatiske omfang af Jedi gav få close-ups, selv til dens hovedrolleindehavere, hvilket gjorde kornproblemer endnu mere kritiske, da kildens ansigter kun optog en del af billedrammen.

En række scener af Hamill i Return of the Jedi (1983).

Dertil kommer, at mange af VFX-belagte optagelser med Hamill ville være blevet kørt gennem en optisk printer, hvilket ville øge filmkornet. Men adgang til Lucasfilm-arkiverne – som sandsynligvis har taget godt hånd om master-negative og kunne tilbyde timer af ekstra ubrugt råmateriale – kunne overvinde dette problem.

Nogle gange er det muligt at dække et bredt spektrum af år af en skuespillers output for at øge og diversificere dybe forfalsknings-datasettet. I Hamills tilfælde er dybe forfalskere hæmmet af hans forandring i udseende efter en bilulykke i 1977, og det faktum, at han straks begyndte sin anden karriere som en anerkendt stemmeskuespiller efter Jedi, hvilket gjorde kildematerialet ret knap.

Begrænset udvalg af følelser?

Hvis du har brug for, at din dybe forfalskede skuespiller skal tygge scenery, har du brug for kildemateriale, der indeholder et usædvanligt bredt udvalg af ansigtsudtryk. Det kan være, at det eneste alderspassende materiale, der er tilgængeligt, ikke viser mange af disse udtryk.

For eksempel, da historiebuen af Return of the Jedi kom rundt, havde Hamills karakter i høj grad mestret sine følelser, en udvikling, der var absolut central for den originale franchise-mythologi. Derfor, hvis du laver en Hamill-dybe forfalskningsmodel fra Jedi-data, vil du være nødt til at arbejde med det mere begrænsede udvalg af følelser og usædvanlige ansigtskomposition, som Hamills rolle krævede af ham på det tidspunkt, i forhold til hans tidligere indgange i franchise.

Selvom man kan mene, at der er øjeblikke i Return of the Jedi, hvor Skywalker-karakteren er under pres, og kunne give materiale til et bredere udvalg af udtryk, er ansigtsmateriale i disse scener alligevel flygtigt og underlagt bevægelsesuskarphed og hurtig klipning, typisk for actionscener; så data er ret ubalanceret.

Generalisering: Sammenlægning af følelser

Hvis Boba Fett-Skywalker-genskabelsen faktisk er en dybe forfalskning, ville manglen på udtryksfuldhed, der er rettet mod den fra nogle kilder, ikke være helt skyld i begrænsede kildematerialer. Encoder-decoder-træningsprocessen for dybe forfalskninger søger en generaliseret model, der med held kan destillere centrale funktioner fra tusinder af billeder og kan i det mindste forsøge at dybe forfalske en vinkel, der manglede eller var sjælden i datasettet.

Hvis ikke for denne fleksibilitet, ville en dybe forfalskningsarkitektur blot være kopiering og indsættelse af basis-morphs på en præcis basis, uden at tage hensyn til enten temporal tilpasning eller kontekst.

Men den smertefulde kompromis for denne fleksibilitet er, at udtryks-trofasthed sandsynligvis vil være et offer for processen, og ethvert udtryk, der er “subtilt”, kan ikke være de rigtige. Vi spiller alle vores ansigter som 100-delt orkestre og er godt udstyret til at gøre det, mens dybe forfalskningssoftware mangler sandsynligvis mindst strygersektionen.

Forskellighed i påvirkning af udtryk

Ansigtets bevægelser og deres virkninger på os er ikke et ensartet sprog på tværs af alle ansigter; det hævede øjenbryn, der ser nonchalant ud på Roger Moore, kan se mindre sofistikeret ud på Seth Rogan, mens den forførende tiltrækning af Marilyn Monroe kan oversætte til en mere negativ følelse, hvis den blev dybe forfalsket på en person, hvis mest data-tilgængelige rolle er “vred” eller “utilfreds” (såsom Aubrey Plazas karakter i syv sæsoner af Parks and Recreation).

Derfor er pixel><pixel-ækvivalens på tværs af A/B-ansigtssæt ikke nødvendigvis hjælpsomt i denne henseende; men det er alt, der er tilbudt i state-of-the-art dybe forfalsknings-FOSS-software.

Hvad der sandsynligvis er nødvendigt, er en dybe forfalskningsramme, der ikke kun kan genkende udtryk og slutte følelser, men har evnen til at inkorporere højtniveau-koncepter som “vred”, “forførende”, “kedsommelig”, “træt” osv. og til at kategorisere disse følelser og deres relaterede udtryk i hver af de to ansigtssæt-identiteter, snarere end at undersøge og replikere dispositionen af en mund eller et øjenlåg.

Publiceret første gang den 3. februar 2022. Opdateret kl. 19:47 EET, forkert navnattribut.