Disentanglement Er Den Næste Deepfake Revolution

CGI-dataforbedring bruges i et nyt projekt til at opnå større kontrol over deepfake-billeder. Selvom du stadig ikke kan bruge CGI-hoveder effektivt til at udfylde de manglende huller i deepfake-ansigtsdata, så åbner en ny bølge af forskning i at adskille identitet fra kontekst mulighed for, at du snart ikke længere behøver at gøre det.

Skaberne af nogle af de mest succesfulde virale deepfake-videoer de seneste år vælger deres kildevideoer meget omhyggeligt, undgår vedvarende profilbilleder (dvs. den type side-på-mugshots, der er populære blandt politiets anholdelsesprocedurer), skarpe vinkler og usædvanlige eller overdrevne udtryk. Øgende, de demonstrationvideoer, der produceres af virale deepfakers, er redigerede kompilationer, der vælger de “letteste” vinkler og udtryk til deepfaking.

I virkeligheden er det mest behagelige målvideo til at indsætte en deepfake-kendis en video, hvor den oprindelige person (hvis identitet vil blive slettet af deepfaken) ser direkte ind i kameraet med et minimalt udtryksregister.

De fleste populære deepfakes de seneste år har vist subjekter, der ser direte ind i kameraet, og enten bærer kun populære udtryk (såsom smil), der let kan udtrækkes fra røde tæppet-paparazzibilleder, eller (som med den falske Sylvester Stallone som Terminator, vist til venstre), ideelt med intet udtryk overhovedet, da neutrale udtryk er ekstremt almindelige og derfor lette at inkorporere i deepfake-modeller.

Fordi deepfake-teknologier såsom DeepFaceLab og FaceSwap udfører disse simple udskiftninger meget godt, er vi tilstrækkeligt betagede af, hvad de opnår, til ikke at bemærke, hvad de er ude af stand til, og – ofte – ikke engang forsøger på at:

Grabs fra en anerkendt deepfake-video, hvor Arnold Schwarzenegger bliver forvandlet til Sylvester Stallone – medmindre vinklerne er for trickede. Profiler forbliver et varigt problem med nuværende deepfake-tilgange, delvist fordi det open source-software, der bruges til at definere ansigtsposer i deepfake-rammer, ikke er optimeret til side-views, men hovedsagelig på grund af mangel på passende kilde-materialer i enten en eller begge af de nødvendige datasets. Kilde: https://www.youtube.com/watch?v=AQvCmQFScMA

Nyt forskning fra Israel foreslår en ny metode til at bruge syntetiske data, såsom CGI-hoveder, til at bringe deepfaking ind i 2020’erne ved at adskille ansigtsidentiteter (dvs. de væsentlige ansigtskarakteristika af ‘Tom Cruise’) fra deres kontekst (dvs. kigger op, kigger sidelæns, rynker, rynker i mørket, brynene er sammenknebne, øjne lukkede, osv.).

Det nye system adskiller diskret pose og kontekst (dvs. blinker med et øje) fra den enkeltes identitets-kodning, ved hjælp af ikke-relateret syntetisk ansigtsdata (vist til venstre). I den øverste række ser vi en ‘blink’ overført til Barack Obamas identitet, udløst af den lærende ikke-lineære vej i en GANs latente rum, repræsenteret af CGI-billedet til venstre. I rækken under ser vi den strakte mundhjørne-facet overført til den tidligere præsident. Nederst til højre ser vi begge karakteristika anvendt samtidigt. Kilde: https://arxiv.org/pdf/2111.08419.pdf

Dette er ikke blot deepfake-hoved-puppetry, en teknik mere egnet til avatars og delvis ansigts-lip-synkronisering, og som har begrænset potentiale for fuldstændige deepfake-video-transformationer.

Snarere repræsenterer dette en vej fremad for en grundlæggende adskillelse af instrumentering (såsom ‘ændr hovedets vinkel’, ‘lav en rynke’) fra identitet, og tilbyder en vej til en høj-niveau snarere end ‘afledt’ billed-syntese-baseret deepfake-ramme.

Den nye artikel hedder Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples, og kommer fra forskere ved Technion – Israel Institute of Technology.

For at forstå, hvad arbejdet betyder, skal vi kaste et blik på, hvordan deepfakes produceres overalt fra deepfake-porno-sites til Industrial Light and Magic (da DeepFaceLab open source-repositoriet i øjeblikket er dominerende i både ‘amateur’- og professionel deepfaking).

Hvad Holder Tilbage Nuvaerende Deepfake-Teori?

Deepfakes skabes i øjeblikket ved at træne en encoder/decoder maskinlæringsmodel på to mapper med ansigtsbilleder – personen, du vil ‘male over’ (i det tidligere eksempel, det er Arnie), og personen, du vil overføre til videoen (Sly).

Eksempler på varierende pose og lysforhold på tværs af to forskellige ansigts-sæt. Bemærk det karakteristiske udtryk i slutningen af den tredje række i kolonne A, som sandsynligvis ikke har en tæt pendant i den anden dataset.

Encoder/decoder-systemet sammenligner derefter hver enkelt billed i hver mappe med hinanden, opretholder, forbedrer og gentager denne operation for hundredtusinder af iterationer (ofte i løbet af en uge), indtil det forstår de væsentlige karakteristika af begge identiteter tilstrækkeligt godt til at udskifte dem efter behag.

For hver af de to personer, der udskiftes i processen, er det, deepfake-arkitekturen lærer om identitet, sammenflettet med kontekst. Det kan ikke lære og anvende principper om en generisk pose ‘for godt og altid’, men har brug for mange eksempler i trænings-datasettet for hver og enkelt identitet, der skal være involveret i ansigts-udskiftningen.

Derfor, hvis du vil udskifte to identiteter, der gør noget mere usædvanligt end blot at smile eller se direkte ind i kameraet, har du brug for mange eksempler på den pågældende pose/identitet på tværs af de to ansigts-sæt:

Fordi ansigts-ID og pose-karakteristika i øjeblikket er så sammenflettet, er der brug for en bred og omfattende lighed i udtryk, hoved-poser og (i mindre grad) lysforhold på tværs af to ansigts-dataset for at træne en effektiv deepfake-model på systemer som DeepFaceLab. Jo mindre en bestemt konfiguration (såsom ‘side-view/smiling/solbelyst’) er repræsenteret i begge ansigts-sæt, jo mindre nøjagtigt vil den rendre i en deepfake-video, hvis det er nødvendigt.

Hvis sæt A indeholder den usædvanlige pose, men sæt B mangler den, er du ret meget ude af held; uanset hvor længe du træner modellen, vil den aldrig lære at genskabe den pose godt mellem identiteterne, fordi den kun havde halvdelen af den nødvendige information, da den blev trænet.

Selv hvis du har matchende billeder, kan det ikke være nok: hvis sæt A har den matchende pose, men med skarpt sidelys i forhold til den fladt belyste pendant i det andet ansigts-sæt, vil kvaliteten af udskiftningen ikke være så god som hvis hver af dem havde fælles lyskarakteristika.

Hvorfor Er Dataen Sjælden?

Medmindre du bliver anholdt jævnligt, har du sandsynligvis ikke mange side-på-mugshots af dig selv. Enhver, der dukker op, har du sandsynligvis smidt væk. Da billedagenturer gør det samme, er side-på-ansigtsbilleder svære at komme i gang med.

Deepfakers inkluderer ofte multiple kopier af den begrænsede side-vinkel-data, de har for en identitet i et ansigts-sæt, bare for at pose får mindst lidt opmærksomhed og tid under træning, i stedet for at blive diskvalificeret som en outlier.

Men der er mange flere mulige typer side-på-ansigtsbilleder end sandsynligvis er til rådighed for inklusion i et dataset – smilende, rynker, skrigende, grædende, mørkelagt, foragtet, kedelige, glade, flash-belyst, kigger op, kigger ned, øjne åbne, øjne lukkede… og så videre. Enhver af disse poser, i multiple kombinationer, kunne være nødvendig i en mål-deepfake-video.

Og det er kun profiler. Hvor mange billeder har du af dig selv, der kigger direkte op? Har du nok til at bredt repræsentere de 10.000 mulige udtryk, du måske bærer, mens du holder nøjagtig denne pose fra nøjagtig denne kamera-vinkel, dækkende mindst nogle af de en million mulige lysmiljøer?

Chancerne er, at du ikke engang har ét billede af dig selv, der kigger op. Og det er kun to vinkler ud af de hundred eller flere, der er nødvendige for fuld dækning.

Selv hvis det var muligt at generere fuld dækning af et ansigt fra alle vinkler under en række lysforhold, ville det resulterende dataset være langt for stort til at træne, i størrelsesordenen hundredtusinder af billeder; og selv hvis det kunne trænes, ville naturen af træningsprocessen for nuværende deepfake-rammer kaste det meste af den ekstra data væk til fordel for et begrænset antal afledte funktioner, fordi nuværende rammer er reducerende og ikke særlig skalerbare.

Syntetisk Erstatning

Siden deepfakes’ begyndelse har deepfakers eksperimenteret med at bruge CGI-lignende billeder, hoveder lavet i 3D-applikationer såsom Cinema4D og Maya, til at generere disse ‘manglende’ poser.

Ingen AI nødvendig; en skuespiller genskabes i en traditionel CGI-program, Cinema 4D, ved hjælp af mesh og bitmap-teksturer – teknologi, der går tilbage til 1960’erne, selv om den først fik bred anvendelse fra 1990’erne og frem. I teorien kunne denne ansigtsmodel bruges til at generere deepfake-kilde-data for usædvanlige poser, lysstilarter og ansigtsudtryk. I praksis har det været af begrænset eller ingen nytte i deepfaking, da ‘falskheden’ i renderingerne tenderer til at ‘lække’ igennem i udskiftede videoer. Kilde: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Denne metode er generelt opgivet tidligt af nye deepfake-praktikere, fordi selv om det kan give poser og udtryk, der ellers er utilgængelige, tenderer den syntetiske fremtoning af CGI-ansigterne til at ‘lække’ igennem til udskiftningerne på grund af sammenfletning af ID og kontekst/semantisk information.

Dette kan føre til pludselig opdukken af ‘uncanny valley’-ansigter i en ellers overbevisende deepfake-video, da algoritmen begynder at trække på den eneste data, den måske har for en usædvanlig pose eller udtryk – åbenlyst falske ansigter.

Blandt de mest populære emner for deepfakers, er en 3D-deepfake-algoritme for den australske skuespiller Margot Robbie inkluderet i standardinstallationen af DeepFaceLive, en version af DeepFaceLab, der kan udføre deepfakes i en live-stream, såsom en webcam-session. En CGI-version, som vist ovenfor, kunne bruges til at opnå usædvanlige ‘manglende’ vinkler i deepfake-dataset. Kilde: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

CGI-ansigter Som En Frastillet, Konceptuel Retningslinje

I stedet er den nye Delta-GAN-Encoder (DGE)-metode fra de israelske forskere mere effektiv, fordi pose- og kontekst-informationen fra CGI-billederne er blevet fuldstændigt adskilt fra ‘identitets’-informationen af målet.

Vi kan se denne princip i aktion i billedet nedenfor, hvor forskellige hoved-orienteringer er opnået ved at bruge CGI-billederne som en retningslinje. Da identitets-karakteristika er ikke-relaterede til kontekst-karakteristika, er der ingen ‘lækage’ af enten den falske syntetiske fremtoning af CGI-ansigtet eller identiteten, der er afbildet i det:

Med den nye metode har du ikke brug for at finde tre separate rigtige kilde-billeder for at udføre en deepfake fra flere vinkler – du kan bare rotere CGI-hovedet, hvis høj-niveau abstrakte karakteristika påføres identiteten uden at ‘lække’ nogen ID-information.

Delta-GAN-Encoder. Øverste venstre gruppe: vinklen på et kilde-billede kan ændres på få sekunder for at rendre et nyt kilde-billede, som afspejles i outputtet; øverste højre gruppe: lysforhold er også adskilt fra identitet, hvilket tillader overføring af lysstilarter; nederste venstre gruppe: multiple ansigtsdetaljer ændres for at skabe en ‘sørgmodig’ udtryk; nederste højre gruppe: en enkelt ansigtsudtryksdetalje ændres, så øjnene kigger skævt.

Dette adskillelse af identitet og kontekst opnås under trænings-stadiet. Rørledningen for den nye deepfake-arkitektur søger efter den latente vektor i en forhånden trænet Generative Adversarial Network (GAN), der matcher billedet, der skal transformeres – en Sim2Real-metodik, der bygger på et projekt fra IBM’s AI-forskningsafdeling.

Forskerne bemærker:

‘Med kun få eksempler, der forskelligartede sig i en bestemt attribut, kan man lære den adskilte adfærd af en forhånden trænet sammenflettet generativ model. Der er ingen behov for præcise virkelige eksempler for at nå dette mål, som ikke nødvendigvis er gennemførligt.

‘Ved at bruge ikke-realistiske data-eksempler kan det samme mål opnås takket være udnyttelsen af semantikken af de kodede latente vektorer. At anvende ønskede ændringer over eksisterende data-eksempler kan gøres uden eksploration af latent-rum-adfærd.’

Forskerne forventer, at de grundlæggende principper for adskillelse, der er udforsket i projektet, kan overføres til andre domæner, såsom interiør-arkitektur-simulationer, og at Sim2Real-metoden, der er valgt til Delta-GAN-Encoder, på sigt kan muliggøre deepfake-instrumentering baseret på simple skitser snarere end CGI-inddata.

Det kan argumenteres for, at omfanget af, hvilken grad den nye israelske system muligvis kan eller ikke kan syntetisere deepfake-videoer, er langt mindre betydningsfuldt end den fremgang, forskningen har gjort i at adskille kontekst fra identitet, og derved har opnået større kontrol over den latente rum i en GAN.

Adskillelse er et aktivt forskningsområde inden for billed-syntese; i januar 2021 demonstrerede en Amazon-ledet forskningsartikel lignende pose-kontrol og adskillelse, og i 2018 gjorde en artikel fra Shenzhen Institutes of Advanced Technology ved det kinesiske videnskabsakademi fremskridt i generering af vilkårlige synsvinkler i en GAN.