Disentanglement är den nästa deepfake-revolutionen

CGI-dataförstärkning används i ett nytt projekt för att få större kontroll över deepfake-bilder. Även om du fortfarande inte kan använda CGI-huvuden för att fylla i luckorna i deepfake-ansiktsdataset, innebär en ny våg av forskning om att separera identitet från kontext att du snart kanske inte behöver.

Skaparna av några av de mest framgångsrika virala deepfake-videorna de senaste åren väljer sina källvideor mycket noggrant, undviker långvariga profilbilder (dvs. de sorts sidovyner som populariserats av polisarresteringsförfaranden), akuta vinklar och ovanliga eller överdrivna uttryck. Alltmer är de demonstrationer som produceras av virala deepfakers redigerade samlingar som väljer de “enklare” vinklarna och uttrycken för att deepfaka.

I själva verket är den mest lämpliga målvideon för att infoga en deepfaked kändis en där den ursprungliga personen (vars identitet kommer att utplånas av deepfaken) tittar rakt in i kameran, med ett minimalt uttrycksregister.

De flesta populära deepfakes under de senaste åren har visat ämnen som tittar rakt in i kameran och antingen bara har vanliga uttryck (såsom leende), som kan enkelt extraheras från röd matta-paparazziutdata, eller (såsom den fejkade Sylvester Stallone som Terminator, som visas till vänster), helst utan uttryck alls, eftersom neutrala uttryck är extremt vanliga, vilket gör dem lätta att införliva i deepfakes.

Eftersom deepfake-teknologier som DeepFaceLab och FaceSwap utför dessa enklare byten mycket bra, är vi tillräckligt imponerade av vad de åstadkommer för att inte märka vad de inte kan, och – ofta – inte ens försöker:

Grabb från en berömd deepfake-video där Arnold Schwarzenegger förvandlas till Sylvester Stallone – såvida vinklarna inte är för knepiga. Profiler förblir ett varaktigt problem med nuvarande deepfake-approach, delvis för att den öppna källkoden som används för att definiera ansiktsuttryck i deepfake-ramverk inte är optimerad för sidovyner, men främst för att det råder brist på lämpligt källmaterial i antingen en eller båda dataseten. Källa: https://www.youtube.com/watch?v=AQvCmQFScMA

Ny forskning från Israel föreslår en ny metod för att använda syntetiska data, såsom CGI-huvuden, för att föra deepfaking in i 2020-talet, genom att verkligen separera ansiktsidentiteter (dvs. de väsentliga ansiktsdragen hos “Tom Cruise”) från deras kontext (dvs. titta upp, titta åt sidan, rynka, rynka i mörker, ögonbryn rynkade, ögon stängda, etc.).

Det nya systemet separerar diskret pose och kontext (dvs. blinka med ögat) från den enskildes identitetskodning, med hjälp av orelaterade syntetiska ansiktsdata (avbildad till vänster). I den översta raden ser vi en “blink” som överförs till Barack Obamas identitet, utlöst av den inlärda icke-linjära banan i en GAN:s latenta utrymme, representerad av den CGI-bilden till vänster. I raden nedan ser vi den utsträckta munvinkeln som överförs till den tidigare presidenten. Nere till höger ser vi båda egenskaperna tillämpade samtidigt. Källa: https://arxiv.org/pdf/2111.08419.pdf

Detta är inte bara deepfake-huvudpupetteri, en teknik som är mer lämplig för avatarer och delvis ansiktslip-synkronisering, och som har begränsad potential för fullständiga deepfake-videotransformationer.

Snarare representerar detta en väg framåt för en grundläggande separation av instrument (såsom ‘ändra huvudets vinkel’, ‘skapa en rynka’) från identitet, och erbjuder en väg till en högnivå snarare än en “derivativ” bildsynthesis-baserad deepfake-ram.

Den nya artikeln heter Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples, och kommer från forskare vid Technion – Israel Institute of Technology.

För att förstå vad arbetet betyder, låt oss ta en titt på hur deepfakes för närvarande produceras överallt från deepfake-porrsajter till Industrial Light and Magic (eftersom DeepFaceLab-öppenkällkodsrepositoryn för närvarande är dominant i både “amatör”- och professionell deepfaking).

Vad Håller Tillbaka Nuvarande Deepfake-Teknologi?

Deepfakes skapas för närvarande genom att träna en encoder/decoder-maskinlärningsmodell på två mappar med ansiktsbilder – den person du vill “måla över” (i det tidigare exemplet, det är Arnie) och den person du vill superponera i filmen (Sly).

Exempel på varierande pose och belysningsförhållanden över två olika ansiktsuppsättningar. Observera det distinkta uttrycket i slutet av den tredje raden i kolumn A, som sannolikt inte har någon nära ekvivalent i den andra dataseten.

Encoder/decoder-systemet jämför sedan varje enskild bild i varje mapp med varandra, upprätthåller, förbättrar och upprepar denna operation för hundratusentals iterationer (ofta i så lång tid som en vecka), tills det förstår de väsentliga egenskaperna hos båda identiteterna tillräckligt bra för att byta dem runt efter behag.

För var och en av de två personer som byts ut i processen, är det som deepfake-arkitekturen lär sig om identitet sammanflätat med kontext. Det kan inte lära sig och tillämpa principer om en generisk pose “en gång för alla”, utan behöver rikliga exempel i träningsdataseten, för var och en av de identiteter som kommer att vara inblandade i ansiktsbytet.

Därför, om du vill byta två identiteter som gör något mer ovanligt än att bara le eller titta rakt in i kameran, kommer du att behöva många instanser av den specifika pose/identiteten över de två ansiktsuppsättningarna:

Eftersom ansikts-ID och pose-egenskaper för närvarande är så sammanflätade, behövs en omfattande paritet av uttryck, huvudpose och (i mindre utsträckning) belysning över två ansiktsdataset för att träna en effektiv deepfake-modell på system som DeepFaceLab. Ju mindre en specifik konfiguration (såsom “sidovyner/leende/solbelyst”) är representerad i båda ansiktsuppsättningarna, desto mindre exakt kommer den att återges i en deepfake-video, om den behövs.

Om uppsättning A innehåller den ovanliga posen, men uppsättning B saknar den, är du ganska illa ute; oavsett hur länge du tränar modellen, kommer den aldrig att lära sig att reproducera den posen bra mellan identiteterna, eftersom den bara hade halva den nödvändiga informationen när den tränades.

Även om du har matchande bilder, kan det inte vara tillräckligt: om uppsättning A har den matchande posen, men med hård sidobelysning, jämfört med den platta belysningen i den andra ansiktsuppsättningen, kommer kvaliteten på bytet att vara sämre än om varje delade gemensamma belysningskaraktäristika.

Varför Data är Knapp

Om du inte arresteras regelbundet, har du förmodligen inte så många sidovyner av dig själv. De som dyker upp, har du troligen slängt. Eftersom bildbyråer gör detsamma, är sidovyner av ansikten svåra att få tag på.

Deepfakers inkluderar ofta flera kopior av den begränsade sidovyndata de har för en identitet i en ansiktsuppsättning, så att posen får åtminstone lite uppmärksamhet och tid under träningsprocessen, istället för att förkastas som en utliggare.

Men det finns många fler möjliga typer av sidovyner av ansikten än som sannolikt finns tillgängliga för införande i en dataset – leende, rynka, skrikande, gråtande, mörkt belyst, föraktfull, tråkig, munter, blitzbelyst, titta upp, titta ner, ögon öppna, ögon stängda… och så vidare. Vilken som helst av dessa poser, i flera kombinationer, kan behövas i en mål-deepfake-video.

Och det är bara profiler. Hur många bilder har du av dig själv som tittar rakt upp? Har du tillräckligt för att i stor utsträckning representera de 10 000 möjliga uttryck du kan ha medan du håller exakt den posen från exakt den kameravinkeln, som täcker minst några av de en miljon möjliga belysningsmiljöer?

Chanserna är att du inte ens har en bild av dig själv som tittar upp. Och det är bara två vinklar av de hundratals som behövs för full täckning.

Även om det vore möjligt att generera full täckning av ett ansikte från alla vinklar under en mängd olika belysningsförhållanden, skulle det resulterande datasetet vara alldeles för stort för att träna, i storleksordningen hundratusentals bilder; och även om det kunde tränas, skulle naturen av träningsprocessen för nuvarande deepfake-ramverk kasta bort den överväldigande majoriteten av den extra datan till förmån för ett begränsat antal derivat, eftersom de nuvarande ramverken är reduktionistiska och inte särskilt skalbara.

Syntetisk Ersättning

Sedan deepfakes introducerades, har deepfakers experimenterat med att använda CGI-liknande bilder, huvuden skapade i 3D-applikationer som Cinema4D och Maya, för att generera dessa “saknade poser”.

Ingen AI behövs; en skådespelerska återskapas i ett traditionellt CGI-program, Cinema 4D, med hjälp av nät och bitmappade texturer – teknologi som går tillbaka till 1960-talet, men som fick bred användning först på 1990-talet. I teorin kunde detta ansiktsmodell användas för att generera deepfake-källdata för ovanliga poser, belysningsstilar och ansiktsuttryck. I verkligheten har det varit av begränsad eller ingen användning för deepfaking, eftersom den “falska” utseendet på renderingarna tenderar att “läcka” igenom i bytena. Källa: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Denna metod överges vanligtvis tidigt av nya deepfake-utövare, eftersom den, även om den kan tillhandahålla poser och uttryck som annars inte är tillgängliga, oftast leder till att den syntetiska utseendet på CGI-ansiktena “läcker” igenom i bytena på grund av sammanflätning av ID och kontextuell/semantisk information.

Detta kan leda till att “uncanny valley”-ansikten plötsligt dyker upp i en annars övertygande deepfake-video, när algoritmen börjar dra på den enda datan den kan ha för en ovanlig pose eller uttryck – uppenbart falska ansikten.

Bland de mest populära ämnena för deepfakers, ingår en 3D-deepfake-algoritm för den australiska skådespelerskan Margot Robbie i standardinstallationen av DeepFaceLive, en version av DeepFaceLab som kan utföra deepfakes i realtid, såsom en webbkamera-session. En CGI-version, som visas ovan, kunde användas för att erhålla ovanliga “saknade” vinklar i deepfake-dataset. Källa: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

CGI-ansikten som Avskilda, Konceptuella Riktlinjer

Istället är den nya Delta-GAN-Encoder-metoden (DGE) från de israeliska forskarna mer effektiv, eftersom pose- och kontextinformationen från CGI-bilderna har separerats fullständigt från “identitets”-informationen hos målet.

Vi kan se denna princip i aktion i bilden nedan, där olika huvudriktningar har erhållits med hjälp av CGI-bilderna som riktlinje. Eftersom identitetsfunktionerna är orelaterade till kontextfunktionerna, finns det ingen “läcka” av den “falska” utseendet på CGI-ansiktet eller identiteten som avbildas i det:

Med den nya metoden behöver du inte hitta tre separata verkliga källbilder för att utföra en deepfake från flera vinklar – du kan bara rotera CGI-huvudet, vars abstrakta funktioner påförs identiteten utan att läcka någon ID-information.

Delta-GAN-Encoder. Övre vänstra gruppen: vinkeln på en källbild kan ändras på en sekund för att återge en ny källbild, som återspeglas i utdata; övre högra gruppen: belysning är också separerad från identitet, vilket möjliggör påförande av belysningsstilar; nedre vänstra gruppen: flera ansiktsdetaljer ändras för att skapa ett “surt” uttryck; nedre högra gruppen: en enda ansiktsdetalj ändras, så att ögonen är knipande.

Denna separation av identitet och kontext uppnås under träningssteget. Pipelinen för den nya deepfake-arkitekturen söker efter den latenta vektorn i en förtränad Generativ Adversarial Network (GAN) som matchar bilden som ska transformeras — en Sim2Real-metodik som bygger på ett projekt från IBM:s AI-forskningsavdelning.

Forskarna observerar:

‘Med bara några prover, som skiljer sig åt genom en specifik attribut, kan man lära sig det separerade beteendet hos en förtränad sammanflätad generativ modell. Det finns inget behov av exakta verkliga prover för att nå det målet, som inte nödvändigtvis är genomförbart.

‘Genom att använda icke-realistiska dataprov kan samma mål uppnås tack vare att man utnyttjar semantiken i de kodade latenta vektorerna. Att applicera önskade ändringar på befintliga dataprov kan göras utan explicit utforskning av latenta utrymmets beteende.’

Forskarna förutser att de grundläggande principerna för separation som utforskats i projektet kan överföras till andra områden, såsom interiörarkitektursimuleringar, och att Sim2Real-metoden som antagits för Delta-GAN-Encoder kan till slut möjliggöra deepfake-instrumentalitet baserad på enkla skisser, snarare än CGI-liknande indata.

Det kan hävdas att den utsträckning till vilken det nya israeliska systemet kanske kan eller inte kan syntetisera deepfake-videor är långt mindre betydelsefullt än de framsteg som forskningen har gjort i att separera kontext från identitet, och på så sätt få mer kontroll över den latenta utrymmet hos en GAN.

Separation är ett aktivt forskningsområde inom bildsyntes; i januari 2021 demonstrerade en Amazon-ledd forskningsartikel liknande posekontroll och separation, och 2018 gjorde en artikel från Shenzhen Institutes of Advanced Technology vid Chinese Academy of Sciences framsteg i att generera godtyckliga vyer i en GAN.