Disentanglement Er Neste Deepfake-Revolution

CGI-dataforbedring brukes i et nytt prosjekt for å få større kontroll over deepfake-bilder. Selv om du fortsatt ikke kan bruke CGI-hoder effektivt til å fylle hullene i deepfake-ansiktsdatasett, innebærer en ny bølge av forskning på å skille identitet fra kontekst at du snart kanskje ikke trenger det.

Skaperne av noen av de mest suksessfulle virale deepfake-videoene de siste årene velger sine kildevideoer svært omhyggelig, unngår vedvarende profilbilder (dvs. sideprofiler som er populært blant politiets arrestprosedyrer), skarpe vinkler og uvanlige eller overdrevne uttrykk. Økende, redigerer demonstrasjonsvideoene produsert av virale deepfakers sammenstilte videoer som velger de “enkleste” vinklene og uttrykkene til å deepfake.

I virkeligheten er det mest tilgjengelige målet videoen hvor den opprinnelige personen (hvis identitet vil bli slettet av deepfaken) ser rett på kameraet, med et minimalt uttrykksområde.

De fleste populære deepfakes de siste årene har vist subjekter som ser rett på kameraet, og enten bærer bare populære uttrykk (slik som smil), som kan lett trekkes ut fra røde teppe-paparazzibilder, eller (som med den falske Sylvester Stallone som Terminator, vist til venstre), ideelt uten uttrykk, siden nøytrale uttrykk er svært vanlige, og lett å inkorporere i deepfake-modeller.

Fordi deepfake-teknologier som DeepFaceLab og FaceSwap utfører disse enklere bytter svært godt, er vi tilstrekkelig imponert over hva de oppnår, og – ofte – ikke engang prøver å:

Graber fra en anerkjent deepfake-video hvor Arnold Schwarzenegger blir forvandlet til Sylvester Stallone – med mindre vinklene er for trickete. Profiler er et varig problem med nåværende deepfake-tilnærminger, delvis fordi åpne kildekoder brukes til å definere ansiktsposer i deepfake-rammeverk, og ikke er optimalisert for sidevisninger, men hovedsakelig på grunn av mangelen på passende kildeinformasjon i enten ett eller begge datasettene. Kilde: https://www.youtube.com/watch?v=AQvCmQFScMA

Ny forskning fra Israel foreslår en ny metode for å bruke syntetisk data, som CGI-hoder, til å bringe deepfaking inn i 2020-årene, ved å skille ansiktsidentitet (dvs. de essensielle ansiktskarakteristikkene til “Tom Cruise”) fra kontekst (dvs. å se opp, å se sidelengs, å rynke, å rynke i mørket, å fryne, å lukke øynene, osv.).

Det nye systemet skiller pose og kontekst (dvs. å blinke med øyet) fra den enkeltes identitetskode, ved å bruke ubeslektet syntetisk ansiktsdata (vist til venstre). I øverste raden ser vi en “blinking” overført til identiteten til Barack Obama, fremmet av den lærte ikke-lineære banen i et GANs latente rom, representert av CGI-bildet til venstre. I raden under ser vi munnen trekkes ut til den tidligere presidenten. Nederst til høyre ser vi begge karakteristikkene brukt samtidig. Kilde: https://arxiv.org/pdf/2111.08419.pdf

Dette er ikke bare deepfake-hodepuppe, en teknikk mer egnet for avatarer og delvis ansikts-lip-synkronisering, og som har begrenset potensiale for fullstendige deepfake-videoomforminger.

Snarere representerer dette en vei fremover for en grunnleggende skille av instrumentell (som ‘endre vinkelen på hodet’, ‘lag en rynke’) fra identitet, og tilbyr en vei til en høyere nivå enn “avledet” bilde-syntese-basert deepfake-rammeverk.

Den nye artikkelen heter Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples, og kommer fra forskere ved Technion – Israel Institute of Technology.

For å forstå hva arbeidet betyr, la oss se på hvordan deepfakes produseres overalt fra deepfake-pornosider til Industrial Light and Magic (siden DeepFaceLab åpne kildekoder er nå dominerende i både “amatør”- og profesjonell deepfaking).

Hva Holder Tilbake Nåværende Deepfake-Teknologi?

Deepfakes produseres nå ved å trene en encoder/decoder maskinlæringsmodell på to mapper med ansiktsbilder – personen du vil “male over” (i tidligere eksempel, det er Arnie) og personen du vil overføre inn i videoen (Sly).

Eksempler på varierende pose og lysforhold over to forskjellige ansiktssett. Merk den karakteristiske uttrykket i slutten av tredje raden i kolonne A, som er usannsynlig å ha en nærliggende ekvivalent i det andre datasettet.

Encoder/decoder-systemet sammenligner så hver enkelt bilde i hver mappe med hverandre, vedlikeholder, forbedrer og gjentar denne operasjonen for hundredtusener av iterasjoner (ofte i så lenge som en uke), til det forstår de essensielle karakteristikkene til begge identiteter godt nok til å bytte dem rundt etter ønske.

For hver av de to personene som byttes i prosessen, er det deepfake-arkitekturen lærer om identitet entangled med kontekst. Det kan ikke lære og anvende prinsipper om en generell pose “for godt og alltid”, men trenger mange eksempler i treningsdatasettet, for hver og enkelt identitet som skal være involvert i ansiktsbyttet:

Fordi ansikts-ID og pose-karakteristikk nå er så sammenflettet, er en omfattende likhet i uttrykk, hodepose og (i mindre grad) lysforhold nødvendig over to ansiktsdatasett for å trene en effektiv deepfake-modell på systemer som DeepFaceLab. Jo mindre en bestemt konfigurasjon (som “sidevisning/smiling/solbelyst”) er representert i begge ansiktssett, jo mindre nøyaktig vil den rendre i en deepfake-video, hvis nødvendig.

Hvis sett A inneholder den uvanlige posen, men sett B mangler den, er du ganske enkelt ute av hell; uansett hvor lenge du trener modellen, vil den aldri lære å gjengi den posen godt mellom identitetene, fordi den bare hadde halvparten av den nødvendige informasjonen under trening.

Selv om du har sammenlignbare bilder, kan det ikke være nok: hvis sett A har den sammenlignbare posen, men med skarpt sidelys i forhold til den flatt belyste ekvivalenten i det andre ansiktssettet, vil kvaliteten på byttet ikke være like god som hvis hver delte felles lyskarakteristikk.

Hvorfor Er Data Sparsom?

Med mindre du blir arrestert jevnlig, har du sannsynligvis ikke mange sideprofiler av deg selv. Enhver som dukker opp, kaster du sannsynligvis vekk. Siden bildebyråer gjør det samme, er sideprofiler vanskelige å få tak i.

Deepfakers inkluderer ofte flere kopier av den begrensede sidevisningsdata de har for en identitet i et ansiktssett, bare for å sikre at posen får litt oppmerksomhet og tid under trening, i stedet for å bli diskontert som en outlier.

Men det finnes mange flere mulige typer sidevisningsbilder enn det som sannsynligvis er tilgjengelig for inklusjon i et datasett – smiling, frowning, skriking, gråt, mørkelyst, foraktfull, kjedelig, glad, flash-lyst, å se opp, å se ned, åpne øyne, lukke øyne… og så videre. Enhver av disse posene, i flere kombinasjoner, kan være nødvendig i en mål-deepfake-video.

Og det er bare profiler. Hvor mange bilder har du av deg selv som ser rett opp? Har du nok til å representere de 10 000 mulige uttrykk du kan ha mens du holder denne eksakte posen fra denne eksakte kamera-vinkelen, og dekker minst noen av de en million mulige lysmiljøer?

Det er usannsynlig at du har ett enkelt bilde av deg selv som ser opp. Og det er bare to vinkler av de hundre eller flere som trengs for full dekning.

Selv om det var mulig å generere full dekning av et ansikt fra alle vinkler under en rekke lysforhold, ville det resulterende datasettet være for stort til å trene, i rekkefølge av hundredtusener av bilder; og selv om det var mulig å trene, ville naturen til treningsprosessen for nåværende deepfake-rammeverk kaste bort det meste av den ekstra informasjonen til fordel for et begrenset antall avledede egenskaper, fordi nåværende rammeverk er reduksjonistiske og ikke skalerbare.

Syntetisk Erstatning

Siden deepfakes ble introdusert, har deepfakers eksperimentert med å bruke CGI-liknende bilder, hoder laget i 3D-applikasjoner som Cinema4D og Maya, til å generere disse “manglende” posene.

Ingen AI nødvendig; en skuespiller blir rekonstruert i en tradisjonell CGI-program, Cinema 4D, ved hjelp av mesh og bitmap-teksturer – teknologi som går tilbake til 1960-årene, selv om det først fikk bred anvendelse fra 1990-årene og utover. I teorien kunne denne ansiktsmodellen bli brukt til å generere deepfake-kildeinformasjon for uvanlige poser, lysstiler og ansiktsuttrykk. I praksis har det vært av begrenset eller ingen nytte i deepfaking, siden “falskheten” i renderingene tenderer å “blø” gjennom i byttede videoer. Kilde: Denne artikkelforfatterens bilde på https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Denne metoden er generelt forkastet tidlig av nye deepfake-utøvere, fordi den syntetiske utseendet til CGI-ansiktene vanligvis “blør” gjennom til byttene på grunn av sammenfletting av ID og kontekstuell/semantisk informasjon.

Dette kan føre til plutselige “uncanny valley”-ansikter i en ellers overbevisende deepfake-video, ettersom algoritmen begynner å trekke på den eneste informasjonen den måtte ha for en uvanlig pose eller uttrykk – åpenbart falske ansikter.

Blant de mest populære subjektene for deepfakers, er en 3D-deepfake-algoritme for den australske skuespilleren Margot Robbie inkludert i standardinstallasjonen av DeepFaceLive, en versjon av DeepFaceLab som kan utføre deepfakes i en direktesending, som en webcam-sesjon. En CGI-versjon, som vist ovenfor, kunne bli brukt til å få uvanlige “manglende” vinkler i deepfake-datasett. Kilde: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

CGI-ansikter som en Avsondret, Konseptuell Veileder

I stedet er den nye Delta-GAN-Encoder-metoden fra de israelske forskerne mer effektiv, fordi posen og kontekstuell informasjon fra CGI-bildene har blitt fullstendig skilt fra “identitets”-informasjonen til målet.

Vi kan se dette prinsippet i virksomhet i bildet under, der forskjellige hodevinkler har blitt oppnådd ved å bruke CGI-bildene som en veileder. Siden identitetsfunksjonene er uavhengige av kontekstuelle funksjoner, er det ingen “blø” gjennom hverken det falske, syntetiske utseendet til CGI-ansiktet eller identiteten som er avbildet i det:

Med den nye metoden trenger du ikke å finne tre separate virkelige kildebilder for å utføre en deepfake fra flere vinkler – du kan bare rotere CGI-hodet, hvis høynivå-abstrakte funksjoner påføres identiteten uten å “blø” noen ID-informasjon.

Delta-GAN-Encoder. Øverste venstre gruppe: vinkelen på et kildebilde kan endres på ett sekund for å rendre et nytt kildebilde, som reflekteres i utdata; øverste høyre gruppe: lysforhold er også skilt fra identitet, og tillater overføring av lysstiler; nederste venstre gruppe: flere ansiktsdetaljer endres for å skape en “sørgmodig” uttrykk; nederste høyre gruppe: ett enkelt ansiktsuttrykk detalj endres, så øynene er sammenknevet.

Dette skillet mellom identitet og kontekst oppnås i treningsstadiet. Rørledningen for den nye deepfake-arkitekturen søker etter den latente vektoren i en forhånds-trent Generative Adversarial Network (GAN) som matcher bildet som skal transformeres – en Sim2Real-metodikk som bygger på et prosjekt fra IBM’s AI-forskningsavdeling.

Forskerne observerer:

‘Med bare noen få eksempler, som skilles fra en bestemt egenskap, kan en lære den skilte atferden til en forhånds-trent, sammenflettet generativ modell. Det er ingen behov for eksakte virkelige eksempler for å nå dette målet, som ikke nødvendigvis er mulig.

‘Ved å bruke ikke-realistiske datasample, kan samme mål oppnås takket være å utnytte semantikken til de kodete latente vektorene. Å anvende ønskede endringer over eksisterende datasample kan gjøres uten å utforske latent rom-atferd eksplisitt.’

Forskerne forventer at de grunnleggende prinsippene for skille som er utforsket i prosjektet kan overføres til andre domener, som interiør-arkitektur-simuleringer, og at Sim2Real-metodikken som er adoptert for Delta-GAN-Encoder kan til slutt muliggjøre deepfake-instrumentalitet basert på bare skisser, i stedet for CGI-liknende inndata.

Det kan hevdes at omfanget av hvilken nye israelske system kan eller ikke kan syntetisere deepfake-videoer er langt mindre viktig enn fremgangen forskningen har gjort i å skille kontekst fra identitet, og i prosessen har fått mer kontroll over det latente rommet til en GAN.

Skille er et aktivt forskningsfelt i bilde-syntese; i januar 2021 demonstrerte en Amazon-ledet forskningsartikkel lignende pose-kontroll og skille, og i 2018 gjorde en artikkel fra Shenzhen Institutes of Advanced Technology ved Chinese Academy of Sciences fremgang i å generere vilkårlige utsikter i en GAN.