Deteksjon av Deepfake Videoopptak gjennom Monitorbelysning

Et nytt samarbeid mellom en forsker fra USAs National Security Agency (NSA) og University of California i Berkeley tilbyr en ny metode for å detektere deepfake-innhold i en live video-kontekst – ved å observere effekten av monitorbelysning på utseendet til personen på den andre enden av videoopptaket.

Popular DeepFaceLive-bruker Druuzil Tech & Games prøver ut sin egen Christian Bale DeepFaceLab-modell i en live-sesjon med følgere, mens lyskilder endres. Kilde: https://www.youtube.com/watch?v=XPQLDnogLKA

Systemet fungerer ved å plassere et grafisk element på brukerens skjerm som endrer en smal rekke av farger raskere enn et typisk deepfake-system kan respondere – selv om det, som i sanntid deepfake-strømming- implementering DeepFaceLive (avbildet ovenfor), har noen evne til å vedlikeholde live fargeoverføring og kompensere for omgivelsesbelysning.

Det uniforme fargebildet som vises på monitor-en til personen på den andre enden (dvs. den potensielle deepfake-bedrageren) sykler gjennom en begrenset variasjon av fargeendringer som er designet for ikke å aktivere en webkams automatisk hvitbalanse og andre ad hoc-belysningskompensasjonssystemer, som ville kompromittere metoden.

Fra artikkelen, en illustrasjon av endring i belysningsforhold fra monitor-en foran en bruker, som effektivt opererer som en diffus ‘area light’. Kilde: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorien bak tilnærmingen er at live deepfake-systemer ikke kan respondere i tide til endringene avbildet i skjermgrafikken, øker ‘forsinkelsen’ av deepfake-effekten i visse deler av fargespekteret, og avslører deres tilstedeværelse.

For å kunne måle den reflekterte monitorbelysningen nøyaktig, må systemet ta hensyn til og deretter diskontere effekten av generell miljøbelysning som ikke er relatert til lys fra monitor-en. Det kan deretter skille mellom mangler i målingen av den aktive belysningshue og den faciale hue hos brukerne, som representerer en tidsmessig forskyvning på 1-4 rammeforskjell mellom hver:

Ved å begrense hue-variatsjonene i skjermgrafikken og sikre at brukerens webcam ikke blir promptet til å auto-justere innstillinger ved overdrivende endring i monitorbelysning, har forskerne kunnet skille en karakteristisk forsinkelse i deepfake-systemets tilpasning til belysningsendringene.

Artikkelen konkluderer:

‘Fordi vi har rimelig tillit til live videoopptak, og økende utbredelse av videoopptak i våre personlige og profesjonelle liv, foreslår vi at teknikker for å autentisere video (og lyd) opptak vil bli stadig viktigere.’

Studien het Detecting Real-Time Deep-Fake Videos Using Active Illumination, og kommer fra Candice R. Gerstner, en anvendt forskningsmatematiker ved USAs Forsvarsdepartement, og Professor Hany Farid ved Berkeley.

Erosjon av Tillit

Anti-deepfake-forskningsfeltet har vendt seg betydelig de siste seks månedene, bort fra generell deepfake-oppdaging (dvs. målretting av forhåndsinnspilte videoer og pornografisk innhold) og mot ‘liveness’-oppdaging, som svar på en økende bølge av hendelser med deepfake-bruk i videokonferanser, og til FBIs nylige advarsel om økende bruk av slike teknologier i søknader om fjernarbeid.

Even om et videoopptak ikke viser seg å være deepfaket, er de økte mulighetene for AI-drevne video-imitatorer begynner å generere paranoia.

Den nye artikkelen sier:

‘Opprettelsen av sanntids deepfakes [utgjør] unike trusler på grunn av den generelle følelsen av tillit omkring en live video eller telefonopptak, og utfordringen med å detektere deepfakes i sanntid, mens opptaket pågår.’

Forskningsmiljøet har lenge satt seg målet å finne ufeilbarlige tegn på deepfake-innhold som ikke lett kan kompenseres for. Selv om media vanligvis karakteriserer dette som en teknologisk krig mellom sikkerhetsforskere og deepfake-utviklere, har de fleste negasjoner av tidlige tilnærminger (slik som øye-blink-analyse, hode-holdnings-skjønn og atferds-analyse) skjedd bare fordi utviklerne og brukerne prøvde å lage mer realistiske deepfakes generelt, snarere enn å spesifikt møte den siste ‘tell’ identifisert av sikkerhetsmiljøet.

Kast Lys over Live Deepfake Video

Deteksjon av deepfakes i live video-miljøer bærer byrden av å ta hensyn til dårlige video-tilkoblinger, som er svært vanlige i videokonferansescenarier. Selv uten en deepfake-lag, kan video-innhold være underlagt NASA-liknende forsinkelse, rendering-arter og andre typer degradering i lyd og video. Disse kan tjene til å skjule de grove kantene i en live deepfaking-arkitektur, både i video og audio-deepfakes.

Forfatterne presenterer et nytt system som forbedrer resultater og metoder fra en 2020-publikasjon fra Center for Networked Computing ved Temple University i Philadelphia.

Fra 2020-artikkelen, kan vi observere endringen i ‘in-filled’ ansiktsbelysning når innholdet på brukerens skjerm endres. Kilde: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Forskjellen i det nye arbeidet er at det tar hensyn til måten webkameraer responderer på lysendringer. Forfatterne forklarer:

‘Fordi alle moderne webkameraer utfører auto-eksponering, er typen høyintensiv aktiv belysning [brukt i tidligere arbeid] sannsynligvis å utløse kameraets auto-eksponering, som igjen vil forvirre den innregistrerte ansiktsutseendet. For å unngå dette, bruker vi en aktiv belysning bestående av en isoluminant endring i hue.

‘Selv om dette unngår kameraets auto-eksponering, kan det utløse kameraets hvitbalansering, som igjen ville forvirre den innregistrerte ansiktsutseendet. For å unngå dette, opererer vi i en hue-rekke som vi empirisk har bestemt ikke utløser hvitbalansering.’

For dette initiativet har forfatterne også vurdert lignende tidligere forsøk, som LiveScreen, som tvinger en usynlig lysmønster på sluttbrukerens skjerm i et forsøk på å avsløre deepfake-innhold.

Selv om dette systemet oppnådde en nøyaktighetsrate på 94,8%, konkluderer forskerne med at subtiliteten i lysmønstrene ville gjøre en slik skjult tilnærming vanskelig å implementere i sterkt belyste miljøer, og foreslår i stedet at deres eget system, eller et system lignende, kunne inkorporeres offentlig og som standard i populær videokonferanse-programvare:

‘Vår foreslåtte inngripen kunne enten realiseres av en deltager i samtalen som deler skjermen og viser det tidsmessige mønsteret, eller, idealisk, kunne det integreres direkte i videoopptaks-klienten.’

Tester

Forfatterne brukte en blanding av syntetiske og virkelige subjekter for å teste deres Dlib-drevne deepfake-detektor. For det syntetiske scenariet brukte de Mitsuba, en fremover- og bakover-renderer fra det sveitsiske føderale teknologiske universitetet i Lausanne.

Eksempler fra det simulerede miljøtest, med varierende hudtone, lyskilde-størrelse, omgivelsesbelysning-intensitet og nærhet til kamera.

Scenen avbildet inkluderer en parametrisk CGI-hode fanget av en virtuell kamera med en 90° synsvinkel. Hodene har Lambertisk refleksjon og nøytrale hudtoner, og er plassert 2 fot foran den virtuelle kameraet.

For å teste rammeverket over en rekke mulige hudtoner og oppsett, kjørte forskerne en rekke tester, varierte diverse aspekter sekvensielt. Aspektene som ble endret inkluderte hudtone, nærhet og belysningslys-størrelse.

Forfatterne kommenterer:

‘I simulering, med våre forskjellige antagelser oppfylt, er vår foreslåtte teknikk svært robust mot en bred rekke av bildekonfigurasjoner.’

For det virkelige scenariet brukte forskerne 15 frivillige med en rekke hudtoner, i diverse miljøer. Hver ble utsatt for to sykluser av den begrensede hue-variatsjonen, under betingelser der en 30Hz skjermoppdateringsfrekvens var synkronisert med webkameraet, noe som betød at den aktive belysningen bare ville vare i én sekund om gangen. Resultatene var bredt sammenlignbare med de syntetiske testene, selv om korrelasjonene økte betydelig med større belysningsverdier.

Fremtidige Retninger

Systemet, som forskerne innrømmer, tar ikke hensyn til typiske ansikts-ocklusjoner, som panne, briller eller skjegg. Likevel bemerker de at maskering av denne typen kan legges til i senere systemer (ved å merke og deretter gjennomføre semantisk segmentering), som kunne trenes til å ta verdier eksklusivt fra oppfattede hudområder i målobjektet.

Forfatterne foreslår også at en lignende paradigme kunne brukes til å detektere deepfakede lydopptak, og at detekteringslyden nødvendig kunne spilles i en frekvens utenfor det normale menneskelige hørselsområdet.

Kanskje mest interessant er at forskerne også foreslår at utvidelse av evalueringen utover ansiktet i en rikere innfattnings-ramme kunne betydelig forbedre muligheten for deepfake-deteksjon*:

‘En mer sofistikert 3-D estimering av belysning ville sannsynligvis gi en rikere utseendemodell som ville være enda vanskeligere for en forfalsker å omgå. Mens vi kun fokuserte på ansiktet, belyser dataskjermen også halsen, overkroppen og omgivelsesbakgrunnen, fra hvilket lignende målinger kunne gjøres.

‘Disse ekstra målingene ville tvinge forfalskeren til å vurdere hele 3-D-scenen, ikke bare ansiktet.’

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert 6. juli 2022.