Detektion af Deepfake-Videoopkald gennem Skærmlys

Et nyt samarbejde mellem en forsker fra USA’s National Security Agency (NSA) og University of California at Berkeley tilbyder en ny metode til at detektere deepfake-indhold i en live-video-kontekst – ved at observere effekten af skærmlys på udseendet af personen på den anden side af videoopkaldet.

Popular DeepFaceLive-bruger Druuzil Tech & Games afprøver sin egen Christian Bale DeepFaceLab-model i en live-session med sine følgere, mens lyskilderne ændrer sig. Kilde: https://www.youtube.com/watch?v=XPQLDnogLKA

Systemet virker ved at placere et grafisk element på brugerens skærm, der ændrer en smal række af farver hurtigere, end en typisk deepfake-system kan reagere – selv hvis det, som real-time deepfake-streaming-implementation DeepFaceLive (vist ovenfor), har nogen evne til at vedligeholde live farveoverførsel og kompensere for omgivelsernes belysning.

Det uniforme farvebillede, der vises på skærmen hos personen på den anden side (dvs. den potentielle deepfake-svindler), cyklrer gennem en begrænset variation af farveændringer, der er designet til ikke at aktivere en webkams automatisk hvidbalance og andre ad hoc-belysningskompensationsystemer, som ville kompromittere metoden.

Fra artiklen, en illustration af ændringen i lysforhold fra skærmen foran en bruger, som effektivt fungerer som et diffust ‘område-lys’. Kilde: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorien bag tilgangen er, at live-deepfake-systemer ikke kan reagere i tide på de ændringer, der vises i det grafiske element på skærmen, hvilket øger ‘forsinkelsen’ af deepfake-effekten i visse dele af farvespektret, og afslører dets tilstedeværelse.

For at kunne måle det reflekterede skærmlys nøjagtigt, skal systemet tage højde for og derefter fravige effekten af generel miljøbelysning, der ikke er relateret til lys fra skærmen. Derefter kan det skelne mellem mangler i målingen af den aktive belysnings farve og brugerens ansigtsfarve, som repræsenterer en tidsmæssig forskud på 1-4 frames mellem hver:

Ved at begrænse farvevariationerne i det grafiske ‘detektor’-element på skærmen og sikre, at brugerens webcam ikke bliver promptet til at auto-justere sine indstillinger på grund af ændringer i skærmens belysning, har forskerne kunnet skelne en karakteristisk forsinkelse i deepfake-systemets tilpasning til lysændringerne.

Artiklen slutter:

‘Fordi vi har rimelig tillid til live-videoopkald, og videoopkald bliver mere almindelige i vores personlige og professionelle liv, foreslår vi, at teknikker til at autentificere video (og lyd) opkald vil blive mere vigtige.’

Den studie har titlen Detecting Real-Time Deep-Fake Videos Using Active Illumination og kommer fra Candice R. Gerstner, en anvendt forskningsmatematiker ved US Department of Defense, og professor Hany Farid fra Berkeley.

Erosion af Tillid

Forskningsfeltet omkring anti-deepfake har ændret sig betydeligt i de sidste seks måneder, væk fra generel deepfake-detektion (dvs. målrettet forudindspillede videoer og pornografisk indhold) og mod ‘liveness’-detektion, som svar på en voksende bølge af tilfælde af deepfake-brug i video-konferenceopkald og på FBI’s seneste advarsel om den voksende brug af sådanne teknologier i ansøgninger om fjernarbejde.

Selv hvor et videoopkald ikke er deepfaked, er de øgede muligheder for AI-drevne video-imitatorer begyndt at generere paranoia.

Den nye artikel siger:

‘Oprettelsen af real-time deepfakes [repræsenterer] unikke trusler på grund af den generelle følelse af tillid omkring et live-video- eller telefonopkald, og udfordringen ved at detektere deepfakes i realtid, mens opkaldet udvikler sig.’

Forskningsfællesskabet har længe sat sig selv målet at finde ufejlbarlige tegn på deepfake-indhold, som ikke let kan kompenseres for. Selv om medierne typisk har karakteriseret dette som en teknologisk krig mellem sikkerhedsforskere og deepfake-udviklere, er de fleste afvisninger af tidlige tilgange (såsom øjenblinkanalyse, hovedstillingsskæl og adfærdsanalyse) sket, fordi udviklerne og brugerne har forsøgt at gøre deepfakes mere realistiske generelt, snarere end at adresse det seneste ‘tell’ identificeret af sikkerhedsfællesskabet.

Kastende Lys over Live Deepfake-Video

At detektere deepfakes i live-video-miljøer indebærer en byrde ved at tage højde for dårlige video-forbindelser, som er meget almindelige i video-konference-scenarier. Selv uden en indgribende deepfake-lag kan video-indhold være underlagt NASA-lignende forsinkelse, rendering-artefakter og andre former for degradering i lyd og video. Disse kan tjene til at skjule de ru kanter i en live deepfaking-arkitektur, både i video og lyd-deepfakes.

Forfatternes nye system forbedrer resultaterne og metoderne, der er beskrevet i en 2020-publikation fra Center for Networked Computing ved Temple University i Philadelphia.

Fra 2020-artiklen, kan vi observere ændringen i ‘in-filled’ ansigtsbelysning, når indholdet af brugerens skærm ændrer sig. Kilde: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Forskellen i det nye arbejde er, at det tager højde for, hvordan webkameraer reagerer på lysændringer. Forfatterne forklarer:

‘Fordi alle moderne webkameraer udfører auto-eksponering, er den type høj intensiv aktiv belysning [brugt i det tidligere arbejde] sandsynligvis til at udløse kameraets auto-eksponering, hvilket igen vil forvirre den optagede ansigtsudseende. For at undgå dette, anvender vi en aktiv belysning, der består af en isoluminant ændring i farve.

‘Selv om dette undgår kameraets auto-eksponering, kunne det udløse kameraets hvidbalance, hvilket igen ville forvirre den optagede ansigtsudseende. For at undgå dette, opererer vi i en farveområde, som vi empirisk har fastlagt, ikke udløser hvidbalance.’

Til dette initiativ overvejede forfatterne også lignende tidligere forsøg, såsom LiveScreen, som tvinger en usynlig lysmønster på slutbrugerens skærm i et forsøg på at afsløre deepfake-indhold.

Selv om dette system opnåede en nøjagtighed på 94,8%, konkluderer forskerne, at subtiliteten af lysmønstrene ville gøre en sådan skjult tilgang svær at implementere i lysende miljøer, og foreslår i stedet, at deres eget system, eller et system, der ligner det, kunne integreres offentligt og som standard i populære video-konference-software:

‘Vores foreslåede intervention kunne enten realiseres af en deltagende i opkaldet, der blot deler sin skærm og viser det tidsvariante mønster, eller, idealistisk, kunne det integreres direkte i video-opkaldsklienten.’

Tests

Forfatterne anvendte en blanding af syntetiske og virkelige undersøgelsesemner for at teste deres Dlib-drevne deepfake-detektor. Til den syntetiske scenarie anvendte de Mitsuba, en fremad- og inverse renderer fra det Schweiziske Teknisk Institut i Lausanne.

Eksempler fra den simulerede datasaet, der viser varierende hudtone, lyskilde-størrelse, omgivelsernes lysintensitet og nærhed til kamera.

Scenariet viser en parametrisk CGI-hoved, der er optaget af en virtuel kamera med en 90° synsvinkel. Hovederne har Lambertisk refleksion og neutralt hudtone, og er placeret 2 fod foran det virtuelle kamera.

For at teste rammen på tværs af en række mulige hudtoner og opsætninger, kørte forskerne en række tests, hvor de ændrede diverse aspekter sekventielt. De ændrede aspekter inkluderede hudtone, nærhed og lyskilde-størrelse.

Forfatterne kommenterer:

‘I simulation, med vores forskellige antagelser tilfredsstillet, er vores foreslåede teknik meget robust over for en bred vifte af billedkonfigurationer.’

For den virkelige scenarie anvendte forskerne 15 frivillige med en række hudtoner, i diverse miljøer. Hver blev udsat for to cykler af den begrænsede farvevariation, under betingelser, hvor en 30Hz skærmopdateringshastighed var synkroniseret med webkameraet, hvilket betyder, at den aktive belysning kun ville vare i én sekund ad gangen. Resultaterne var bredt sammenlignelige med de syntetiske tests, selv om korrelationerne øgede betydeligt med større lysværdier.

Fremtidige Retninger

Systemet, som forskerne indrømmer, tager ikke højde for typiske ansigtsforklædninger, såsom pandehår, briller eller skæg. De bemærker dog, at maskering af denne type kan tilføjes til senere systemer (gennem mærkning og efterfølgende semantisk segmentering), som kunne trænes til at tage værdier eksklusivt fra opfattede hudområder i målpersonen.

Forfatterne foreslår også, at en lignende paradigme kunne anvendes til at detektere deepfakede lydopkald, og at den nødvendige lyd kunne afspilles i en frekvens uden for det normale menneskelige hørefelt.

Måske mest interessant er, at forskerne også foreslår, at en udvidelse af evalueringen ud over ansigtet i en rigere optagelsesramme kunne betydeligt forbedre muligheden for deepfake-detektion*:

‘En mere avanceret 3-D estimation af belysning ville sandsynligvis give en rigere udseendemodel, som ville være endnu sværere for en forfalsker at omgå. Mens vi kun fokuserede på ansigtet, illuminerer computer-skærmen også halsen, overkroppen og omgivelserne, hvorfra lignende målinger kunne foretages.

‘Disse ekstra målinger ville tvinge forfalskeren til at overveje hele den 3-D-scene, ikke kun ansigtet.’

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet 6. juli 2022.