Upptäcka Deepfake-videoutsikt genom monitorbelysning

En ny samarbetsinsats mellan en forskare från USA:s National Security Agency (NSA) och University of California i Berkeley erbjuder en ny metod för att upptäcka deepfake-innehåll i en live-videokontext – genom att observera effekten av monitorbelysning på utseendet hos personen i andra änden av videoutsikten.

Popular DeepFaceLive-användare Druuzil Tech & Games testar sin egen Christian Bale DeepFaceLab-modell i en live-session med sina följare, medan ljuskällor ändras. Källa: https://www.youtube.com/watch?v=XPQLDnogLKA

Systemet fungerar genom att placera ett grafiskt element på användarens skärm som ändrar en smal del av dess färg snabbare än ett typiskt deepfake-system kan svara – även om det, som realtids-deepfake-strömning genomförande DeepFaceLive (avbildat ovan), har viss förmåga att upprätthålla live-färgöverföring och kompensera för omgivande belysning.

Den enhetliga färgbilden som visas på den andra personens skärm (dvs. den potentiella deepfake-bedragaren) cyklar genom en begränsad variation av färgförändringar som är utformade för att inte aktivera en webbkamerans automatiska vitbalans och andra ad hoc-belysningskompenseringssystem, som skulle kompromettera metoden.

Från artikeln, en illustration av förändringen i belysningsförhållanden från monitorn framför en användare, som effektivt fungerar som en diffus ‘area-ljus’. Källa: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorin bakom tillvägagångssättet är att live-deepfake-system inte kan svara i tid till de förändringar som avbildas i den grafiska bilden på skärmen, vilket ökar ‘fördröjningen’ av deepfake-effekten i vissa delar av färgspektrumet, vilket avslöjar dess närvaro.

För att kunna mäta den reflekterade monitorbelysningen exakt behöver systemet ta hänsyn till och sedan diskontera effekten av allmän miljöbelysning som inte är relaterad till ljus från monitorn. Det kan sedan skilja på brister i mätningen av den aktiva belysningens färg och den ansiktsfärg som användarna har, vilket representerar en tidsmässig förskjutning på 1-4 bildrutor mellan varje:

Genom att begränsa färgvariationerna i den grafiska ‘detektor’-bilden och säkerställa att användarens webbkamera inte utlöser automatisk justering av inspelninginställningarna på grund av förändringar i monitorbelysning, har forskarna kunnat urskilja en avslöjande fördröjning i deepfake-systemets anpassning till belysningsförändringarna.

Artikeln avslutas med:

‘På grund av det rimliga förtroende vi har för live-videoutsikt och den växande allmänheten för videoutsikt i våra personliga och professionella liv, föreslår vi att tekniker för att autentisera videoutsikt (och ljud) kommer att bli allt viktigare.’

Den studien heter Upptäcka realtids-deepfake-videor med aktiv belysning och kommer från Candice R. Gerstner, en tillämpad forskningsmatematiker vid US Department of Defense, och professor Hany Farid vid Berkeley.

Erosion av förtroende

Den anti-deepfake-forsknings scenen har förändrats betydligt under de senaste sex månaderna, från allmän deepfake-identifiering (dvs. inriktad på förinspelade videor och pornografiskt innehåll) till ‘livsidentifiering’, som svar på en växande våg av incidenter med deepfake-användning i videokonferenssamtal och till FBI:s nyliga varning om den växande användningen av sådana tekniker i ansökningar för distansarbete.

Även om ett videoutsikt inte visar sig vara deepfake, börjar de ökade möjligheterna för AI-drivna video-imitatörer att generera paranoia.

Den nya artikeln påstår:

‘Skapandet av realtids-deepfakes [utgör] unika hot på grund av det allmänna förtroendet kring en live-videoutsikt eller telefonsamtal, och utmaningen att upptäcka deepfakes i realtid, medan samtalet pågår.’

Forskningsgemenskapen har länge sett som sitt mål att hitta ofelbara tecken på deepfake-innehåll som inte kan kompenseras för lätt. Även om media vanligtvis karakteriserar detta som en teknologisk krig mellan säkerhetsforskare och deepfake-utvecklare, har de flesta negationerna av tidiga tillvägagångssätt (såsom ögonblinkanalys, huvudpositionskännedom och beteendeanalys) skett enbart för att utvecklarna och användarna försökte skapa mer realistiska deepfakes i allmänhet, snarare än att specifikt bemöta den senaste ‘berättelsen’ identifierad av säkerhetsgemenskapen.

Att kasta ljus på live-deepfake-video

Att upptäcka deepfakes i live-videomiljöer bär bördan av att ta hänsyn till dåliga videoförbindelser, som är mycket vanliga i videokonferensscenarier. Även utan en ingripande deepfake-lager kan videoinnehåll vara föremål för NASA-liknande fördröjning, renderingartefakter och andra typer av försämring av ljud och video. Dessa kan tjäna till att dölja de grova kanterna i en live-deepfaking-arkitektur, både i termer av video och ljud-deepfakes.

Författarnas nya system förbättrar resultaten och metoderna som presenteras i en 2020-publication från Center for Networked Computing vid Temple University i Philadelphia.

Från 2020-artikeln, kan vi observera förändringen i ‘in-fylld’ ansiktsbelysning när innehållet i användarens skärm ändras. Källa: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Skillnaden i det nya arbetet är att det tar hänsyn till hur webbkameror svarar på belysningsförändringar. Författarna förklarar:

‘Eftersom alla moderna webbkameror utför autoexponering, är den typ av högintensiv aktiv belysning [använd i tidigare arbete] sannolikt att utlösa kamerans autoexponering, vilket i sin tur kommer att förvirra den inspelade ansiktsbilden. För att undvika detta använder vi en aktiv belysning som består av en isoluminant förändring av färg.

‘Medan detta undviker kamerans autoexponering, kan det utlösa kamerans vitbalansering, vilket skulle återigen förvirra den inspelade ansiktsbilden. För att undvika detta opererar vi inom ett färgområde som vi har bestämt empiriskt inte utlöser vitbalansering.’

För denna initiativ har författarna också övervägt liknande tidigare företag, såsom LiveScreen, som tvingar en oansenlig belysningsmönster på slutanvändarens skärm i ett försök att avslöja deepfake-innehåll.

Även om det systemet uppnådde en 94,8-procentig noggrannhetsgrad, drar forskarna slutsatsen att det subtila ljusmönstret skulle göra en sådan dold tillvägagångssätt svår att genomföra i väl upplysta miljöer, och föreslår i stället att deras eget system, eller ett system som följer liknande linjer, kunde införlivas offentligt och som standard i populära videokonferensprogram:

‘Vår föreslagna ingrepp kunde antingen förverkligas av en deltagare i samtalet som enkelt delar sin skärm och visar den tidsmässigt varierande mönster, eller, idealiskt, kunde det införlivas direkt i videoklienten.’

Tester

Författarna använde en blandning av syntetiska och verkliga ämnen för att testa sin Dlib-driven deepfake-detektor. För den syntetiska scenariot använde de Mitsuba, en framåt och inverse renderer från Swiss Federal Institute of Technology i Lausanne.

Exempel från den simulerade miljön, med varierande hudton, ljuskällstorlek, omgivande ljusintensitet och avstånd till kamera.

Scenen som avbildas innehåller ett parametriskt CGI-huvud som fångats av en virtuell kamera med en 90° synvinkel. Huvudena har Lambertian reflektans och neutrala hudtoner, och är placerade 2 fot framför den virtuella kameran.

För att testa ramverket över en rad möjliga hudtoner och konfigurationer, körde forskarna en serie tester, varierande olika aspekter sekventiellt. De aspekter som ändrades inkluderade hudton, avstånd och belysningsljusstorlek.

Författarna kommenterar:

‘I simulering, med våra olika antaganden uppfyllda, är vår föreslagna teknik mycket robust mot en bred variation av avbildningskonfigurationer.’

För den verkliga scenariot använde forskarna 15 frivilliga med en rad hudtoner, i olika miljöer. Var och en utsattes för två cykler av den begränsade färgvariationen, under förhållanden där en 30Hz-skärmuppdateringsfrekvens var synkroniserad med webbkameran, vilket innebar att den aktiva belysningen endast skulle vara aktiv i en sekund åt gången. Resultaten var i stort sett jämförbara med de syntetiska testerna, även om korrelationerna ökade märkbart med större belysningsvärden.

Framtida riktningar

Systemet, som forskarna medger, tar inte hänsyn till typiska ansiktsdöljningar, såsom bangs, glasögon eller skägg. Men de noterar att maskering av detta slag kan läggas till i senare system (genom märkning och efterföljande semantisk segmentering), som kunde tränas för att ta värden uteslutande från uppfattade hudområden i målsubjektet.

Författarna föreslår också att en liknande paradigm kunde användas för att upptäcka deepfake-ljudsamtal, och att det upptäckta ljudet som behövs kunde spelas i en frekvens utanför det normala mänskliga hörselområdet.

Kanske mest intressant är att forskarna också föreslår att utvidgningen av utvärderingsområdet bortom ansiktet i en rikare infångst ramverk kunde avsevärt förbättra möjligheten att upptäcka deepfakes*:

‘En mer avancerad 3-D estimering av belysning skulle troligen ge en rikare utseendemodell som skulle vara ännu svårare för en bedragare att kringgå. Medan vi fokuserade endast på ansiktet, belyser datorns skärm också halsen, överkroppen och omgivande bakgrund, från vilken liknande mätningar kunde göras.

‘Dessa ytterligare mätningar skulle tvinga bedragaren att överväga hela 3-D-scenen, inte bara ansiktet.’

* Min omvandling av författarnas inline-citationer till hyperlänkar.

Publicerad första gången den 6 juli 2022.