Detectie van Deepfake-videogesprekken via Beeldschermverlichting

Een nieuwe samenwerking tussen een onderzoeker van de National Security Agency (NSA) van de Verenigde Staten en de Universiteit van Californië in Berkeley biedt een novate methode voor het detecteren van deepfake-inhoud in een live-videocall – door de invloed van beeldschermverlichting op het uiterlijk van de persoon aan de andere kant van de videogesprek te observeren.

Populaire DeepFaceLive-gebruiker Druuzil Tech & Games probeert zijn eigen Christian Bale DeepFaceLab-model uit in een live-sessie met zijn volgers, terwijl lichtbronnen veranderen. Bron: https://www.youtube.com/watch?v=XPQLDnogLKA

Het systeem werkt door een grafisch element op het scherm van de gebruiker te plaatsen dat een smalle range van zijn kleur sneller verandert dan een typisch deepfake-systeem kan reageren – zelfs als het, zoals de real-time deepfake-streamingimplementatie DeepFaceLive (hierboven afgebeeld), enige mogelijkheid heeft om live-kleurtransfer te behouden en rekening te houden met omgevingslicht.

Het uniforme kleurbeeld dat op het scherm van de persoon aan de andere kant (d.w.z. de potentiële deepfake-fraudeur) wordt weergegeven, verandert in een beperkte variatie van kleurveranderingen die zijn ontworpen om de automatische witbalans van de webcam en andere ad hoc-verlichtingscompensatiesystemen niet te activeren, die de methode zouden compromitteren.

Uit het artikel, een illustratie van de verandering in lichtomstandigheden van het beeldscherm voor een gebruiker, die effectief werkt als een diffuse ‘area light’. Bron: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

De theorie achter de benadering is dat live deepfake-systemen niet snel genoeg kunnen reageren op de veranderingen die in het beeld op het scherm worden weergegeven, waardoor de ‘lag’ van het deepfake-effect in bepaalde delen van het kleurespectrum toeneemt, waardoor het aanwezig is.

Om de gereflecteerde beeldschermverlichting nauwkeurig te meten, moet het systeem rekening houden met en vervolgens de invloed van algemene omgevingsverlichting die niet gerelateerd is aan licht van het beeldscherm, uitsluiten. Vervolgens kan het onderscheid maken tussen tekortkomingen in de meting van de actieve verlichtingskleur en de gezichtskleur van gebruikers, wat een tijdelijke verschuiving van 1-4 frames tussen elk vertegenwoordigt:

Door de hue-variatiemogelijkheden in het ‘detector’-beeld op het scherm te beperken en ervoor te zorgen dat de webcam van de gebruiker niet wordt aangezet om zijn opname-instellingen automatisch aan te passen door een overmatige verandering in beeldschermverlichting, zijn de onderzoekers erin geslaagd om een kenmerkende vertraging in de aanpassing van het deepfake-systeem aan de veranderingen in verlichting te detecteren.

Het artikel concludeert:

‘Omdat we redelijkerwijs vertrouwen stellen in live-videogesprekken en vanwege de groeiende alomtegenwoordigheid van videogesprekken in ons persoonlijke en professionele leven, stellen we voor dat technieken voor het valideren van videogesprekken (en audio) alleen maar belangrijker zullen worden.’

Het onderzoek heet Detectie van real-time deepfake-video’s met behulp van actieve verlichting en komt van Candice R. Gerstner, een toegepast onderzoeker in de wiskunde bij het Amerikaanse ministerie van Defensie, en professor Hany Farid van Berkeley.

Erosie van vertrouwen

Het anti-deepfake-onderzoeksgebied heeft de afgelopen zes maanden aanzienlijk verschoven, van algemene deepfake-detectie (d.w.z. gericht op vooraf opgenomen video’s en pornografische inhoud) naar ‘levendigheid’-detectie, als reactie op een groeiende golf van incidenten met deepfake-gebruik in videogesprekken en op de recente waarschuwing van de FBI over het groeiende gebruik van dergelijke technologieën in sollicitaties voor remote work.

Zelfs als een videogesprek niet blijkt te zijn gemanipuleerd, beginnen de toegenomen kansen voor AI-gestuurde video-impersonators paranoia te genereren.

Het nieuwe artikel zegt:

‘De creatie van real-time deepfakes [vormt] unieke bedreigingen vanwege het algemene gevoel van vertrouwen dat om een live-videogesprek of telefoongesprek heen hangt, en de uitdaging om deepfakes in real-time te detecteren, terwijl het gesprek plaatsvindt.’

De onderzoekscommunity heeft zichzelf het doel gesteld om onfeilbare tekenen van deepfake-inhoud te vinden die niet gemakkelijk kunnen worden gecompenseerd. Hoewel de media dit meestal karakteriseert als een technologische oorlog tussen beveiligingsonderzoekers en deepfake-ontwikkelaars, zijn de meeste negaties van eerdere benaderingen (zoals oogknipperanalyse, hoofdpositie-onderscheiding en gedragsanalyse) simpelweg het gevolg van het feit dat de ontwikkelaars en gebruikers probeerden om realistischere deepfakes te maken in het algemeen, in plaats van specifiek te reageren op de laatste ‘teken’ die door de beveiligingsgemeenschap is geïdentificeerd.

Verlichting van live deepfake-video

Het detecteren van deepfakes in live-videomilieus houdt de last in van rekening houden met slechte videoverbindingen, die zeer gewoon zijn in videogesprekken. Zelfs zonder een tussenliggende deepfake-laag kan videomateriaal onderhevig zijn aan NASA-stijl vertraging, weergave-artefacten en andere soorten degradatie in audio en video. Deze kunnen dienen om de ruwe randen in een live deepfaking-architectuur te verhullen, zowel in termen van video als audio-deepfakes.

De auteurs van het nieuwe systeem verbeteren de resultaten en methoden die worden gepresenteerd in een publicatie uit 2020 van het Center for Networked Computing van de Temple University in Philadelphia.

Uit het artikel uit 2020, waarin de verandering in ‘in-filled’ gezichtsverlichting wordt getoond terwijl de inhoud van het scherm van de gebruiker verandert. Bron: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Het verschil in het nieuwe werk is dat het rekening houdt met de manier waarop webcams reageren op veranderingen in verlichting. De auteurs leggen uit:

‘Omdat alle moderne webcams automatische belichting uitvoeren, is de soort hoge intensiteit actieve verlichting [gebruikt in het vorige werk] waarschijnlijk om de camera’s automatische belichting te activeren, die op zijn beurt de geregistreerde gezichtskenmerken zal verstoren. Om dit te voorkomen, gebruiken we een actieve verlichting die bestaat uit een isoluminante verandering in kleur.

‘Hoewel dit de camera’s automatische belichting voorkomt, kan het de camera’s witbalans activeren, die opnieuw de geregistreerde gezichtskenmerken zal verstoren. Om dit te voorkomen, werken we binnen een kleurenbereik dat we empirisch hebben vastgesteld en dat de witbalans niet activeert.’

Voor deze initiatief hebben de auteurs ook soortgelijke eerdere pogingen overwogen, zoals LiveScreen, die een onopvallend verlichtingspatroon op het beeldscherm van de eindgebruiker forceert in een poging om deepfake-inhoud te onthullen.

Hoewel dat systeem een nauwkeurigheid van 94,8% bereikte, concluderen de onderzoekers dat de subtiliteit van de lichtpatronen een dergelijke clandestiene benadering moeilijk te implementeren zou maken in fel verlichte omgevingen en stellen daarom voor dat hun eigen systeem, of een systeem dat op soortgelijke wijze is gemodelleerd, openbaar en standaard in populaire videogesprekssoftware kan worden geïntegreerd:

‘Onze voorgestelde interventie kan worden gerealiseerd door een deelnemer aan een videogesprek die zijn scherm deelt en het tijdelijk variabele patroon weergeeft, of, ideaal, kan het rechtstreeks in de videogespreksclient worden geïntegreerd.’

Tests

De auteurs gebruikten een combinatie van synthetische en echte onderwerpen om hun Dlib-gebaseerde deepfake-detector te testen. Voor het synthetische scenario gebruikten ze Mitsuba, een forward en inverse renderer van de Zwitserse Federale Technische Hochschule in Lausanne.

Voorbeelden uit de gesimuleerde omgevingstests, met variatie in huidskleur, lichtbron grootte, omgevingslichtintensiteit en afstand tot de camera.

Het tafereel toont een parametrische CGI-hoofd dat is vastgelegd door een virtuele camera met een 90° gezichtsveld. De hoofden hebben Lambertiaanse reflectie en neutrale huidtinten, en zijn geplaatst op 2 voet voor de virtuele camera.

Om het kader over een breed scala aan mogelijke huidtinten en configuraties te testen, voerden de onderzoekers een reeks tests uit, waarbij diverse aspecten opeenvolgend werden gewijzigd. De aspecten die werden gewijzigd, omvatten huidskleur, nabijheid en verlichtingslichtgrootte.

De auteurs merken op:

‘In simulatie, met onze verschillende aannamen vervuld, is onze voorgestelde techniek zeer robuust voor een breed scala aan beeldconfiguraties.’

Voor het echte scenario gebruikten de onderzoekers 15 vrijwilligers met een breed scala aan huidtinten, in diverse omgevingen. Elk werd onderworpen aan twee cycli van de beperkte hue-variatie, onder omstandigheden waarin een 30Hz-beeldschermsynchronisatie werd gesynchroniseerd met de webcam, waardoor de actieve verlichting slechts één seconde zou duren. De resultaten waren breed vergelijkbaar met de synthetische tests, hoewel de correlaties aanzienlijk toenamen met grotere verlichtingswaarden.

Toekomstige richtingen

Het systeem, zo geven de onderzoekers toe, houdt geen rekening met typische gezichtsbedekkingen, zoals pony’s, brillen of baard. Echter, ze merken op dat dergelijke maskering kan worden toegevoegd aan latere systemen (door labeling en vervolgens semantische segmentatie), die kunnen worden getraind om waarden exclusief uit waargenomen huidgebieden in het doelwit te nemen.

De auteurs suggereren ook dat een soortgelijke paradigma kan worden gebruikt om deepfake-audiogesprekken te detecteren, en dat de detectiegeluiden die nodig zijn, kunnen worden afgespeeld in een frequentie buiten het normale menselijke gehoorbereik.

Misschien wel het meest interessant, suggereren de onderzoekers ook dat het uitbreiden van de evaluatiegebieden buiten het gezicht in een rijker capture-kader aanzienlijk de mogelijkheid van deepfake-detectie kan verbeteren*:

‘Een meer geavanceerde 3-D schatting van verlichting zou waarschijnlijk een rijker verschijningsmodel bieden dat nog moeilijker voor een vervalser zou zijn om te omzeilen. Terwijl we ons alleen op het gezicht concentreerden, verlicht het computerscherm ook de hals, bovenlichaam en omgevende achtergrond, van waaruit soortgelijke metingen kunnen worden gedaan.

‘Deze extra metingen zouden de vervalser dwingen om het hele 3-D-tafereel te overwegen, niet alleen het gezicht.’

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op 6 juli 2022.