Onderzoekers identificeren een veerkrachtig kenmerk van deepfakes dat kan helpen bij langetermijndetectie

Sinds de eerste deepfake-detectieoplossingen in 2018 zijn ontwikkeld, heeft de sector computer visie en beveiligingsonderzoek gezocht naar een essentieel kenmerk van deepfake-video’s – signalen die bestand kunnen zijn tegen verbeteringen in populaire gezichtssynthesetechnologieën (zoals autoencoder-gebaseerde deepfake-pakketten zoals DeepFaceLab en FaceSwap, en het gebruik van Generative Adversarial Networks om menselijke gezichten te recreëren, simuleren of te veranderen).

Veel van de ‘tekenen’, zoals gebrek aan knipperen, werden overbodig gemaakt door verbeteringen in deepfakes, terwijl het potentieel gebruik van digitale provenance-technieken (zoals de door Adobe geleide Content Authenticity Initiative) – inclusief blockchain-benaderingen en digitale watermerken van potentieel bronafbeeldingen – ofwel vereisen omvangrijke en dure veranderingen in de bestaande hoeveelheid beschikbare bronafbeeldingen op internet, ofwel zouden een opvallende coöperatieve inspanning onder landen en regeringen vereisen om systemen van toezicht en authenticatie te creëren.

Het zou dus zeer nuttig zijn als een echt fundamenteel en veerkrachtig kenmerk kon worden onderscheiden in beeld- en video-inhoud met veranderde, uitgevonden of identiteit-geruilde menselijke gezichten; een kenmerk dat rechtstreeks uit vervalste video’s kon worden afgeleid, zonder grootschalige verificatie, cryptografische asset-hashing, context-controle, plausibiliteitsevaluatie, artifact-georiënteerde detectieroutines of andere belastende benaderingen van deepfake-detectie.

Deepfakes in de context

Een nieuwe onderzoeks samenwerking tussen China en Australië gelooft dat het dit ‘heilige graal’ heeft gevonden, in de vorm van regelmaatverstoring.

De auteurs hebben een methode ontwikkeld om de ruimtelijke integriteit en temporele continuïteit van echte video’s te vergelijken met die welke deepfake-inhoud bevatten, en hebben ontdekt dat elke vorm van deepfake-interferentie de regelmaat van het beeld verstoort, hoe onmerkbaar ook.

Dit komt deels doordat het deepfake-proces de doelvideo opsplits in frames en het effect van een getraind deepfake-model in elke (vervangen) frame toepast. Populaire deepfake-distributies handelen op dezelfde manier als animators, in dit opzicht, en geven meer aandacht aan de authenticiteit van elke frame dan aan elke frame’s bijdrage aan de algehele ruimtelijke integriteit en temporele continuïteit van de video.

visualisatie van geëxtraheerde kenmerken voor echte, vervalste en p-fake video’s. Bron: https://arxiv.org/pdf/2207.10402.pdf

Dit is niet de manier waarop een video-codec een reeks frames behandelt wanneer een originele opname wordt gemaakt of verwerkt. Om op bestandsgrootte te besparen of een video geschikt te maken voor streaming, wordt een enorme hoeveelheid informatie weggegooid door de video-codec. Zelfs bij de hoogste kwaliteitinstellingen zal de codec sleutelframes toewijzen (een variabele die door de gebruiker kan worden ingesteld) – complete, praktisch ongecomprimeerde beelden die op een vooraf ingestelde interval in de video voorkomen.

De tussentijdse frames tussen sleutelframes worden, in zekere mate, geschat als een variant van de frames, en zullen zoveel mogelijk informatie hergebruiken van de aangrenzende sleutelframes, in plaats van complete frames in hun eigen recht.

Links, een complete sleutelframe, of ‘i-frame’, wordt in de gecomprimeerde video opgeslagen, ten koste van bestandsgrootte; rechts, een tussentijdse ‘delta-frame’ hergebruikt elk toepasselijk deel van de meer gegevensrijke sleutelframe. Bron: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Op deze manier is de blok (bevattende x aantal frames, afhankelijk van sleutelframe-instellingen) arguable de kleinste eenheid die in een typische gecomprimeerde video wordt overwogen, in plaats van een individueel frame. Zelfs de sleutelframe zelf, bekend als een i-frame, vormt deel van die eenheid.

In termen van traditionele tekenfilmanimatie, voert een codec een soort in-betweening uit, waarbij de sleutelframes fungeren als tentpolen voor de tussentijdse, afgeleide frames, bekend als delta-frames.

Daarentegen besteedt deepfake-superpositie enorme aandacht en middelen aan elk individueel frame, zonder rekening te houden met de bredere context, en zonder rekening te houden met de manier waarop compressie en blok-gebaseerde codering de kenmerken van ‘authentieke’ video beïnvloeden.

Een nadere blik op de discontinuïteit tussen de temporele kwaliteit van een authentieke video (links), en dezelfde video wanneer deze wordt verstoord door deepfakes (rechts).

Hoewel sommige van de betere deepfakers uitgebreide post-processing gebruiken, in pakketten zoals After Effects, en hoewel de DeepFaceLab-distributie een native capaciteit heeft om ‘blending’-procedures zoals motion blur toe te passen, heeft dit soort handigheid geen invloed op de mismatch van ruimtelijke en temporele kwaliteit tussen authentieke en deepfake-video’s.

Het nieuwe artikel is getiteld Deepfake-detectie door het creëren van spatio-temporele regelmaatverstoring, en komt van onderzoekers aan de Tsinghua University, de afdeling Computer Vision Technology (VIS) bij Baidu Inc., en de University of Melbourne

‘Nep’ nep-video’s

De onderzoekers achter het artikel hebben de functionaliteit van het onderzoek geïntegreerd in een plug-and-play-module genaamd Pseudo-fake Generator (P-fake Generator), die echte video’s transformeert in nep-deepfake-video’s, door ze te verstoren op dezelfde manier als het echte deepfake-proces, zonder daadwerkelijk enige deepfake-bewerkingen uit te voeren.

Tests tonen aan dat de module kan worden toegevoegd aan alle bestaande deepfake-detectiesystemen bijna zonder enige kosten van middelen, en dat het aanzienlijk de prestaties ervan verbetert.

De ontdekking kan helpen om een van de andere struikelblokken in deepfake-detectieonderzoek aan te pakken: het gebrek aan authentieke en up-to-date datasets. Aangezien deepfake-generatie een ingewikkeld en tijdrovend proces is, heeft de gemeenschap een aantal deepfake-datasets ontwikkeld in de afgelopen vijf jaar, veel waarvan vrij verouderd zijn.

Door regelmaatverstoring te isoleren als een deepfake-agnostisch signaal voor video’s die zijn gewijzigd post-facto, maakt de nieuwe methode het mogelijk om oneindig veel steekproef- en datasetvideo’s te genereren die zich richten op dit facet van deepfakes.

Overzicht van de STE-blok, waarbij kanaalwijze temporele convolutie wordt gebruikt als een spur om spatio-temporeel verhoogde coderingen te genereren, waardoor hetzelfde signaal ontstaat dat zelfs een zeer overtuigende deepfake zou opleveren. Door deze methode kunnen ‘nep’ nep-video’s worden gegenereerd die dezelfde signatuurkenmerken hebben als elke gewijzigde, deepfake-achtige video, en die niet afhankelijk zijn van specifieke distributies of van vluchtige aspecten zoals kenmerkengedrag of algoritmische artefacten.

Tests

De onderzoekers voerden experimenten uit op zes opmerkelijke datasets die in deepfake-detectieonderzoek worden gebruikt: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); en Face Shifter (FSh).

Voor FF++ trainden de onderzoekers hun model op de oorspronkelijke dataset en testten elk van de vier subsets afzonderlijk. Zonder het gebruik van enige deepfake-materiaal in de training, was de nieuwe methode in staat om de resultaten van de staat van de kunst te overtreffen.

De methode nam ook de pole positie in toen deze werd vergeleken met de FF++ C23 gecomprimeerde dataset, die voorbeelden biedt met compressie-artefacten die geloofwaardig zijn in echte deepfake-weergaveomgevingen.

De auteurs merken op:

‘De prestaties binnen FF++ valideren de haalbaarheid van ons hoofdidee, terwijl generaliseerbaarheid een groot probleem blijft voor bestaande deepfake-detectiemethoden, aangezien de prestaties niet zijn gegarandeerd wanneer getest op deepfakes gegenereerd door ongezien technieken.

‘Overweeg verder de realiteit van de wapenwedloop tussen detectors en forgers, generaliseerbaarheid is een belangrijke maatstaf om de effectiviteit van een detectiemethode in de echte wereld te meten.’

Hoewel de onderzoekers een aantal sub-tests hebben uitgevoerd (zie artikel voor details) over ‘robustheid’ en het variëren van de soorten video’s die worden ingevoerd (d.w.z. echt, vals, p-fake, enz.), zijn de meest interessante resultaten die van de test voor cross-dataset-prestaties.

Hiervoor trainden de auteurs hun model op de eerdergenoemde ‘echte wereld’ c23-versie van FF++, en testten dit tegen vier datasets, waarbij, volgens de auteurs, een superieure prestatie werd behaald over alle vier.

Resultaten van de cross-dataset-uitdaging. Het artikel merkt op dat SBI een soortgelijke benadering gebruikt als die van de auteurs, terwijl, volgens de onderzoekers, p-fake een betere prestatie laat zien voor spatio-temporele regelmaatverstoring.

Het artikel stelt:

‘Op de meest uitdagende Deepwild, overtreft onze methode de SOTA-methode met ongeveer 10 procentpunten in termen van AUC%. We denken dat dit te wijten is aan de grote diversiteit van deepfakes in Deepwild, waardoor andere methoden niet goed kunnen generaliseren vanuit gezien deepfakes.’

De gebruikte metrics voor de tests waren Accuracyscore (ACC), Area Under de Receiver Operating Characteristic Curve (AUC) en Equal Error Rate (EER).

Tegenmaatregelen?

Hoewel de media de spanning tussen deepfake-ontwikkelaars en deepfake-detectieonderzoekers in termen van een technologische oorlog karakteriseert, is het arguable dat de eersten simpelweg proberen om meer overtuigende output te produceren, en dat de toegenomen moeilijkheid van deepfake-detectie een omstandig bijproduct is van deze inspanningen.

Of ontwikkelaars zullen proberen om deze nieuw onthulde zwakheid aan te pakken, hangt misschien af van of ze denken dat regelmaatverstoring kan worden waargenomen in een deepfake-video, met het blote oog, als een teken van onechtheid, en dat deze meting dus de moeite waard is om aan te pakken vanuit een puur kwalitatief oogpunt.

Hoewel vijf jaar zijn verstreken sinds de eerste deepfakes online gingen, is deepfaking nog steeds een relatief nieuwe technologie, en is de gemeenschap arguable meer bezig met detail en resolutie dan met correcte context of het matchen van de signatures van gecomprimeerde video, die beide een zekere ‘degradatie’ van output vereisen – precies het tegenovergestelde van wat de hele deepfake-gemeenschap momenteel tegen strijdt.

Als de algemene consensus daaruit blijkt dat regelmaatverstoring een nieuwe signatuur is die de kwaliteit niet beïnvloedt, kan er geen inspanning worden gedaan om hier compensatie voor te bieden – zelfs als het wel kan worden ‘geannuleerd’ door sommige post-processing of in-architectuurprocedures, wat verre van duidelijk is.

Publicatie op 22 juli 2022.