Het identificeren van celebrity deepfakes vanuit de buitenste gezichtsregio’s

Een nieuwe samenwerking tussen Microsoft en een Chinese universiteit heeft een novate methode voorgesteld om celebrity deepfakes te identificeren, door de beperkingen van huidige deepfake-technieken te benutten om identiteiten te herkennen die zijn ‘geprojecteerd’ op andere mensen.

De aanpak wordt Identity Consistency Transformer (ICT) genoemd en werkt door de buitenste delen van het gezicht (kaak, jukbeenderen, haarlijn en andere buitenste randen) te vergelijken met het interieur van het gezicht. Het systeem benut openbaar beschikbare beeldgegevens van beroemde mensen, wat de effectiviteit beperkt tot populaire celebrities, waarvan de beelden in hoge aantallen beschikbaar zijn in breed beschikbare computerzicht-datasets en op het internet.

De vervalsingsdekking van vervalste gezichten over zeven technieken: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; en DF-VAE. Populaire pakketten zoals DeepFaceLab en FaceSwap bieden vergelijkbare beperkte dekking. Source: https://arxiv.org/pdf/2203.01318.pdf

De afbeelding hierboven illustreert dat de huidige populaire methoden voor deepfaking vrijwel resource-beperkt zijn en afhankelijk zijn van geschikte gast-gezichten/lichamen om bewijs van gezichtsvervanging te minimaliseren.

Hoewel verschillende methoden het volledige voorhoofd en een groot deel van de kin en jukbeenderen kunnen omvatten, zijn ze allemaal meer of minder beperkt tot het kader van het gast-gezicht.

Een saliency-kaart die de ‘binnenste’ en ‘buitenste’ identiteiten benadrukt die door ICT worden berekend. Waar een binnenste gezichtsovereenkomst is vastgesteld, maar een buitenste identiteit niet overeenkomt, evalueert ICT de afbeelding als vals.

In tests bleek ICT in staat om deepfake-inhoud te detecteren in fake-vriendelijke omgevingen zoals lage resolutie-video, waar de inhoud van de hele video is verslechterd door compressie-artefacten, waardoor resterend bewijs van het deepfake-proces wordt verborgen – een omstandigheid die veel concurrerende deepfake-detectiemethoden in verwarring brengt.

ICT presteert beter dan concurrerende methoden bij het herkennen van deepfake-inhoud. Bekijk de ingesloten video aan het einde van het artikel voor meer voorbeelden en betere resolutie. Bekijk de ingesloten bronvideo aan het einde van het artikel voor verdere voorbeelden. Source: https://www.youtube.com/watch?v=zgF50dcymj8

Het artikel heeft de titel Protecting Celebrities with Identity Consistency Transformer en komt van negen onderzoekers die zijn aangesloten bij de Universiteit van Wetenschap en Technologie van China, Microsoft Research Asia en Microsoft Cloud + AI.

Het geloofwaardigheidsprobleem

Er zijn minstens een paar redenen waarom populaire gezichtsverwisselingsalgoritmen zoals DeepFaceLab en FaceSwap de buitenste gebieden van de verwisselde gezichtsidentiteiten negeren.

Ten eerste is het trainen van deepfake-modellen tijdrovend en resource-kritisch, en de adoptie van ‘compatibele’ gast-gezichten/lijven maakt GPU-cycli en epochs vrij om zich te concentreren op de relatief onveranderlijke binnenste gebieden van het gezicht die we gebruiken om identiteit te onderscheiden (aangezien variabelen zoals gewichtsfluctuaties en veroudering het minst waarschijnlijk zijn om deze kerngezichtstrekken in de korte termijn te veranderen).

Ten tweede hebben de meeste deepfake-benaderingen (en dit is zeker het geval met DeepFaceLab, de software die wordt gebruikt door de meest populaire of beruchte beoefenaars) een beperkte mogelijkheid om ‘einde van het gezicht’-marges zoals wang- en kaakgebieden te repliceren en worden beperkt door het feit dat hun upstream (2017) code deze kwestie niet uitgebreid heeft aangepakt.

In gevallen waarin de identiteiten niet goed overeenkomen, moet het deepfake-algoritme de achtergrondgebieden rond het gezicht ‘inpainten’, wat het op zijn best onhandig doet, zelfs in de handen van de beste deepfakers, zoals Ctrl Shift Face, wiens output in de studies van het artikel is gebruikt.

Het beste van het beste: stills uit een deepfake-video van de bekroonde deepfaker Ctrl-Shift-Face, die Jim Carrey over Gary Oldman zet. Dit werk vertegenwoordigt waarschijnlijk enkele van de beste resultaten die momenteel beschikbaar zijn via DeepFaceLab en post-processing-technieken. Niettemin blijven de swaps beperkt tot de relatief schamele aandacht die DFL aan het buitenste gezicht geeft, waardoor een Herculees effort van gegevenscuratie en training nodig is om de buitenste randen aan te pakken. Source: https://www.youtube.com/watch?v=x8igrh1eyLk

Deze ‘sleight of hand’, of afleiding van aandacht, ontsnapt grotendeels aan de publieke aandacht in de huidige zorg over de groeiende realiteit van deepfakes, omdat onze kritische vermogens rond deepfakes nog steeds in ontwikkeling zijn voorbij het ‘shock and awe’-stadium.

Gespleten identiteiten

Het nieuwe artikel merkt op dat de meeste voorgaande methoden voor deepfake-detectie afhankelijk zijn van artefacten die het wisselproces verraadt, zoals inconsistente hoofdposities en knipperen, onder vele andere technieken. Pas deze week is een nieuw artikel over deepfake-detectie voorgesteld om de ‘handtekening’ van de verschillende modeltypen in het FaceSwap-kader te gebruiken om vervalste video’s te identificeren die zijn gemaakt met dit kader (zie afbeelding hieronder).

Het identificeren van deepfakes door de handtekeningen van verschillende modeltypen in het FaceSwap-kader te karakteriseren. Source: https://arxiv.org/pdf/2202.12951.pdf

Door contrast, creëert de architectuur van ICT twee afzonderlijke geneste identiteiten voor een persoon, die beide moeten worden geverifieerd voordat de hele identiteit als ‘echt’ beeldmateriaal of -inhoud wordt geconcludeerd.

Architectuur voor de trainings- en testfase van ICT.

De splitsing van identiteiten wordt gefaciliteerd door een visie Transformer, die gezichtsidentificatie uitvoert voordat de onderzochte regio’s worden gesplitst in tokens die behoren tot de binnenste of buitenste identiteiten.

Het distribueren van patches onder de twee parallelle identiteitsaanduidingen.

Het artikel vermeldt:

‘Helaas hebben bestaande gezichtsverificatie-methoden de neiging om de meest discriminatieve regio te karakteriseren, d.w.z. het binnenste gezicht voor verificatie, en falen bij het vastleggen van identiteitsinformatie in het buitenste gezicht. Met Identity Consistency Transformer trainen we een model om een paar identiteitsvectoren te leren, een voor het binnenste gezicht en de andere voor het buitenste gezicht, door een Transformer te ontwerpen zodat de binnenste en buitenste identiteiten tegelijkertijd in een naadloos geïntegreerd model kunnen worden geleerd.’

Aangezien er geen bestaand model is voor deze identificatieprotocol, hebben de auteurs een nieuwe soort consistentieverlies bedacht dat kan dienen als een meting voor authenticiteit. De ‘binnenste token’ en ‘buitenste token’ die resulteren uit het identiteitsextractiemodel worden toegevoegd aan de meer conventionele patch-embeddings die worden geproduceerd door gezichtsidentificatiekaders.

Gegevens en training

Het ICT-netwerk werd getraind op Microsoft Research’s MS-Celeb-1M-dataset, die 10 miljoen celebrity-gezichtsbeelden bevat die 1 miljoen identiteiten dekken, waaronder acteurs, politici en veel andere soorten prominente figuren. Volgens de procedure van de voorgaande methode Face X-ray (een andere Microsoft Research-initiatief), heeft ICT zijn eigen nep-generatie-routine die binnenste en buitenste regio’s van gezichten uit deze dataset wisselt om materiaal te creëren om de algoritme te testen.

Om deze interne wisselingen uit te voeren, identificeert ICT twee beelden in de dataset die vergelijkbare hoofdposities en gezichtskenmerken vertonen, genereert een maskerregio van de centrale kenmerken (waar een wisseling kan worden uitgevoerd) en voert een deepfake-wisseling uit met RGB-kleurcorrectie.

De reden dat ICT beperkt is tot celebrity-identificatie is dat het (in zijn meest effectieve variatie) afhankelijk is van een novate referentieset die afgeleide gezichtsvectoren bevat van een centraal corpus (in dit geval MS-Celeb-1M, hoewel de verwijzing kan worden uitgebreid tot netwerkbeschikbare beelden, die alleen waarschijnlijk in voldoende kwaliteit en kwantiteit zullen bestaan voor bekende openbare figuren).

Deze afgeleide vector-set-couplets fungeren als authenticiteitstokens om de binnenste en buitenste gezichtsregio’s tegelijk te verifiëren.

De auteurs merken op dat de tokens die met deze methoden worden verkregen ‘hoge-niveau’-kenmerken vertegenwoordigen, waardoor een deepfake-detectieproces ontstaat dat waarschijnlijker is om moeilijke omgevingen zoals lage resolutie- of anderszins verslechterde video te overleven.

Belangrijk is dat ICT niet naar artefact-gebaseerd bewijs zoekt, maar zich richt op identiteitsverificatiemethoden die meer in overeenstemming zijn met gezichtsherkenningstechnieken – een aanpak die moeilijk is met lage volumedata, zoals het geval is met het onderzoek naar incidenten van deepfake-wraakporno tegen niet-bekende doelwitten.

Tests

Getraind op MS-Celeb-1M, werd ICT vervolgens opgesplitst in referentie-geassisteerde en ‘blinde’ versies van het algoritme en getest tegen een reeks concurrerende datasets en methoden. Deze omvatten FaceForensics++ (FF++), een dataset van 1000 authentieke en deepfake-video’s die zijn gemaakt met vier methoden, waaronder Face2Face en FaceSwap; Google’s Deepfake Detection (DFD), die eveneens bestaat uit duizenden door Google gegenereerde deepfake-video’s; Celeb-DeepFake v1 (CD1), die 408 echte en 795 gesynthesiseerde video’s met lage artefacten bevat; Celeb-DeepFake v2, een uitbreiding van V1 die 590 echte en 5.639 valse video’s bevat; en China’s 2020 Deeper-Forensics (Deeper).

Deze zijn de datasets; de detectiemethoden in de testuitdagingen waren Multi-task, MesoInc4, Capsule, Xception-c0, c2 (een methode die wordt gebruikt in FF++), FWA/DSP-FW van de Universiteit van Albany, Two-Branch, PCL+I2G, en Yuval Nirkin’s context-discrepancy-methode.

De bovengenoemde detectiemethoden zijn gericht op het detecteren van specifieke soorten gezichtsmanipulatie. Daarnaast hebben de auteurs van het nieuwe artikel meer algemene deepfake-detectieaanbod Face X-ray, Michigan State University’s FFD, CNNDetection en Patch-Forensics van MIT CSAIL getest.

Het meest evidente resultaat uit de test is dat de concurrerende methoden drastisch in effectiviteit dalen naarmate de videoresolutie en -kwaliteit lager wordt. Aangezien enkele van de meest ernstige potentieel voor deepfake-penetratie van onze discriminatieve vermogens ligt (niet in de laatste plaats op dit moment) in niet-HD- of anderszins kwaliteitsgecompromitteerde video, lijkt dit een significant resultaat.

In de resultaatgrafiek hierboven geven de blauwe en rode lijnen de veerkracht van ICT-methoden aan voor beeldverslechtering in alle gebieden, behalve het roadblock van Gaussian noise (niet een waarschijnlijkheid in Zoom- en webcam-achtige beelden), terwijl de concurrerende methoden in betrouwbaarheid dalen.

In de resultaatentabel hieronder zien we de effectiviteit van de verschillende deepfake-detectiemethoden op de ongeziene datasets. Grijze en gestereotypeerde resultaten geven een vergelijking weer van oorspronkelijk gepubliceerde resultaten in gesloten projecten, die niet extern kunnen worden geverifieerd. Over bijna alle vergelijkbare kaders presteert ICT beter dan de concurrerende deepfake-detectiebenaderingen (weergegeven in vet).

Als aanvullende test hebben de auteurs inhoud van de YouTube-kanaal van de bekroonde deepfaker Ctrl Shift Face gerund en hebben concurrerende methoden opvallend lagere identificatiescores behaald:

Opvallend is dat FF++-methoden (Xception-c23) en FFD, die enkele van de hoogste scores behalen in sommige van de testgegevens in de algemene tests van het nieuwe artikel, hier een veel lagere score behalen dan ICT in een ‘real-world’-context van high-effort deepfake-inhoud.

De auteurs concluderen het artikel met de hoop dat de resultaten de deepfake-detectiegemeenschap in de richting van soortgelijke initiatieven sturen die zijn gericht op meer gemakkelijk generaliseerbare high-level-kenmerken en weg van de ‘koude oorlog’ van artefactdetectie, waarin de nieuwste methoden routinematig worden ingehaald door ontwikkelingen in deepfake-kaders of door andere factoren die dergelijke methoden minder veerkrachtig maken.

Bekijk de bijgevoegde aanvullende video hieronder voor meer voorbeelden van ICT die deepfake-inhoud identificeren die vaak concurrerende methoden te slim af is.

First published 4th maart 2022.