Nieuwe Methode Detecteert Deep Fakes Met 99% Accuraatheid

Een team van computerwetenschappers aan de UC Riverside heeft een nieuwe methode ontwikkeld om gemanipuleerde gezichtsuitdrukkingen in deep fake-videos te detecteren. De methode kan deze uitdrukkingen detecteren met een nauwkeurigheid van maximaal 99%, waardoor het nauwkeuriger is dan de huidige state-of-the-art-methoden.

Het nieuwe onderzoeksrapport met de titel “Detectie en lokaliseren van gezichtsuitdrukkingsmanipulaties” werd gepresenteerd op de 2022 Winter Conference on Applications of Computer Vision.

Het detecteren van elke gezichtsmanipulatie

De methode bleek even nauwkeurig te zijn als de huidige methoden in gevallen waarin de gezichtsidentiteit was omgewisseld in plaats van de uitdrukkingen. Dit betekent dat de nieuwe aanpak gebruikt kan worden om elke vorm van gezichtsmanipulatie te detecteren en het is een belangrijke stap in de ontwikkeling van geautomatiseerde tools voor het detecteren van gemanipuleerde video’s.

Het is nooit gemakkelijker geweest om het gezicht van een persoon te verwisselen met dat van een ander of de oorspronkelijke uitdrukkingen te wijzigen vanwege de recente vooruitgang in videobewerkingssoftware. De detectie van dergelijke methoden is van het grootste belang, aangezien ze steeds vaker worden ingezet in verschillende binnenlandse en internationale conflicten over de hele wereld. Met dat gezegd, het identificeren van gezichten met alleen verwisselde uitdrukkingen is extreem moeilijk gebleken.

Amit Roy-Chowdhury is een professor in de elektrotechniek en informatica aan de Bourns College of Engineering. Hij is ook co-auteur van het onderzoek.

“Wat het deep fake-onderzoeksgebied nog uitdagender maakt, is de wedloop tussen het creëren en detecteren en voorkomen van deep fakes, die in de toekomst steeds feller zal worden. Met meer vooruitgang in generatieve modellen zullen deepfakes gemakkelijker te synthetiseren zijn en moeilijker te onderscheiden van echte,” zei hij.

Afbeelding: UC Riverside

Expressie-manipulatiedetectie (EMD)

De nieuwe methode splitst de taak in twee componenten binnen een diep neuronaal netwerk. De eerste tak onderscheidt gezichtsuitdrukkingen en biedt informatie over de regio’s die de uitdrukking bevatten. Deze regio’s kunnen de mond, ogen, voorhoofd en meer omvatten. Deze informatie wordt doorgegeven aan de tweede tak, die een encoder-decoder-architectuur is die verantwoordelijk is voor manipulatiedetectie en -lokalisatie.

Het team noemde het kader Expressie-manipulatiedetectie (EMD) en het kan specifieke regio’s detecteren en lokaliseren die in een afbeelding zijn gewijzigd.

Ghazal Mazaheri is een doctoraal student en leider van het onderzoek.

“Multi-task learning kan prominente functies die zijn geleerd door gezichtsuitdrukkingsherkenningssystemen, benutten om de training van conventionele manipulatiedetectiesystemen te ondersteunen. Een dergelijke aanpak levert indrukwekkende prestaties in de detectie van gezichtsuitdrukkingsmanipulaties,” zei Mazaheri.

De onderzoekers voerden experimenten uit op twee moeilijke gezichtsmanipulatiedatasets en ze toonden aan dat EMD beter presteert met gezichtsuitdrukkingsmanipulaties en identiteitsuitwisselingen. Het detecteert 99% van de gemanipuleerde video’s nauwkeurig.