Ny metode kan opdage dybe forfalskninger med 99% nøjagtighed

Et hold computerforskere fra UC Riverside har udviklet en ny metode til at opdage manipulerede ansigtsudtryk i dybe forfalskninger. Metoden kan opdage disse udtryk med en nøjagtighed på op til 99%, hvilket gør den mere nøjagtig end de nuværende metoder.

Den nye forskningsrapport med titlen ”Opdaging og lokalisation af ansigtsudtryksmanipulationer” blev præsenteret på 2022 Winter Conference on Applications of Computer Vision.

Opdaging af enhver ansigtsmanipulation

Metoden har også vist sig at være lige så nøjagtig som de nuværende metoder i tilfælde, hvor ansigtsidentiteten er blevet udskiftet i stedet for udtrykkene. Dette betyder, at den nye metode kan bruges til at opdage enhver type ansigtsmanipulation, og det er et større skridt mod udviklingen af automatiserede værktøjer til opdaging af manipulerede videoer.

Det har aldrig været nemmere at udskifte et ansigts ansigt med et andet eller ændre de oprindelige udtryk på grund af de seneste fremskridt i videoeditingssoftware. Opdagingen af disse metoder er meget vigtig, da de stadig mere bruges i forskellige hjemlige og internationale konflikter over hele verden. Med det sagt har det været ekstremt svært at identificere ansigter med kun udskiftede udtryk.

Amit Roy-Chowdhury er professor i elektro- og computerteknik på Bourns College of Engineering. Han er også medforfatter til forskningen.

”Det, der gør dybe forfalskninger sværere, er konkurrencen mellem skabelse, opdaging og forebyggelse af dybe forfalskninger, som vil blive stadig mere intens i fremtiden. Med flere fremskridt i generative modeller vil dybe forfalskninger være lettere at syntetisere og sværere at skelne fra virkeligheden,” sagde han.

Billede: UC Riverside

Opdaging af udtryksmanipulation (EMD)

Den nye metode splitter opgaven i to komponenter inden for et dybt neuralt netværk. Den første gren kan skelne ansigtsudtryk og give information om de regioner, der indeholder udtrykket. Disse regioner kan omfatte munden, øjnene, panden og mere. Denne information indsættes i den anden gren, som er en encoder-decoder-arkitektur, der er ansvarlig for opdaging og lokalisation af manipulation.

Holdet har navngivet rammeværket Expression Manipulation Detection (EMD), og det kan opdage og lokaliserer bestemte regioner, der er blevet ændret i et billede.

Ghazal Mazaheri er en ph.d.-studerende og leder af forskningen.

”Multitask-læring kan udnytte fremtrædende funktioner, der er lært af ansigtsudtryksgenkendelsessystemer, til at forbedre træningen af konventionelle manipulationssystemer. En sådan tilgang opnår imponerende resultater i opdaging af ansigtsudtryksmanipulation,” sagde Mazaheri.

Forskerne har gennemført eksperimenter på to udfordrende ansigtsmanipulationsdataset og har demonstreret, at EMD fungerer bedre med ansigtsudtryksmanipulationer samt identitetsudskift. Den opdagede korrekt 99% af de manipulerede videoer.