Ny metode kan oppdage deep fakes med 99% nøyaktighet

Et team av datavitenskapsfolk ved UC Riverside har utviklet en ny metode for å oppdage manipulerte ansiktsuttrykk i deep fake-videor. Metoden kan oppdage disse uttrykkene med opptil 99% nøyaktighet, noe som gjør den mer nøyaktig enn de nåværende metode.

Den nye forskningsrapporten med tittelen ”Oppdaging og lokaliserings av ansiktsuttrykksmanipulasjoner” ble presentert på 2022-vinterkonferansen om anvendelser av datavisjon.

Oppdaging av enhver ansiktsmanipulasjon

Metoden viste seg også å være like nøyaktig som nåværende metoder i tilfeller der ansiktsidentiteten hadde blitt byttet ut i stedet for uttrykkene. Dette betyr at den nye tilnærmingen kan brukes til å oppdage enhver type ansiktsmanipulasjon, og det er et stort skritt mot utviklingen av automatiserte verktøy for å oppdage manipulerte videoer.

Det har aldri vært enklere å bytte ut ansiktet til en person med et annet eller endre originale uttrykk på grunn av nyere fremgang i videoredigeringsprogramvare. Oppdagingen av slike metoder er svært viktig, da de stadig mer brukes i ulike nasjonale og internasjonale konflikter over hele verden. Med det sagt, har det vært ekstremt vanskelig å identifisere ansikter med bare byttede uttrykk.

Amit Roy-Chowdhury er en professor i elektro- og datateknikk ved Bourns College of Engineering. Han er også medforfatter av forskningen.

“Hva som gjør deep fake-forskningen mer utfordrende, er konkurransen mellom skapning, oppdaging og forebygging av deep fakes, som vil bli stadig mer intens i fremtiden. Med flere fremgang i generative modeller, vil deep fakes bli enklere å syntetisere og vanskeligere å skille fra ekte,” sa han.

Bilde: UC Riverside

Oppdaging av uttrykksmanipulasjoner (EMD)

Den nye metoden deler oppgaven inn i to komponenter innenfor et dyp nevrale nettverk. Den første grenen skjelner ansiktsuttrykk og gir informasjon om områdene som inneholder uttrykket. Disse områdene kan inkludere munnen, øynene, panne og mer. Denne informasjonen mates inn i den andre grenen, som er en encoder-decoder-arkitektur ansvarlig for oppdaging og lokaliserings av manipulasjoner.

Teamet kalte rammeverket for Oppdaging av uttrykksmanipulasjoner (EMD), og det kan oppdage og lokaliseres spesifikke områder som har blitt endret i et bilde.

Ghazal Mazaheri er en doktorgradsstudent og leder av forskningen.

“Multi-oppgave-læring kan utnytte fremtredende funksjoner lært av ansiktsuttrykks-gjenkjennelsessystemer til å forbedre treningen av konvensjonelle oppdagingssystemer for manipulasjoner. Slik en tilnærming oppnår imponerende resultater i oppdaging av ansiktsuttrykksmanipulasjoner,” sa Mazaheri.

Forskerne utførte eksperimenter på to utfordrende ansiktsmanipulasjonsdatasett, og de demonstrerte at EMD utfører bedre med ansiktsuttrykksmanipulasjoner samt identitetsskiftere. Det oppdaget nøyaktig 99% av de manipulerte videoene.