Ny metod upptäcker Deep Fakes med 99% noggrannhet

Ett team av datavetare vid UC Riverside har utvecklat en ny metod för att upptäcka manipulerade ansiktsuttryck i Deep Fake-videor. Metoden kan upptäcka dessa uttryck med upp till 99% noggrannhet, vilket gör den mer exakt än de nuvarande metoderna.

Den nya forskningsrapporten med titeln ”Upptäckt och lokaliseringsmetod för ansiktsuttrycksmanipulationer” presenterades vid 2022 års vinterkonferens om datavetenskapens tillämpningar.

Upptäckt av alla ansiktsmanipulationer

Metoden visade sig också vara lika exakt som nuvarande metoder i fall där ansiktsidentiteten hade bytts ut istället för uttrycken. Detta innebär att den nya metoden kan användas för att upptäcka alla typer av ansiktsmanipulationer och är ett stort steg mot utvecklingen av automatiserade verktyg för upptäckt av manipulerade videor.

Det har aldrig varit enklare att byta ut en persons ansikte mot en annan eller ändra ursprungliga uttryck på grund av de senaste framstegen inom videoredigeringsprogram. Upptäckten av sådana metoder är mycket viktig eftersom de alltmer används i olika inrikes- och utrikeskonflikter runt om i världen. Med det sagt har det varit extremt svårt att identifiera ansikten med endast utbytta uttryck.

Amit Roy-Chowdhury är professor i elektroteknik och datavetenskap vid Bourns College of Engineering. Han är också medförfattare till forskningen.

”Vad som gör Deep Fake-forskningen mer utmanande är tävlingen mellan skapandet och upptäckten och förhindrandet av Deep Fakes, som kommer att bli alltmer intensiv i framtiden. Med fler framsteg inom generativa modeller kommer Deep Fakes att bli lättare att syntetisera och svårare att skilja från riktiga”, sa han.

Bild: UC Riverside

Upptäckt av uttrycksmanipulationer (EMD)

Den nya metoden delar upp uppgiften i två komponenter inom ett djupt neuronnät. Den första grenen skiljer ansiktsuttryck och ger information om områden som innehåller uttrycket. Dessa områden kan inkludera mun, ögon, panna och mer. Informationen matas in i den andra grenen, som är en encoder-decoder-arkitektur som ansvarar för upptäckt och lokaliseringsmetod för manipulation.

Teamet har döpt ramverket till Upptäckt av uttrycksmanipulationer (EMD), och det kan upptäcka och lokalisera specifika områden som har ändrats i en bild.

Ghazal Mazaheri är en doktorand och ledare för forskningen.

”Multi-task learning kan utnyttja framträdande funktioner som lärs av ansiktsuttrycksigenkänningsystem för att gynna utbildningen av konventionella manipulationsdetekteringssystem. Sådan tillvägagångssätt uppnår imponerande prestanda vid upptäckt av ansiktsuttrycksmanipulationer”, sa Mazaheri.

Forskarna genomförde experiment på två utmanande ansiktsmanipulationsdataset och visade att EMD presterar bättre med ansiktsuttrycksmanipulationer samt identitetsbyten. Det upptäckte korrekt 99% av de manipulerade videorna.