Nowa metoda wykrywania głębokich fałszerstw z dokładnością 99%

Zespół naukowców z UC Riverside opracował nową metodę wykrywania manipulowanych wyrazów twarzy w filmach z głębokimi fałszerstwami. Metoda ta może wykrywać te wyrazy z dokładnością do 99%, co czyni ją bardziej dokładną niż obecne metody stanu sztuki.

Nowy artykuł naukowy zatytułowany „Wykrywanie i lokalizacja manipulacji wyrazów twarzy” został przedstawiony na Konferencji Zimowej o Zastosowaniach Wizji Komputerowej w 2022 roku.

Wykrywanie dowolnej manipulacji twarzy

Metoda ta okazała się równie dokładna jak obecne metody w przypadkach, w których tożsamość twarzy została zamieniona, a nie wyrazy. Oznacza to, że nowe podejście można wykorzystać do wykrywania dowolnego rodzaju manipulacji twarzy i jest to duży krok w kierunku opracowania zautomatyzowanych narzędzi do wykrywania sfabrykowanych filmów.

Nigdy nie było łatwiej zamienić twarz jednej osoby na twarz innej lub zmodyfikować oryginalne wyrazy dzięki ostatnim postępom w oprogramowaniu do edycji wideo. Wykrywanie takich metod jest bardzo ważne, ponieważ są one coraz częściej wykorzystywane w różnych konfliktach domowych i międzynarodowych na całym świecie. Z drugiej strony, identyfikacja twarzy z zamienionymi wyrazami była niezwykle trudna.

Amit Roy-Chowdhury jest profesorem inżynierii elektrycznej i komputerowej w Bourns College of Engineering. Jest również współautorem badań.

„To, co sprawia, że obszar badań nad głębokimi fałszerstwami jest jeszcze bardziej wymagający, jest rywalizacja między tworzeniem, wykrywaniem i zapobieganiem głębokim fałszerstwom, która będzie coraz bardziej zacięta w przyszłości. Wraz z postępami w modelach generatywnych głębokie fałszerstwa będą łatwiejsze do syntezowania i trudniejsze do odróżnienia od prawdziwych”, powiedział.

Obraz: UC Riverside

Wykrywanie manipulacji wyrazów (EMD)

Nowa metoda dzieli zadanie na dwa komponenty w ramach głębokiej sieci neuronowej. Pierwsza gałąź rozróżnia wyrazy twarzy, dostarczając informacji o regionach, które zawierają wyraz. Regiony te mogą obejmować usta, oczy, czoło i wiele innych. Informacje te są wprowadzane do drugiej gałęzi, która jest architekturą kodera-dekodera odpowiedzialną za wykrywanie i lokalizację manipulacji.

Zespół nazwał tę strukturę Wykrywaniem manipulacji wyrazów (EMD), a może ona wykrywać i lokalizować konkretne regiony, które zostały zmodyfikowane w obrazie.

Ghazal Mazaheri jest doktorantem i liderem badań.

„Uczenie wielozadaniowe może wykorzystywać wyraziste cechy nauczone przez systemy rozpoznawania wyrazów twarzy, aby wesprzeć szkolenie konwencjonalnych systemów wykrywania manipulacji. Taki podejście osiąga imponujące wyniki w wykrywaniu manipulacji wyrazów twarzy”, powiedział Mazaheri.

Naukowcy przeprowadzili eksperymenty na dwóch wymagających zbiorach danych manipulacji twarzy i wykazali, że EMD działa lepiej z manipulacjami wyrazów twarzy, a także z zamianami tożsamości. Wykryła ona prawidłowo 99% sfabrykowanych filmów.