Neue Methode zur Erkennung von Deep Fakes mit 99%iger Genauigkeit

Ein Team von Informatikern an der UC Riverside hat eine neue Methode entwickelt, um manipulierte Gesichtsausdrücke in Deep-Fake-Videos zu erkennen. Die Methode kann diese Ausdrücke mit einer Genauigkeit von bis zu 99% erkennen, was sie genauer macht als die aktuellen State-of-the-Art-Methoden.

Der neue Forschungsbericht mit dem Titel „Erkennung und Lokalisierung von Gesichtsausdrucksmanipulationen“ wurde auf der Winterkonferenz 2022 für Anwendungen der ComputerVision präsentiert.

Erkennung jeglicher Gesichtsmanipulation

Die Methode hat sich auch als so genau wie die aktuellen Methoden erwiesen, wenn die Gesichtsidentität ausgetauscht wurde, anstatt der Ausdrücke. Das bedeutet, dass der neue Ansatz verwendet werden kann, um jegliche Art von Gesichtsmanipulation zu erkennen, und es ist ein wichtiger Schritt auf dem Weg zur Entwicklung automatisierter Tools für die Erkennung manipulierter Videos.

Es hat noch nie einfacher sein können, das Gesicht einer Person durch das einer anderen auszutauschen oder die ursprünglichen Ausdrücke zu verändern, dank der jüngsten Fortschritte in der Video-Bearbeitungs-Software. Die Erkennung solcher Methoden ist sehr wichtig, da sie immer mehr in verschiedenen nationalen und internationalen Konflikten auf der ganzen Welt eingesetzt werden. Mit dem Gesagten ist es jedoch sehr schwierig, Gesichter mit nur ausgetauschten Ausdrücken zu identifizieren.

Amit Roy-Chowdhury ist Professor für Elektrotechnik und Informatik am Bourns College of Engineering. Er ist auch Co-Autor der Forschung.

„Was den Bereich der Deep-Fake-Forschung noch herausfordernder macht, ist der Wettbewerb zwischen der Erstellung und der Erkennung und Verhinderung von Deep Fakes, der in Zukunft immer intensiver werden wird. Mit mehr Fortschritten in den generativen Modellen werden Deep Fakes einfacher zu synthetisieren und schwieriger von echten zu unterscheiden“, sagte er.

Bild: UC Riverside

Erkennung von Ausdrucksmanipulationen (EMD)

Die neue Methode teilt die Aufgabe in zwei Komponenten innerhalb eines tiefen neuronalen Netzwerks auf. Der erste Zweig erkennt Gesichtsausdrücke und liefert Informationen über die Regionen, die den Ausdruck enthalten. Diese Regionen können den Mund, die Augen, die Stirn und mehr umfassen. Diese Informationen werden in den zweiten Zweig eingegeben, der eine Encoder-Decoder-Architektur ist, die für die Manipulationserkennung und -lokalisierung verantwortlich ist.

Das Team nannte den Rahmenwerk Expression Manipulation Detection (EMD), und es kann spezifische Regionen erkennen und lokalisieren, die in einem Bild verändert wurden.

Ghazal Mazaheri ist Doktorand und Leiter der Forschung.

„Multi-Task-Lernen kann die prominenten Merkmale, die von Gesichtsausdrucks-Erkennungssystemen erlernt wurden, nutzen, um die Ausbildung von herkömmlichen Manipulationserkennungssystemen zu unterstützen. Ein solcher Ansatz erreicht beeindruckende Leistungen bei der Erkennung von Gesichtsausdrucksmanipulationen“, sagte Mazaheri.

Die Forscher führten Experimente auf zwei herausfordernden Gesichtsmanipulations-Datensätzen durch und zeigten, dass EMD besser mit Gesichtsausdrucksmanipulationen als auch mit Identitätsaustausch funktioniert. Es erkannte 99% der manipulierten Videos genau.