Nová metoda detekuje Deep Fakes s přesností 99%

Tým počítačových vědců z UC Riverside vyvinul novou metodu pro detekci manipulovaných obličejových výrazů v hlubokých falešných videích. Tato metoda může detekovat tyto výrazy s přesností až 99 %, což je přesnější než současné metody.

Nová výzkumná práce s názvem „Detekce a lokalizace manipulací obličejových výrazů“ byla prezentována na zimní konferenci o aplikacích počítačového vidění v roce 2022.

Detekce jakékoliv obličejové manipulace

Tato metoda se také ukázala jako stejně přesná jako současné metody v případech, kdy byla obličejová identita vyměněna místo výrazů. To znamená, že nový přístup lze použít k detekci jakéhokoli typu obličejové manipulace a je významným krokem směrem k vývoji automatizovaných nástrojů pro detekci manipulovaných videí.

Vzhledem k nedávným pokrokům ve videoeditačním softwaru je nyní snadnější vyměnit obličej jedné osoby za druhou nebo změnit původní výrazy. Detekce těchto metod je velmi důležitá, protože jsou stále více využívány v různých domácích a mezinárodních konfliktech po celém světě. S tím said, identifikace tváří s pouze vyměněnými výrazy byla extrémně obtížná.

Amit Roy-Chowdhury je profesorem elektrotechniky a počítačového inženýrství na Bourns College of Engineering. Je také spoluautorem výzkumu.

„Co dělá oblast výzkumu hlubokých faleš více náročnou, je soutěž mezi vytvářením a detekcí a prevencí hlubokých faleš, které se budou v budoucnu stále více zvyšovat. S dalšími pokroky v generativních modelech budou hluboké faleše snazší syntetizovat a těžší rozlišit od skutečných,“ řekl.

Obrázek: UC Riverside

Detekce manipulace výrazů (EMD)

Nová metoda rozděluje úkol do dvou součástí uvnitř hluboké neuronové sítě. První větev rozpoznává obličejové výrazy a poskytuje informace o oblastech, které obsahují výraz. Tyto oblasti mohou zahrnovat ústa, oči, čelo a další. Tyto informace jsou pak předány do druhé větve, která je architekturou encoder-decoder, odpovědnou za detekci a lokalizaci manipulace.

Tým nazval rámec Detekce manipulace výrazů (EMD) a může detekovat a lokalizovat konkrétní oblasti, které byly změněny v obraze.

Ghazal Mazaheri je doktorand a vedoucí výzkumu.

„Multi-task learning může využít prominentní funkce naučené systémy rozpoznávání obličejových výrazů k prospěchu školení konvenčních systémů detekce manipulace. Takový přístup dosahuje působivých výsledků v detekci manipulace obličejových výrazů,“ řekl Mazaheri.

Výzkumníci provedli experimenty na dvou náročných datech manipulace obličejů a prokázali, že EMD funguje lépe s manipulacemi obličejových výrazů i se swapováním identit. Přesně detekoval 99 % manipulovaných videí.