Naukowcy identyfikują wytrzymałą cechę głębokich fałszerstw, która może pomóc w długoterminowym wykrywaniu

Od czasu, gdy pojawiły się pierwsze rozwiązania do wykrywania głębokich fałszerstw w 2018 roku, sektor badań nad widzeniem komputerowym i bezpieczeństwem szukał podstawowej cechy filmów głębokich fałszerstw – sygnałów, które mogłyby okazać się odporne na ulepszenia w popularnych technologiach syntezy twarzy (takich jak pakiety głębokich fałszerstw oparte na autoencoderach, takich jak DeepFaceLab i FaceSwap, oraz wykorzystanie Sieci Przeciwstawnych Generatywnych do odtworzenia, symulacji lub zmiany ludzkich twarzy).

Wiele z tych “sygnałów”, takich jak brak mrugania, stało się przestarzałych ze względu na ulepszenia w głębokich fałszerstwach, podczas gdy potencjalne wykorzystanie technik pochodzenia cyfrowego (takich jak inicjatywa Content Authenticity Initiative prowadzona przez Adobe ) – w tym podejścia opartego na blockchainie i znakowania cyfrowego potencjalnych zdjęć źródłowych – wymagałoby Either ogromnych i kosztownych zmian w istniejącym korpusie dostępnych obrazów źródłowych w Internecie, lub też wymagałoby znaczących współpracy między narodami i rządami w celu stworzenia systemów nadzoru i uwierzytelniania.

Dlatego byłoby bardzo przydatne, gdyby można było rozpoznać naprawdę fundamentalną i wytrzymałą cechę w treściach obrazu i wideo, które zawierają zmienione, sfabrykowane lub zamienione twarze ludzkie; cechę, która mogłaby być wnioskowana bezpośrednio z fałszywych filmów, bez konieczności dużych nakładów weryfikacji, hashowania aktywów kryptograficznych, sprawdzania kontekstu, oceny prawdopodobieństwa, rutynowych wykrywania artefaktów lub innych uciążliwych podejść do wykrywania głębokich fałszerstw.

Głębokie fałszerstwa w kadrze

Nowe badanie przeprowadzone przez naukowców z Chin i Australii uważa, że odkryło tę “świętą graal”, w postaci przerwania regularności.

Autorzy opracowali metodę porównywania integralności przestrzennej i ciągłości czasowej rzeczywistych filmów z tymi, które zawierają treści głębokich fałszerstw, i stwierdzili, że każdy rodzaj ingerencji głębokich fałszerstw narusza regularność obrazu, choć w sposób niezauważalny.

To częściowo spowodowane jest tym, że proces głębokich fałszerstw rozkłada film docelowy na klatki i stosuje efekt wytrenowanego modelu głębokich fałszerstw do każdej (zastąpionej) klatki. Popularne dystrybucje głębokich fałszerstw działają w ten sam sposób, co animatorzy, w tym względzie, przykładając większą wagę do autentyczności każdej klatki niż do jej wkładu w ogólną integralność przestrzenną i ciągłość czasową filmu.

Z pracy: A) Różnice między rodzajami danych. Tutaj widzimy, że zakłócenia p-fake zmieniają jakość przestrzenną i czasową obrazu w ten sam sposób, co głębokie fałszerstwo, bez zamiany tożsamości. B) Analiza szumu trzech rodzajów danych, pokazująca, jak p-fake naśladuje zakłócenie głębokich fałszerstw. C) Wizualizacja czasowa trzech rodzajów danych, z danymi rzeczywistymi, które wykazują większą integralność w fluktuacjach. D) Wizualizacja T-SNE wyodrębnionych cech dla filmów rzeczywistych, sfałszowanych i p-fake. Źródło: https://arxiv.org/pdf/2207.10402.pdf

To nie jest sposób, w jaki kodek wideo traktuje serię klatek, gdy jest robione lub przetwarzane oryginalne nagranie. W celu zaoszczędzenia miejsca na pliku lub uczynienia filmu odpowiednim do przesyłania strumieniowego, ogromna ilość informacji jest odrzucana przez kodek wideo. Nawet przy najwyższych ustawieniach jakości, kodek przydziela klatki kluczowe (zmienną, którą można ustawić przez użytkownika) – całe, praktycznie nieściskane obrazy, które występują w określonym przedziale w filmie.

Klatki między klatkami kluczowymi są, do pewnego stopnia, oszacowane jako wariant klatek, i będą wykorzystywać tyle informacji, ile to możliwe z sąsiednich klatek kluczowych, zamiast być pełnymi klatkami same w sobie.

Po lewej, pełna klatka kluczowa, czyli ‘i-frame’, jest przechowywana w skompresowanym filmie, przy pewnym koszcie miejsca na pliku; po prawej, klatka międzykluczowa ‘delta frame’ wykorzystuje każdą odpowiednią część bardziej danych bogatych klatek kluczowych. Źródło: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

W ten sposób blok (zawierający x liczbę klatek, w zależności od ustawień klatek kluczowych) jest najmniejszą jednostką brana pod uwagę w typowym skompresowanym filmie, a nie poszczególna klatka. Nawet sama klatka kluczowa, znana jako i-frame, jest częścią tej jednostki.

W kwestii tradycyjnej animacji rysunkowej, kodek wykonuje rodzaj tweeningu, z klatkami kluczowymi działającymi jako słupki namiotowe dla klatek międzykluczowych, znanych jako delta frames.

W przeciwieństwie do tego, nakładka głębokich fałszerstw poświęca ogromną uwagę i zasoby każdej poszczególnej klatce, bez uwzględnienia szerszego kontekstu, i bez uwzględnienia sposobu, w jaki kompresja i kodowanie oparte na blokach wpływają na cechy “autentycznego” filmu.

Bliższe spojrzenie na nieciągłość między jakością czasową autentycznego filmu (po lewej) a tym samym filmem, gdy jest on zakłócony przez głębokie fałszerstwa (po prawej).

Mimo że niektórzy lepsi twórcy głębokich fałszerstw wykorzystują obszerny post-processing, w pakietach takich jak After Effects, oraz że dystrybucja DeepFaceLab ma niektóre rodzime możliwości stosowania procedur “blendowania” takich jak rozmycie ruchu, takie sztuczki nie wpływają na niezgodność między jakością przestrzenną i czasową autentycznych i głębokich fałszerstw filmów.

Nowy artykuł nosi tytuł Wykrywanie głębokich fałszerstw poprzez tworzenie przerwania regularności przestrzenno-czasowej i pochodzi od naukowców z Uniwersytetu Tsinghua, Departamentu Technologii Wizji Komputerowej (VIS) w Baidu Inc. oraz Uniwersytetu w Melbourne

‘Fałszywe’ fałszywe filmy

Naukowcy zaangażowani w artykuł włączyli funkcjonalność badań do modułu plug-and-play o nazwie Pseudo-fake Generator (P-fake Generator), który przekształca filmy rzeczywiste w fałszywe filmy głębokich fałszerstw, zakłócając je w ten sam sposób, co rzeczywisty proces głębokich fałszerstw, bez faktycznego wykonywania jakichkolwiek operacji głębokich fałszerstw.

Testy wskazują, że moduł może być dodany do wszystkich istniejących systemów wykrywania głębokich fałszerstw praktycznie bez żadnych kosztów zasobów i że znacznie poprawia ich wydajność.

Odkrycie to może pomóc w rozwiązaniu jednego z innych problemów w badaniach nad wykrywaniem głębokich fałszerstw: braku autentycznych i aktualnych zbiorów danych. Ponieważ generowanie głębokich fałszerstw jest skomplikowanym i czasochłonnym procesem, społeczność opracowała wiele zbiorów danych głębokich fałszerstw w ciągu ostatnich pięciu lat, z których wiele jest już nieaktualnych.

Poprzez izolację przerwania regularności jako sygnału agnostycznego dla głębokich fałszerstw w filmach zmienionych post-facto, nowa metoda umożliwia generowanie nieograniczonej liczby próbek i zbiorów danych, które koncentrują się na tym aspekcie głębokich fałszerstw.

Przegląd bloku STE, w którym wykorzystuje się konwolucję czasową kanałową jako bodziec do generowania kodowań przestrzenno-czasowych, w wyniku czego powstaje ten sam sygnał, jaki nawet bardzo przekonywujące głębokie fałszerstwo będzie wykazywać. Za pomocą tej metody można generować ‘fałszywe’ fałszywe filmy, które wykazują te same cechy sygnałowe, co każdy zmieniony, głęboko fałszywy film, i które nie zależą od konkretnych dystrybucji lub niestabilnych aspektów, takich jak zachowanie funkcji lub artefakty algorytmiczne.

Testy

Naukowcy przeprowadzili eksperymenty na sześciu znanych zbiorach danych wykorzystywanych w badaniach nad wykrywaniem głębokich fałszerstw: FaceForensics++ (FF++); WildDeepFake; Podgląd wyzwania wykrywania głębokich fałszerstw (DFDCP); Celeb-DF; Wykrywanie głębokich fałszerstw (DFD); oraz Face Shifter (FSh).

Dla FF++, naukowcy przeszkolili swój model na oryginalnym zbiorze danych i przetestowali każdy z czterech podzbiorów oddzielnie. Bez użycia jakichkolwiek materiałów głębokich fałszerstw w szkoleniu, nowa metoda przewyższyła wyniki stanu sztuki.

Metoda ta zajęła również pierwsze miejsce w porównaniu z zestawem FF++ C23, który zawiera przykłady, które wykazują rodzaj artefaktów kompresji, które są wiarygodne w środowiskach wyświetlania głębokich fałszerstw.

Autorzy komentują:

‘Wyniki w ramach FF++ potwierdzają wykonalność naszego głównego pomysłu, podczas gdy ogólna użyteczność pozostaje głównym problemem istniejących metod wykrywania głębokich fałszerstw, ponieważ wyniki nie są gwarantowane podczas testowania głębokich fałszerstw wygenerowanych przez niewidziane techniki.

‘Uwzględnij dalej rzeczywistość wyścigu zbrojeń między wykrywaczami a fałszerzami, ogólna użyteczność jest ważnym kryterium, które mierzy skuteczność metody wykrywania w świecie rzeczywistym.’

Chociaż naukowcy przeprowadzili szereg podtestów (patrz artykuł szczegóły) dotyczących “wytrzymałości” i zmiany rodzajów filmów wejściowych (tj. rzeczywistych, fałszywych, p-fake itp.), najbardziej interesujące wyniki pochodzą z testu na wydajność krzyżową.

Dla tego, autorzy przeszkolili swój model na wersji “światowej” c23 zestawu FF++ i przetestowali go przeciwko czterem zestawom danych, uzyskując, jak twierdzą autorzy, lepszą wydajność we wszystkich z nich.

Wyniki z wyzwania krzyżowego. Artykuł zauważa, że SBI wykorzystuje podobne podejście do podejścia autorów, podczas gdy, jak twierdzą naukowcy, p-fake wykazuje lepszą wydajność w zakresie przerwania regularności przestrzenno-czasowej.

Artykuł stwierdza:

‘W najtrudniejszym Deepwild, nasza metoda przewyższa metodę SOTA o około 10 punktów procentowych pod względem AUC%. Uważamy, że jest to spowodowane dużą różnorodnością głębokich fałszerstw w Deepwild, co powoduje, że inne metody nie są w stanie dobrze generalizować z widzianych głębokich fałszerstw.’

Współczynniki wykorzystane w testach to Wynik Dokładności (ACC), Powierzchnia Pod Krzywą Charakterystyki Odbioru (AUC) oraz Współczynnik Błędów Równych (EER).

Kontrataki?

Chociaż media opisują napięcie między twórcami głębokich fałszerstw a naukowcami zajmującymi się wykrywaniem głębokich fałszerstw w kategoriach wojny technologicznej, można powiedzieć, że ci pierwsi po prostu starają się tworzyć bardziej przekonywujące dane wyjściowe, a zwiększona trudność wykrywania głębokich fałszerstw jest przypadkowym produktem tych wysiłków.

Czy twórcy będą próbowali rozwiązać tę nowo ujawnioną słabość, zależy być może od tego, czy uważają, że przerwanie regularności może być postrzegane w głębokim fałszerstwie filmowym gołym okiem jako znak nieautentyczności, i czy więc ten wskaźnik jest wart rozwiązania z czysto jakościowego punktu widzenia.

Chociaż minęło pięć lat od momentu, gdy pierwsze głębokie fałszerstwa pojawiły się w sieci, głębokie fałszerstwa są nadal dość młodą technologią, a społeczność jest prawdopodobnie bardziej zaabsorbowana detalami i rozdzielczością niż poprawnym kontekstem lub dopasowaniem sygnatur skompresowanego wideo, co wymaga pewnego “degradowania” danych wyjściowych – tego, przeciwko czemu cała społeczność głębokich fałszerstw obecnie walczy.

Jeśli ogólna opinia okaże się taka, że przerwanie regularności jest wczesnym sygnałem, który nie wpływa na jakość, może nie być żadnych starań, aby to zrekompensować – nawet jeśli można je “odwołać” za pomocą pewnych procedur post-przetwarzania lub w-architekturze, co jest daleko od jasnego.

Pierwotnie opublikowane 22 lipca 2022.