Identyfikowanie źródeł danych Deepfake za pomocą oznaczania opartego na sztucznej inteligencji

Współpraca między badaczami z Chin, Singapuru i Stanów Zjednoczonych doprowadziła do stworzenia wytrzymałego systemu do “oznaczania” zdjęć twarzy w sposób tak wytrzymały, że znaczniki identyfikujące nie są niszczone podczas procesu tworzenia deepfake, co otwiera drogę do roszczeń dotyczących praw autorskich, które mogą ograniczyć możliwość generowania syntetycznych obrazów w sposób nielegalny.

System, nazwany FakeTagger, wykorzystuje proces kodowania i dekodowania do wbudowania niewidocznych informacji identyfikujących w obrazach na poziomie tak niskim, że wstrzyknięte informacje będą interpretowane jako istotne cechy twarzy i dlatego będą przechowywane przez procesy abstrakcji, podobnie jak na przykład dane oczu lub ust.

Przegląd architektury FakeTagger. Dane źródłowe są wykorzystywane do wygenerowania „zbędnej” cechy twarzy, ignorując elementy tła, które będą maskowane przez typowy proces deepfake. Wiadomość jest odzyskiwana na końcu procesu i jest identyfikowalna za pomocą odpowiedniego algorytmu rozpoznawania. Źródło: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Badania te pochodzą ze Szkoły Nauk Cybernetycznych i Inżynierii w Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing w Ministerstwie Edukacji Chin, grupy Alibaba w Stanach Zjednoczonych, Northeastern University w Bostonie i Nanyang Technological University w Singapurze.

Wyniki eksperymentalne z FakeTagger wskazują na wskaźnik ponownej identyfikacji do 95% w czterech typowych metodologiach deepfake: wymiany tożsamości (tj. DeepFaceLab, FaceSwap); reenactment twarzy; edycji atrybutów; i całkowitej syntezy.

Wady wykrywania Deepfake

Chociaż ostatnie trzy lata przyniosły wiele nowych podejść do metodologii identyfikacji deepfake, wszystkie te podejścia opierają się na usuwalnych wadach procesów deepfake, takich jak błysk w oku w niedostatecznie wytrenowanych modelach, i brak mrugania w wcześniejszych deepfake z niedostatecznie zróżnicowanymi zestawami twarzy. Gdy zostaną zidentyfikowane nowe klucze, repozytoria oprogramowania wolnego i otwartego unieważniły je, albo celowo, albo jako efekt uboczny ulepszeń w technice deepfake.

Nowa praca obserwuje, że najskuteczniejsza metoda wykrywania post-facto, wyprodukowana przez najnowszy konkurs na wykrywanie deepfake Facebooka (DFDC), jest ograniczona do 70% dokładności w kwestii wykrywania deepfake w terenie. Badacze przypisują ten reprezentatywny brak skuteczności słabej generalizacji nowych i innowacyjnych systemów deepfake GAN i kodera/dekodera, oraz często zdegradowanej jakości deepfake.

W tym ostatnim przypadku może to być spowodowane niską jakością pracy deepfakersów lub artefaktami kompresji, gdy filmy są przesyłane na platformy udostępniania, które starają się ograniczyć koszty przepustowości, i ponownie kodują filmy w znacznie niższych szybkościach transmisji niż oryginalne pliki. Ironicznie, nie tylko ta degradacja obrazu nie przeszkadza w pozornie autentyczności deepfake, ale może nawet wzmocnić iluzję, ponieważ film deepfake jest wchłonięty w powszechny, niskiej jakości język wizualny, który jest postrzegany jako autentyczny.

Oznaczanie przetrwałe jako pomoc w odwróceniu modelu

Identyfikacja danych źródłowych z wyjścia modelu uczenia maszynowego jest stosunkowo nowym i rozwijającym się polem, i umożliwia nową erę sporów dotyczących praw autorskich, gdyż obecne permissive regulacje dotyczące screen-scrapingu (zaprojektowane w celu niehamowania badań w dziedzinie AI) ewoluują w kierunku surowszych przepisów, gdy sektor staje się komercyjny.

Odwrotność modelu zajmuje się mapowaniem i identyfikacją danych źródłowych z wyjścia generowanego przez systemy syntezy w wielu dziedzinach, w tym generacji języka naturalnego (NLG) i syntezy obrazu. Odwrotność modelu jest szczególnie skuteczna w ponownej identyfikacji twarzy, które zostały rozmyte, pikselowane lub przeszły przez proces abstrakcji sieci GAN lub systemu kodera/dekodera, takiego jak DeepFaceLab.

Dodanie ukierunkowanego oznaczania do nowych lub istniejących obrazów twarzy jest potencjalną nową pomocą w technice odwrotności modelu, z znakowaniem wodnym jako nową dziedziną.

Oznaczanie post-facto

FakeTagger jest przeznaczony jako podejście post-procesowe. Na przykład, gdy użytkownik przesyła zdjęcie na sieć społecznościową (co zwykle wiąże się z pewnym procesem optymalizacji i rzadko jest to bezpośrednie i niezmienione przesłanie oryginalnego obrazu), algorytm przetwarza obraz, aby nadać mu rzekomo niezniszczalne cechy twarzy.

Alternatywnie, algorytm może być stosowany w zbiorach historycznych, tak jak to miało miejsce wiele razy w ciągu ostatnich dwudziestu lat, gdy duże strony ze zdjęciami i komercyjnymi kolekcjami obrazów szukały sposobów identyfikacji treści, które zostały ponownie wykorzystane bez pozwolenia.

FakeTagger ma na celu wbudowanie odzyskiwalnych cech identyfikujących z różnych procesów deepfake.

Rozwój i testowanie

Badacze przetestowali FakeTagger przeciwko kilku aplikacjom deepfake w czterech podejściach, w tym najbardziej popularnemu repozytorium, DeepFaceLab; Stanford’s Face2Face, które może przenosić wyrażenia twarzy między obrazami i tożsamościami; i STGAN, które może edytować atrybuty twarzy.

Testy zostały przeprowadzone z CelebA-HQ, popularnym publicznym repozytorium zawierającym 30 000 obrazów twarzy celebrytów w różnych rozdzielczościach do 1024 x 1024 pikseli.

Jako podstawę badacze początkowo przetestowali konwencjonalne techniki znakowania obrazu, aby sprawdzić, czy nałożone tagi przetrwają procesy szkoleniowe deepfake, ale metody te nie powiodły się we wszystkich czterech podejściach.

Wbudowane dane FakeTagger zostały wstrzyknięte na etapie kodera do obrazów twarzy przy użyciu architektury opartej na sieci U-Net do segmentacji obrazów biomedycznych, opublikowanej w 2015 roku. Następnie sekcja dekodera ramy jest szkolona do znalezienia wbudowanych informacji.

Proces został przetestowany w symulatorze GAN, który wykorzystywał wspomniane oprogramowanie FOSS/algoritmy, w czarnej skrzynce bez dyskretnego lub specjalnego dostępu do przepływów pracy każdego systemu. Losowe sygnały zostały dołączone do obrazów celebrytów i zalogowane jako powiązane dane z każdym obrazem.

W czarnej skrzynce FakeTagger osiągnął dokładność przekraczającą 88,95% w czterech podejściach. W równoległym scenariuszu białej skrzynki dokładność wzrosła do prawie 100%. Jednakże, ponieważ sugeruje to przyszłe iteracje oprogramowania deepfake, które bezpośrednio wykorzystuje FakeTagger, jest to mało prawdopodobne w najbliższej przyszłości.

Zliczanie kosztów

Badacze zauważają, że najtrudniejszym scenariuszem dla FakeTagger jest pełna synteza obrazu, taka jak generacja abstrakcyjna oparta na CLIP, ponieważ dane wejściowe są poddawane najgłębszym poziomom abstrakcji w takim przypadku. Jednakże, nie dotyczy to przepływów pracy deepfake, które dominowały w nagłówkach przez ostatnie kilka lat, ponieważ są one uzależnione od wiernego odtworzenia cech identyfikujących twarz.

Artykuł zauważa również, że atakujący mogą próbować dodać perturbacje, takie jak sztuczny hałas i ziarnistość, w celu oszukania takiego systemu oznaczania, jednak byłoby to prawdopodobnie szkodliwe dla autentyczności deepfake.

Dalej, zauważają, że FakeTagger musi dodać zbędne dane do obrazów, aby zapewnić przetrwanie wbudowanych tagów, i że może to mieć znaczący koszt obliczeniowy w skali.

Autorzy kończą, zauważając, że FakeTagger może mieć potencjał do śledzenia pochodzenia w innych dziedzinach, takich jak ataki deszczowe i inne rodzaje ataków opartych na obrazie, takich jak ekspozycja, mgła, rozmycie, vignetting i zakłócenie koloru.