Identifying Deepfake Data Sources With AI-Based Tagging

Współpraca między badaczami z Chin, Singapuru i USA doprowadziła do stworzenia wytrzymałego systemu do “tagowania” zdjęć twarzy w taki sposób, że znaczniki identyfikujące nie są niszczone podczas procesu tworzenia deepfake, co otwiera drogę do roszczeń dotyczących praw autorskich, które mogą ograniczyć możliwość generowania syntetycznych obrazów i “ananimizacji” nielegalnie pobranych danych źródłowych.

System, nazwany FakeTagger, wykorzystuje proces kodowania/dekodowania do wbudowania niewidocznych informacji identyfikacyjnych w obrazy na poziomie tak niskim, że wstrzyknięte informacje będą interpretowane jako istotne cechy twarzy i dlatego będą przechowywane w procesach abstrakcji, podobnie jak dane oczu lub ust.

Przegląd architektury FakeTagger. Dane źródłowe są wykorzystywane do generowania “zbędnej” cechy twarzy, ignorując elementy tła, które będą maskowane w typowym procesie deepfake. Wiadomość jest odzyskiwana na końcu procesu i identyfikowalna za pomocą odpowiedniego algorytmu rozpoznawania. Źródło: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Badania pochodzą ze Szkoły Nauk o Cyberbezpieczeństwie i Inżynierii na Uniwersytecie w Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing w Ministerstwie Edukacji Chin, grupy Alibaba w USA, Northeastern University w Bostonie i Nanyang Technological University w Singapurze.

Wyniki eksperymentalne z FakeTagger wskazują na wskaźnik ponownej identyfikacji do prawie 95% w przypadku czterech powszechnych typów metod deepfake: wymiany tożsamości (tj. DeepFaceLab, FaceSwap); reenactment twarzy; edycja atrybutów; i całkowita synteza.

Wady wykrywania Deepfake

Chociaż ostatnie trzy lata przyniosły nowe podejścia do metod identyfikacji deepfake, wszystkie te podejścia opierają się na usprawnieniach wadliwych procesów deepfake, takich jak eye-glint w niedouczonych modelach, i brak mrugania w wcześniejszych deepfakes z niewystarczająco zróżnicowanymi zestawami twarzy. Gdy nowe klucze są identyfikowane, wolne i otwarte repozytoria oprogramowania usuwają je, albo celowo, albo jako efekt uboczny ulepszeń w technice deepfake.

Nowy artykuł stwierdza, że najskuteczniejsza metoda wykrywania po fakcie, wyprodukowana przez najnowszy konkurs Unite.ai na wykrywanie deepfake (DFDC), jest ograniczona do 70% dokładności w kwestii wykrywania deepfake w terenie. Badacze przypisują ten reprezentatywny brak skuteczności słabej generalizacji nowych i innowacyjnych systemów deepfake GAN i encoder/decoder, oraz często zdegradowanej jakości deepfake.

Tagowanie przetrwałe jako pomoc w odwróceniu modelu

Identyfikacja danych źródłowych z wyjścia modelu uczenia maszynowego jest stosunkowo nowym i rozwijającym się polem, które umożliwia nową erę litigacji opartej na prawach autorskich, gdy obecne permissive przepisy dotyczące scrapingu ekranu (zaprojektowane w celu niehamowania badań w obliczu globalnego wyścigu zbrojeń w dziedzinie AI) ewoluują w kierunku surowszych przepisów, gdy sektor staje się komercyjny.

Odwrotność modelu zajmuje się mapowaniem i identyfikacją danych źródłowych z wyjścia generowanego przez systemy syntezy w wielu dziedzinach, w tym generacji języka naturalnego (NLG) i syntezy obrazu. Odwrócenie modelu jest szczególnie skuteczne w ponownej identyfikacji twarzy, które zostały rozmyte, pikselowane lub przeszły przez proces abstrakcji sieci GAN lub systemu transformacji encoder/decoder, takiego jak DeepFaceLab.

Dodanie celowego tagowania do nowych lub istniejących obrazów twarzy jest potencjalną nową pomocą w technice odwrócenia modelu, z watermarkingiem jako nowym polem.

Tagowanie post-facto

FakeTagger jest przeznaczony jako podejście post-procesowe. Na przykład, gdy użytkownik uploaduje zdjęcie do sieci społecznej (co zwykle wiąże się z pewnym procesem optymalizacji i rzadko jest to bezpośredni i nieskażony transfer oryginalnego obrazu), algorytm przetwarza obraz, aby zastosować rzekomo niezatarte cechy do twarzy.

Alternatywnie, algorytm może być zastosowany do historycznych kolekcji obrazów, tak jak to miało miejsce kilka razy w ciągu ostatnich dwudziestu lat, gdy duże strony ze stockowymi zdjęciami i komercyjnymi kolekcjami obrazów szukały metod identyfikacji treści, które zostały ponownie wykorzystane bez pozwolenia.

FakeTagger próbuje osadzić odzyskiwalne cechy identyfikacyjne z różnych procesów deepfake.

Rozwój i testowanie

Badacze przetestowali FakeTagger przeciwko kilku aplikacjom oprogramowania deepfake w czterech podejściach, w tym najbardziej popularnemu repozytorium, DeepFaceLab; Face2Face z Uniwersytetu Stanforda, który może przenosić wyrażenia twarzy między obrazami i tożsamościami; oraz STGAN, który może edytować atrybuty twarzy.

Testy przeprowadzono z użyciem CelebA-HQ, popularnego publicznego repozytorium zawierającego 30 000 obrazów twarzy celebrytów w różnych rozdzielczościach do 1024 x 1024 pikseli.

Jako punkt odniesienia, badacze początkowo testowali konwencjonalne techniki watermarkingu obrazu, aby sprawdzić, czy nałożone tagi przetrwają procesy szkoleniowe deepfake, ale metody te nie powiodły się we wszystkich czterech podejściach.

Wkładane dane FakeTagger zostały wstrzyknięte na etapie kodowania do zestawu twarzy przy użyciu architektury opartej na U-Net sieci konwolucyjnej do segmentacji obrazów biomedycznych, opublikowanej w 2015 roku. Następnie sekcja dekodująca ramy jest szkolona w celu znalezienia osadzonych informacji.

Proces ten został przetestowany w symulatorze GAN, który wykorzystywał wymienione oprogramowanie FOSS / algorytmy, w ustawieniu black box bez dyskretnego lub specjalnego dostępu do workflow każdego systemu. Losowe sygnały zostały dołączone do obrazów celebrytów i zalogowane jako powiązane dane z każdym obrazem.

W ustawieniu black box FakeTagger był w stanie osiągnąć dokładność przekraczającą 88,95% w czterech podejściach aplikacji. W równoległym scenariuszu white box dokładność wzrosła do prawie 100%. Jednakże, ponieważ sugeruje to przyszłe iteracje oprogramowania deepfake, które bezpośrednio wykorzystuje FakeTagger, jest to mało prawdopodobny scenariusz w najbliższej przyszłości.

Zliczanie kosztów

Badacze zauważają, że najtrudniejszym scenariuszem dla FakeTagger jest pełna synteza obrazu, taka jak abstrakcyjna generacja oparta na CLIP, ponieważ dane wejściowe są poddawane najgłębszym poziomom abstrakcji w takim przypadku. Nie dotyczy to jednak dominujących workflow deepfake z ostatnich kilku lat, które opierają się na wiernym odtworzeniu definiujących cech identyfikacyjnych.

Artykuł zauważa również, że przeciwnicy mogą próbować dodać perturbacje, takie jak sztuczny szum i ziarnistość, w celu udaremnienia takiego systemu tagowania, choć mogłoby to mieć niekorzystny wpływ na autentyczność wyjścia deepfake.

Ponadto zauważają, że FakeTagger musi dodać redundancję do obrazów, aby zapewnić przetrwanie osadzonych tagów, co może mieć znaczący koszt obliczeniowy w skali.

Autorzy kończą, zauważając, że FakeTagger może mieć potencjał do śledzenia pochodzenia w innych dziedzinach, takich jak adversarial rain attacks i inne rodzaje ataków opartych na obrazie, takich jak adversarial exposure, haze, blur, vignetting i color-jittering.