Wykrywacze Deepfake idą na nowy grunt: Latentne modele dyfuzyjne i GAN

Opinia  

Ostatnio, społeczność badawcza zajmująca się wykrywaniem deepfake, która od końca 2017 roku była zajęta prawie wyłącznie ramą opartą na autoencoderze, która zadebiutowała w tym czasie i wzbudziła takie zainteresowanie publiczne (i zmartwienie), zaczęła interesować się mniej statycznymi architekturami, w tym latentnymi modelami dyfuzyjnymi, takimi jak DALL-E 2 i Stable Diffusion, a także wyjściem Generatywnych Sieci Adversarialnych (GAN). Na przykład w czerwcu, UC Berkeley opublikowało wyniki swoich badań nad rozwojem detektora dla wyjścia DALL-E 2.

Co wydaje się napędzać ten rosnący zainteresowanie, to nagły skok ewolucyjny w możliwościach i dostępności modeli dyfuzyjnych w 2022 roku, z zamkniętą i ograniczoną premierą DALL-E 2 wiosną, a następnie latem otwartym źródłem Stable Diffusion przez stability.ai.

GAN-y również były długo badane w tym kontekście, choć mniej intensywnie, ponieważ jest bardzo trudno ich używać do przekonywających i rozbudowanych rekreacji wideo osób; przynajmniej, w porównaniu z dotychczas znanymi pakietami autoencoderowymi, takimi jak FaceSwap i DeepFaceLab – i jego kuzynem do transmisji na żywo, DeepFaceLive.

Poruszające się obrazy

W każdym przypadku, czynnikiem galwanizującym wydaje się perspektywa następnego sprintu rozwojowego dla syntezy wideo. Początek października – i główny sezon konferencyjny 2022 roku – był charakteryzowany przez lawinę nagłych i nieoczekiwanych rozwiązań dla różnych długotrwałych problemów związanych z syntezą wideo: zaraz po tym, jak Facebook opublikował próbki swojej własnej platformy text-to-video, Google Research szybko przytłumił ten początkowy entuzjazm, ogłaszając nową architekturę Imagen-to-Video T2V, zdolną do generowania wysokiej rozdzielczości (choć tylko za pomocą 7-warstwowej sieci upsamplującej).

Jeśli wierzysz, że tego rodzaju rzeczy przychodzą w trzech, rozważ również obietnicę stability.ai, że “wideo jest w drodze” do Stable Diffusion, podobno później w tym roku, podczas gdy współtwórca Stable Diffusion, Runway, złożył podobną obietnicę, choć nie jest jasne, czy odnoszą się do tego samego systemu. Wiadomość Discord od CEO Stability, Emada Mostaque, również obiecała ‘audio, wideo [i] 3d’.

Co krótko mówiąc, wydaje się prawdopodobne, że świat autoencoderowych deepfake’ów, który może skutecznie zastąpić tylko środkową część twarzy, może być w tym czasie w przyszłym roku zaćmiony przez nowe pokolenie technologii opartych na dyfuzji, które mają potencjał, aby sfabrykować fotorealistycznie nie tylko całe ciała, ale całe sceny.

Łowca odrzuconych

Najnowsze dwa artykuły, które zajmują się odpowiednio latentną dyfuzją i wykrywaniem deepfake’ów opartych na GAN, to DE-FAKE: Wykrywanie i identyfikacja fałszywych obrazów wygenerowanych przez modele dyfuzyjne, współpraca między CISPA Helmholtz Center for Information Security a Salesforce; oraz BLADERUNNER: Szybkie przeciwdziałanie syntetycznym (wygenerowanym przez AI) twarzom StyleGAN, z Adamem Dorianem Wongiem z MIT’s Lincoln Laboratory.

Przed wyjaśnieniem nowej metody, drugi artykuł poświęca trochę czasu na zbadanie poprzednich podejść do określenia, czy obraz został wygenerowany przez GAN (artykuł zajmuje się konkretnie rodziną StyleGAN).

Metoda “Brady Bunch” – być może bezsignifikacyjna referencja dla kogoś, kto nie oglądał telewizji w latach 70. lub kto przegapił adaptacje filmowe z lat 90. – identyfikuje treści GAN-fabrykowane na podstawie stałych pozycji, które określone części twarzy GAN zajmują ze względu na rutynowy i szablonowy charakter “procesu produkcyjnego”.

DE-FAKE

Architektura DE-FAKE ma na celu nie tylko osiągnięcie “uniwersalnego wykrywania” dla obrazów wygenerowanych przez modele dyfuzyjne, ale także dostarczenie metody do określenia, który model dyfuzyjny wygenerował obraz.

Architektura wykorzystuje bibliotekę OpenAI’s Contrastive Language-Image Pretraining (CLIP) – istotny element w Stable Diffusion, który staje się sercem nowej fali systemów syntezy obrazu/wideo – jako sposób na wyodrębnienie embedów z “sfałszowanych” obrazów LD i przeszkolenie klasyfikatora na obserwowanych wzorcach i klasach.

W bardziej “czarnej skrzynce” scenariuszu, gdzie chunki PNG, które przechowują informacje o procesie generowania, zostały dawno usunięte przez procesy uploadu i z innych powodów, badacze wykorzystują ramę BLIP od Salesforce (również składnik w co najmniej jednej dystrybucji Stable Diffusion), aby “ślepo” zapytać obrazy o prawdopodobną strukturę semantyczną podpowiedzi, które je wygenerowały.

Na koniec, zdarzenia ostatnich trzech miesięcy, jakiekolwiek letarg korporacyjny ze strony OpenAI i innych konkurencyjnych graczy w przestrzeni syntezy obrazu, najprawdopodobniej zostały rozwiązane, co oznacza, że możemy spodziewać się podobnego tempa postępu również w przestrzeni syntezy obrazu o zamkniętym źródle.