Kąt Andersona

Wykrywanie deepfake na nowych ścieżkach: modele dyfuzji latentnej i GAN-y

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyBadania nad wykrywaniem deepfake'ów przesuwają swoje zainteresowanie w stronę modeli…
Zobacz więcej
  • Badania nad wykrywaniem deepfake'ów przesuwają swoje zainteresowanie w stronę modeli dyfuzyjnych ukrytych, takich jak Stable Diffusion i DALL-E 2.
  • Blade Runner oferuje detektor GAN typu plug-and-play, wykorzystujący wzory punktów orientacyjnych twarzy, dla organizacji o ograniczonych zasobach.
  • DE-FAKE ma na celu uniwersalne wykrywanie i przypisywanie obrazów pochodzących z modeli dyfuzyjnych tekst-obraz przy użyciu osadzeń CLIP.

Opinia
Społeczność badaczy wykrywania deepfake od końca 2017 roku zajmowała się niemal wyłącznie rozwiązaniami opartymi na autoenkoderach, które zadebiutowały wtedy ku powszechnemu zdumieniu i konsternacji. Ostatnio zaczęła jednak badać pod kątem analizy śledczej także mniej stagnacyjne architektury: modele dyfuzji latentnej, takie jak DALL-E 2 i Stable Diffusion, oraz obrazy generowane przez generatywne sieci przeciwstawne (GAN). Przykładowo w czerwcu UC Berkeley opublikował wyniki badań nad detektorem obrazów z dominującego wówczas DALL-E 2.

Rosnące zainteresowanie wydaje się wynikać z nagłego skoku możliwości i dostępności modeli dyfuzji latentnej w 2022 roku: wiosennej premiery DALL-E 2 z zamkniętym kodem i ograniczonym dostępem, a następnie sensacyjnego udostępnienia kodu Stable Diffusion przez stability.ai pod koniec lata.

GAN-y również są od dawna badane w tym kontekście, choć mniej intensywnie, ponieważ bardzo trudno tworzyć za ich pomocą przekonujące i rozbudowane filmowe rekonstrukcje ludzi. Przynajmniej w porównaniu z uznanymi już pakietami autoenkoderowymi FaceSwap i DeepFaceLab oraz przeznaczonym do transmisji na żywo krewnym tego ostatniego, DeepFaceLive.

Ruchome obrazy

W obu przypadkach czynnikiem pobudzającym zainteresowanie wydaje się perspektywa kolejnego przyspieszenia rozwoju syntezy wideo. Początek października, a zarazem ważny sezon konferencyjny 2022 roku, przyniósł lawinę niespodziewanych rozwiązań wieloletnich problemów tej dziedziny. Facebook ledwo opublikował przykłady swojego systemu tekst-na-wideo, gdy Google Research przyćmił początkowy entuzjazm, ogłaszając nową architekturę Imagen-to-Video T2V, zdolną generować wideo wysokiej rozdzielczości, choć tylko dzięki siedmiowarstwowej sieci modułów zwiększających rozdzielczość.

Jeśli takie zdarzenia chodzą trójkami, warto też uwzględnić enigmatyczną obietnicę stability.ai, że wideo pojawi się w Stable Diffusion najwyraźniej jeszcze w tym roku. Runway, współtwórca Stable Diffusion, złożył podobną obietnicę, choć nie wiadomo, czy chodzi o ten sam system. Wiadomość na Discordzie od szefa Stability Emada Mostaque zapowiadała też „audio, wideo [i] 3D”.

Do tego niespodziewanie pojawiło się kilka nowych rozwiązań generujących dźwięk, częściowo opartych na dyfuzji latentnej, oraz nowy model dyfuzyjny wytwarzający wiarygodny ruch postaci. Coraz większe zainteresowanie budzi więc wizja, w której statyczne systemy, takie jak GAN-y i modele dyfuzyjne, staną się pomocniczymi uzupełnieniami zewnętrznych systemów animacji.

Krótko mówiąc, ograniczony świat wideodeepfake opartych na autoenkoderach, które skutecznie podmieniają jedynie środkową część twarzy, może o tej porze za rok zostać przyćmiony przez nową generację technologii dyfuzyjnych. Popularne rozwiązania z otwartym kodem mogą pozwolić fotorealistycznie fałszować nie tylko całe ciała, ale całe sceny.

Być może dlatego badacze przeciwdziałający deepfake zaczynają poważnie traktować syntezę obrazów i dostrzegać, że może służyć do czegoś więcej niż tworzenie fałszywych zdjęć profilowych LinkedIn. Jeżeli trudne do opanowania przestrzenie latentne w zakresie ruchu w czasie potrafią jedynie działać jako świetny renderer tekstur, to i tak może być więcej niż wystarczające.

Blade Runner

Dwie najnowsze publikacje poświęcone odpowiednio wykrywaniu deepfake z dyfuzji latentnej i GAN-ów to DE-FAKE: wykrywanie i określanie pochodzenia fałszywych obrazów generowanych przez modele dyfuzyjne tekst-na-obraz, opracowane wspólnie przez CISPA Helmholtz Center for Information Security i Salesforce (CRM ), oraz BLADERUNNER: szybkie przeciwdziałanie syntetycznym twarzom StyleGAN generowanym przez AI Adama Doriana Wonga z Laboratorium Lincolna MIT.

Przed przedstawieniem nowej metody druga publikacja omawia wcześniejsze sposoby ustalania, czy obraz powstał przy użyciu GAN-a. Dotyczy konkretnie rodziny StyleGAN firmy NVIDIA.

Metoda Brady Bunch może być nieczytelnym odniesieniem dla osób, które nie oglądały telewizji w latach siedemdziesiątych albo przeoczyły adaptacje filmowe z lat dziewięćdziesiątych. Rozpoznaje obrazy z GAN-ów po stałych pozycjach niektórych elementów twarzy, wynikających z powtarzalnego, szablonowego procesu tworzenia.

Metoda Brady Bunch przedstawiona w internetowej transmisji Instytutu SANS w 2022 roku: generator twarzy GAN rozmieszcza pewne cechy twarzy z nieprawdopodobną jednolitością, w niektórych przypadkach zdradzając pochodzenie fotografii.

Metoda Brady Bunch przedstawiona w internetowej transmisji Instytutu SANS w 2022 roku: generator twarzy GAN rozmieszcza pewne cechy twarzy z nieprawdopodobną jednolitością, w niektórych przypadkach zdradzając pochodzenie fotografii. Źródło: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Inną użyteczną wskazówką jest częsta niezdolność StyleGAN do przedstawienia wielu twarzy, gdy są potrzebne, jak na pierwszym obrazie poniżej. System ma też trudności ze spójnym doborem akcesoriów, co pokazuje środkowy obraz, oraz traktuje linię włosów jako początek improwizowanego kapelusza, jak na trzecim obrazie.

Trzecia wskazana metoda to nakładanie fotografii, którego przykład znajduje się w naszym sierpniowym artykule o wspomaganym przez AI diagnozowaniu zaburzeń psychicznych. Programy do łączenia obrazów, takie jak seria CombineZ, scalają wiele zdjęć w jeden obraz, często ujawniając wspólną strukturę, co może świadczyć o syntezie.

Nowa architektura nosi nazwę Blade Runner, być może wbrew wszelkim radom SEO. Odwołuje się do testu Voighta-Kampffa, który w tej serii science fiction ustala, czy antagoniści są fałszywi.

Potok składa się z dwóch etapów. Pierwszy to analizator PapersPlease, który ocenia dane zebrane ze znanych stron z twarzami GAN, takich jak thispersondoesnotexist.com i generated.photos.

Choć uproszczony kod można obejrzeć na GitHubie, o czym mowa dalej, szczegółów modułu podano niewiele. Wiadomo, że OpenCV i DLIB służą do obrysowywania i wykrywania twarzy w zebranym materiale.

Drugi moduł to detektor AmongUs. Szuka zgodnego rozmieszczenia oczu na fotografiach, czyli stałej cechy twarzy ze StyleGAN ilustrowanej opisanym wyżej scenariuszem Brady Bunch. Wykorzystuje standardowy detektor 68 punktów charakterystycznych twarzy.

Oznaczenia punktów twarzy z Intelligent Behaviour Understanding Group (IBUG), którego kod wyznaczania punktów charakterystycznych jest używany w pakiecie Blade Runner.

Oznaczenia punktów twarzy z Intelligent Behaviour Understanding Group (IBUG), którego kod wyznaczania punktów charakterystycznych jest używany w pakiecie Blade Runner.

AmongUs opiera się na wcześniej wyuczonych punktach bazujących na znanych współrzędnych Brady Bunch z PapersPlease. Jest przeznaczony do badania aktualnych, dostępnych w internecie przykładów twarzy wygenerowanych przez StyleGAN.

Według autora Blade Runner to gotowe do użycia rozwiązanie dla firm i organizacji, które nie mają zasobów na samodzielne opracowanie omawianego rodzaju detekcji deepfake. Ma być środkiem tymczasowym, pozwalającym zyskać czas na trwalsze zabezpieczenia.

W tak niestabilnym i szybko rosnącym sektorze bezpieczeństwa niewiele jest w rzeczywistości rozwiązań chmurowych wykonywanych na zamówienie lub gotowych, na których firma o ograniczonych zasobach mogłaby obecnie polegać z przekonaniem.

Blade Runner słabo radzi sobie z wygenerowanymi przez StyleGAN osobami w okularach. To dość powszechny problem podobnych systemów, które wykorzystują zarysy oczu jako kluczowe punkty odniesienia, zasłonięte w takim przypadku.

Uproszczoną wersję Blade Runner udostępniono na GitHubie z otwartym kodem. Istnieje też bogatsza wersja zamknięta, przetwarzająca wiele zdjęć zamiast pojedynczej fotografii na operację w wersji otwartej. Autor zamierza z czasem rozbudować wersję GitHub do tego samego poziomu. Przyznaje również, że StyleGAN zapewne przezwycięży obecne i znane słabości, więc oprogramowanie musi rozwijać się wraz z nim.

DE-FAKE

DE-FAKE ma zapewniać nie tylko uniwersalne wykrywanie obrazów z modeli dyfuzyjnych tekst-na-obraz, lecz również ustalanie, który model dyfuzji latentnej (LD) wygenerował obraz.

Uniwersalny system wykrywania DE-FAKE obejmuje obrazy lokalne, rozwiązanie hybrydowe (zielone) i obrazy z otwartego świata (niebieskie).

Uniwersalny system wykrywania DE-FAKE obejmuje obrazy lokalne, rozwiązanie hybrydowe (zielone) i obrazy z otwartego świata (niebieskie). Źródło: http://export.arxiv.org/pdf/2210.06998

Szczerze mówiąc, na razie jest to dość łatwe zadanie, ponieważ wszystkie popularne modele LD, zarówno zamknięte, jak i otwarte, mają wyraźne cechy odróżniające.

Większość dzieli też słabości, takie jak obcinanie głów, wynikające z arbitralnego sposobu wprowadzania niekwadratowych obrazów z internetu do ogromnych zbiorów danych, które zasilają DALL-E 2, Stable Diffusion i MidJourney.

Modele dyfuzji latentnej, podobnie jak inne modele widzenia komputerowego, wymagają kwadratowych danych wejściowych. Masowe zbieranie obrazów do LAION5B nie zapewnia jednak dodatków takich jak rozpoznawanie i kadrowanie twarzy czy innych obiektów. Zamiast uzupełniać obrazy marginesami, co zachowałoby cały oryginał w niższej rozdzielczości, mocno je przycina. Takie kadry po treningu stają się normą i często występują w wynikach systemów takich jak Stable Diffusion.

Modele dyfuzji latentnej, podobnie jak inne modele widzenia komputerowego, wymagają kwadratowych danych wejściowych. Masowe zbieranie obrazów do LAION5B nie zapewnia jednak dodatków takich jak rozpoznawanie i kadrowanie twarzy czy innych obiektów. Zamiast uzupełniać obrazy marginesami, co zachowałoby cały oryginał w niższej rozdzielczości, mocno je przycina. Takie kadry po treningu stają się normą i często występują w wynikach systemów takich jak Stable Diffusion. Źródło: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.

DE-FAKE ma być niezależny od algorytmu, co od dawna stanowi cel badaczy wykrywających deepfake oparte na autoenkoderach. W przypadku systemów LD jest to teraz całkiem osiągalne.

Architektura używa multimodalnej biblioteki OpenAI Contrastive Language-Image Pretraining, czyli CLIP. To ważny element Stable Diffusion, szybko stający się sercem nowej fali systemów syntezy obrazów i filmów. Służy do wydobywania reprezentacji wektorowych z fałszywych obrazów LD i trenowania klasyfikatora na zaobserwowanych wzorcach i klasach.

W scenariuszu bliższym czarnej skrzynce fragmenty PNG opisujące proces generowania zostały już usunięte podczas przesyłania lub z innych przyczyn. Badacze stosują wtedy BLIP firmy Salesforce, będący też składnikiem co najmniej jednej dystrybucji Stable Diffusion, aby bez wcześniejszych informacji wywnioskować z obrazów prawdopodobną strukturę znaczeniową instrukcji, które je utworzyły.

Badacze wykorzystali Stable Diffusion, Latent Diffusion (osobny produkt), GLIDE i DALL-E 2 do zbudowania zbioru treningowego i testowego na podstawie MSCOCO i Flickr30k.

Badacze wykorzystali Stable Diffusion, Latent Diffusion (osobny produkt), GLIDE i DALL-E 2 do zbudowania zbioru treningowego i testowego na podstawie MSCOCO i Flickr30k.

Zwykle dokładnie omawialibyśmy wyniki eksperymentów nowego rozwiązania. Jednak rezultaty DE-FAKE wydają się bardziej użyteczne jako przyszły punkt odniesienia dla kolejnych wersji i podobnych projektów niż jako miarodajny wskaźnik sukcesu. Środowisko szybko się zmienia, a system porównawczy z badań ma niemal trzy lata i pochodzi z początkowego okresu syntezy obrazów.

Dwa obrazy po lewej: wcześniejszy system z 2019 roku zgodnie z przewidywaniami wypada gorzej niż DE-FAKE (dwa obrazy po prawej) dla czterech testowanych systemów LD.

Dwa obrazy po lewej: wcześniejszy system z 2019 roku zgodnie z przewidywaniami wypada gorzej niż DE-FAKE (dwa obrazy po prawej) dla czterech testowanych systemów LD.

Wyniki zespołu są zdecydowanie pozytywne z dwóch powodów. Po pierwsze, istnieje mało wcześniejszych prac porównawczych, a żadna nie umożliwia uczciwego porównania obejmującego zaledwie dwanaście tygodni od otwarcia kodu Stable Diffusion.

Po drugie, choć synteza obrazów LD rozwija się wykładniczo, wyniki obecnych systemów niejako same znakują swoje pochodzenie własnymi przewidywalnymi wadami strukturalnymi i osobliwościami. W przypadku Stable Diffusion wiele z nich może zostać usuniętych wraz z lepszym checkpointem 1.5, czyli wytrenowanym modelem o rozmiarze 4 GB napędzającym system.

Stability zapowiedziało już przejrzysty plan dla V2 i V3. Wydarzenia z ostatnich trzech miesięcy, które przyciągały nagłówki, prawdopodobnie rozproszyły ewentualny korporacyjny letarg OpenAI i pozostałych konkurentów. Podobnie szybkich postępów można zatem oczekiwać również w syntezie obrazów z zamkniętym kodem.

Pierwsza publikacja: 14 października 2022 roku.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai