Informacje o głębi mogą ujawniać deepfakes w czasie rzeczywistym

Nowe badania przeprowadzone we Włoszech wykazały, że informacje o głębi uzyskane z obrazów mogą być przydatnym narzędziem do wykrywania deepfaków – nawet w czasie rzeczywistym.

Ponieważ większość badań nad wykrywaniem deepfaków w ciągu ostatnich pięciu lat koncentrowała się na identyfikacji artefaktów (które mogą być złagodzone przez udoskonalone techniki lub pomylone z słabą kompresją kodeka wideo), oświetleniu ambientalnym, cechach biometrycznych, przerwaniu czasowym i nawet ludzkim instynktem, nowe badanie jest pierwszym, które sugeruje, że informacje o głębi mogą być cennym kluczem do wykrywania treści deepfake.

Przykłady pochodnych map głębi i różnicy w percepcyjnej głębi między rzeczywistymi i fałszywymi obrazami. Źródło: https://arxiv.org/pdf/2208.11074.pdf

Krytycznie, ramy wykrywania opracowane dla nowego badania działają bardzo dobrze na lekkiej sieci takiej jak Xception, i akceptowalnie dobrze na MobileNet, i nowy artykuł uznaje, że niskie opóźnienie inferencji oferowane przez takie sieci może umożliwić wykrywanie deepfaków w czasie rzeczywistym przeciwko nowemu trendowi fałszywych oszustw na żywo, ilustrowanemu przez niedawne ataki na Binance.

Większa oszczędność czasu inferencji może być osiągnięta, ponieważ system nie wymaga pełnych kolorowych obrazów, aby określić różnicę między fałszywymi i rzeczywistymi mapami głębi, ale może działać zaskakująco wydajnie wyłącznie na obiektach w odcieniach szarości.

Autorzy stwierdzają: ‘To wynik sugeruje, że głębia w tym przypadku dodaje bardziej istotny wkład do klasyfikacji niż artefakty kolorowe.’

Wyniki reprezentują część nowej fali badań nad wykrywaniem deepfaków skierowanych przeciwko systemom syntezy twarzy w czasie rzeczywistym, takim jak DeepFaceLive – obszar, który przyspieszył znacznie w ciągu ostatnich 3-4 miesięcy, w następstwie ostrzeżenia FBI z marca o ryzyku fałszywych wideo i audio w czasie rzeczywistym.

Artykuł artykuł nosi tytuł DepthFake: strategia oparta na głębi do wykrywania filmów Deepfake, i pochodzi od pięciu badaczy z Uniwersytetu Sapienza w Rzymie.

Przypadki graniczne

Podczas szkolenia, modele deepfake oparte na autoencoderze priorytetowo traktują wewnętrzne obszary twarzy, takie jak oczy, nos i usta. W większości przypadków, w przypadku dystrybucji open source, takich jak DeepFaceLab i FaceSwap (oba forkowane z oryginalnego kodu Reddit przed jego usunięciem), zewnętrzne kontury twarzy nie stają się dobrze zdefiniowane aż do bardzo późnego etapu szkolenia i są mało prawdopodobne, aby dopasować jakość syntezy w obszarze wewnętrznej twarzy.

Z wizualizacji ‘map saliency’ twarzy z poprzedniego badania. Źródło: https://arxiv.org/pdf/2203.01318.pdf

Zazwyczaj nie jest to istotne, ponieważ nasza tendencja do skupienia się najpierw na oczach i priorytetowego traktowania ‘na zewnątrz’ z malejącym poziomem uwagi oznacza, że jesteśmy mało prawdopodobne, aby być zakłóconymi przez te spadki w jakości obwodowej – szczególnie, jeśli mówimy na żywo do osoby, która fałszuje inną tożsamość, co wyzwala konwencje społeczne i ograniczenia przetwarzania nieobecne, gdy oceniamy ‘renderowane’ nagrania deepfake.

Jednak brak szczegółów lub dokładności w dotkniętych obszarach marginesowych twarzy deepfake może być wykryty algorytmicznie. W marcu, system, który kluczy na obszarze obwodowym twarzy, został ogłoszony. Jednakże, ponieważ wymaga on powyżej przeciętnej ilości danych szkoleniowych, jest on przeznaczony tylko dla celebrytów, którzy mają duże prawdopodobieństwo wystąpienia w popularnych zbiorach danych twarzy (takich jak ImageNet), które mają udokumentowaną historię w bieżących technikach komputerowego widzenia i wykrywania deepfaków.

Zamiast tego, nowy system, zatytułowany DepthFake, może działać ogólnie nawet na mało znanych lub nieznanych tożsamościach, poprzez rozróżnianie jakości oszacowanej mapy głębi w rzeczywistych i fałszywych treściach wideo.

Zanurzanie się

Informacje o głębi są coraz częściej wbudowywane w smartfony, w tym wspomagane przez AI implementacje stereo, które są szczególnie przydatne do badań komputerowego widzenia. W nowym badaniu, autorzy użyli modelu FaceDepth z Narodowego Uniwersytetu w Irlandii, sieci konwolucyjnej, która może wydajnie oszacować mapy głębi z pojedynczych obrazów źródłowych.

Model FaceDepth w działaniu. Źródło: https://tinyurl.com/3ctcazma

Następnie, potok dla nowego frameworku autorów wyodrębnia fragment twarzy o wymiarach 224×224 pikseli z oryginalnego obrazu RGB i pochodzącej mapy głębi. Krytycznie, pozwala to na przeniesienie zawartości bez zmiany jej rozmiaru; jest to istotne, ponieważ standardowe algorytmy zmiany rozmiaru mogą negatywnie wpłynąć na jakość docelowych obszarów.

Używając tych informacji, zarówno z rzeczywistych, jak i fałszywych źródeł, badacze szkolili sieć neuronową konwolucyjną (CNN), która może rozróżniać rzeczywiste od fałszywych przypadków, na podstawie różnic w percepcyjnej jakości odpowiednich map głębi.

Konceptualny potok DepthFake.

Model FaceDepth jest szkolony na realistycznych i syntetycznych danych przy użyciu hybrydowej funkcji, która oferuje większe szczegóły na zewnętrznych granicach twarzy, co sprawia, że jest on dobrze przystosowany do DepthFake. Używa instancji MobileNet jako ekstraktora cech i został szkolony z wejściowymi obrazami o rozdzielczości 480×640, generując mapy głębi o rozdzielczości 240×320. Każda mapa głębi reprezentuje jedną czwartą kanałów wejściowych używanych w nowym projekcie dyskryminatora.

Mapa głębi jest automatycznie osadzana w oryginalnym obrazie RGB, aby zapewnić rodzaj obrazu RGBD, pełnego informacji o głębi, który nowoczesne aparaty mogą wyjściowo generować.

Szkolenie

Model został szkolony na sieci Xception, która była już wstępnie szkolona na ImageNet, chociaż architektura wymagała pewnej adaptacji, aby pomieścić dodatkowe informacje o głębi, jednocześnie zachowując poprawną inicjalizację wag.

Ponadto, niezgodność w zakresach wartości między informacjami o głębi a tym, czego sieć oczekuje, wymagała, aby badacze znormalizowali wartości do 0-255.

Podczas szkolenia, zastosowano tylko odwrócenie i obrót. W wielu przypadkach różne inne perturbacje wizualne byłyby przedstawiane modelowi, aby rozwinąć wytrzymałą inferencję, ale konieczność zachowania ograniczonej i bardzo kruchej informacji o głębi krawędzi w zdjęciach źródłowych zmusiła badaczy do przyjęcia reżimu uproszczonego.

System został dodatkowo szkolony na prostych 2-kanałowych odcieniach szarości, aby określić, jak złożone muszą być obrazy źródłowe, aby uzyskać działający algorytm.

Szkolenie odbywało się za pomocą interfejsu API TensorFlow na karcie NVIDIA GTX 1080 z 8 GB pamięci VRAM, przy użyciu optymalizatora ADAMAX, przez 25 epok, z rozmiarem partii 32. Rozdzielczość wejściowa była ustalona na 224×224 podczas przycinania, a wykrywanie i ekstrakcja twarzy zostały wykonane przy użyciu biblioteki C++ dlib.

Wyniki

Dokładność wyników została przetestowana w porównaniu z Deepfake, Face2Face, FaceSwap, Neural Texture, oraz pełnym zestawem danych z wejściami RGB i RGBD, przy użyciu ramy FaceForensic++.

Wyniki dotyczące dokładności nad czterema metodami deepfake, oraz w porównaniu z całym niepodzielonym zestawem danych. Wyniki są podzielone między analizę obrazów źródłowych RGB, a tymi samymi obrazami z osadzoną wywnioskowaną mapą głębi. Najlepsze wyniki są wytłuszczone, z procentowymi liczbami poniżej, demonstrującymi stopień, w jakim informacje o głębi poprawiają wynik.

W wszystkich przypadkach, kanał głębi poprawia wyniki modelu we wszystkich konfiguracjach. Xception osiąga najlepsze wyniki, a MobileNet jest nieco gorszy. Autorzy komentują:

‘To interesujące, że MobileNet jest nieco gorszy od Xception i lepszy od głębszego ResNet50. To godny uwagi wynik, biorąc pod uwagę cel redukcji czasu inferencji dla aplikacji w czasie rzeczywistym. Chociaż nie jest to główny wkład tej pracy, uważamy to za zachęcający wynik dla przyszłych rozwojów.’

Badacze zauważają również stałą przewagę wejść RGBD i 2-kanałowych odcieni szarości nad wejściami RGB i zwykłymi odcieniami szarości, obserwując, że konwersje odcieni szarości inferencji głębi, które są obliczeniowo bardzo tanie, pozwalają modelowi uzyskać lepsze wyniki z bardzo ograniczonymi lokalnymi zasobami, ułatwiając przyszły rozwój wykrywania deepfaków w czasie rzeczywistym opartego na informacjach o głębi.

Pierwotnie opublikowane 24 sierpnia 2022.