Transmisja strumieniowa DeepFake w czasie rzeczywistym dzięki DeepFaceLive

Najczęściej używane na świecie oprogramowanie deepfake i to najsilniej kojarzone z deepfake porno zyskuje nową implementację – możliwość nakładania deepfake'ów przedstawiających podobizny celebrytów na nagrania z kamer internetowych na żywo.

Repozytorium open source DeepFace na żywo to aplikacja dla systemu Windows 10 zbudowana na fundamentach GłębokaTwarzLab, który szybko stał się wiodącym źródłem informacji o wymianie twarzy w oparciu o pornografię po tym, jak twórca oryginalnego oprogramowania deepfake porzucił projekt wkrótce po pojawieniu się deepfakingu, który wywołał ogólnoświatowe kontrowersje w 2018 roku. Oba projekty podstęp sekcja forum witryny porno deepfake mrdeepfakes jako oficjalne źródło pomocy.

W filmie przedstawiającym interfejs DeepFaceLive opublikowanym przez programistę Ivana Petrova w kwietniu widzimy pobrany materiał przedstawiający przemianę Milesa Fishera w Toma Cruise’a w czasie rzeczywistym. Źródło: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Wczoraj liderem obu projektów był rosyjski deweloper Iwan Pietrow, ogłosił nową wersję DeepFaceLive w grupie Discord projektu, zauważając, że DeepFaceLive zawiera teraz wyszkoloną modelkę aktorki Margot Robbie, która jest częstym bohaterem filmów pornograficznych w mrdeepfakes.

Przesłano cztery przykładowe klipy wideo, aby zademonstrować zdolność DeepFaceLive do dołączenia tożsamości Robbiego do dowolnego mówcy w strumieniu kamery internetowej.

Jeden z pokazów deepfakingu na żywo, przeprowadzony przez Margot Robbie. Źródło: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Filmy z transformacją Robbiego zostały pierwotnie udostępnione na Twitchu, ale później zostały usunięte.

Trzy pozostałe przykłady zamiany twarzy dostarczone przez DeepFaceLive. Wymóg przybliżonego dopasowania twarzy do obiektu docelowego jest nadal aktualny. Na obrazku w lewym dolnym rogu widzimy, że oprogramowanie nie jest w stanie skutecznie maskować przeszkód, jak można to osiągnąć w DeepFaceLab, ponieważ wymaga to masek szkoleniowych w Aplikacja XSeg DeepFaceLab, metody, której nie można zastosować do fałszowania w czasie rzeczywistym.

Oczekuje się, że wkrótce w DeepFaceLive zostanie udostępniony dodatkowy domyślny model, brytyjski komik i aktor Rowana Atkinson. Pierwotnie repozytorium DeepFaceLive zawierało kategorię CELEB_MODEL, z której można było pobrać inne gwiazdy, w tym Toma Cruise'a, jako Open Neural Network Exchange (.onnx) pliki, chociaż te katalogi zostały już usunięte.

Tom Cruise był tożsamością dołączoną do wersji beta DeepFaceLive w kwietniu 2021 r., ale od tego czasu najwyraźniej został domyślnie usunięty z pakietu. Można jednak pobrać i zainstalować model wraz z wyszkolonymi modelami wielu innych gwiazd oraz niestandardowymi modelami przeszkolonymi przez użytkowników końcowych.

DeepFaceLive działa wyłącznie jako aplikacja dla systemu Windows 10 i tak jest zgłaszane przez jednego użytkownika, aby dobrze współpracować z transmisją strumieniową na żywo firmy NVIDIA Nadawanie aplikacji.

Uzyskiwanie tożsamości

Użytkownicy nie muszą przechodzić przez żmudny proces gromadzenia materiału twarzy do zbioru danych, po którym następuje 3–10 dni niezbędnych do uzyskania bardzo dobrego dopasowania, ponieważ w często zadawanych pytaniach dotyczących DeepFaceLive stwierdza się, że można używać gotowych „publicznych modeli twarzy” ', które zostały już skompilowane przez innych twórców. W efekcie największym źródłem takich modeli jest Modele przeszkolone na forum (link do archiwum) wątek na stronie pornograficznej mrdeepfakes, który można zobaczyć w użyciu przez jednego z rosyjskich użytkowników końcowych w najnowszy film na YouTube.

Vladislav Pedro za pomocą DeepFaceLive zmienia się w Toma Cruise’a w czasie rzeczywistym. Model, który ładuje do filmu, jest hostowany na serwerze mrdeepfakes i do tej pory był używany do przetwarzania deepfake w trybie offline. Źródło: https://www.youtube.com/watch?v=0TcCKtObSnI

Chociaż najlepsze wyniki można uzyskać, ćwicząc twarz użytkownika końcowego z wybraną gwiazdą, jakość symulacji wydaje się być wprost proporcjonalna do tego, jak bardzo użytkownik końcowy jest podobny do celu. Gdy użytkownik jest stosunkowo dobrze dopasowany do celebryty, można uzyskać przekonujący wynik.

Jak widać z trzech ostatnich podmian Margot Robbie na powyższych obrazach, oprogramowanie nie może dokonać cudu, gdy twarz użytkownika końcowego ma radykalnie odmienne ogólne cechy. Jednak DeepFaceLab również może wykonać całą zamianę głowy, proces całkowicie nadpisujący głowę źródłową, aczkolwiek z ograniczeniami dotyczącymi fryzur. Komentarze na serwerze Discord potwierdzają, że można je zaimplementować także w DeepFaceLive.

DeepFaceLive obsługuje obecnie tylko procesory graficzne NVIDIA, przy czym GTX 750 to najniższy sprzęt, który może uzyskać rozsądny wynik w aplikacji. Na karcie graficznej z 4 GB pamięci VRAM wymaga również 32 GB miejsca na dysku wymiany.

Trening modelki Margot Robbie – obraz napisali na Discordzie DeepFaceLab/DeepFaceLive prowadzonej przez Ivana Petrova. Widzimy tutaj, że źródłowy zbiór danych jest niezwykle zróżnicowany, najwyraźniej z zamiarem stworzenia solidnego i dobrze uogólnionego modelu, który może przekształcić szeroką gamę typów twarzy w wizerunek australijskiej aktorki. Większość zestawów „A” obejmuje zwykle jedną osobę.

Użytkownicy zgłaszają, że DeepFaceLive jest niezwykle wymagający pod względem zasobów sprzętowych, ale Petrov odpowiedział na to, twierdząc, że DeepFaceLive jest przeznaczony dla dobrze wyposażonych komputerów PC pracujących w pomieszczeniach zamkniętych.

DeepFaceLab GitHub już był rozwidlony ponad 6,000 razy, podczas gdy nowy DeepFaceLive ma obecnie 85 widelców.

Możliwe zastosowania

Komentatorzy w wątek (w języku rosyjskim) w rosyjskim serwisie społecznościowym VK.com spekulują na temat możliwych zastosowań DeepFaceLive i wydaje się, że rozpoznał wszystkie prawdopodobne zastosowania tego oprogramowania: jako filtr „anonimizacyjny” lub rekreacyjny w Zoomie i podobnych aplikacjach; jako środek do popełnienia oszustwa lub oszukania osoby oglądającej transmisję na żywo; oraz – być może najprawdopodobniej, biorąc pod uwagę pochodzenie oprogramowania i bazę użytkowników – jako sposób na realizację prostytucji z udziałem celebrytów przy użyciu kamery internetowej (patrz zdjęcie na końcu artykułu).

Możliwość „deepfake dziewcząt przed kamerami” wyłonił w mediach kilka lat temu. W 2020 r. aplikacja Avatarify ogłosił Deepfake funkcjonalność kamery internetowej gwiazd, ale o znacznie wyższej jakości niższy niż standard ustalony przez DeepFaceLab, którym jest obecnie wybrane repozytorium za niedawne chwytanie nagłówków Deepfaker Tom Cruise Chris Ume, a także wysokiej klasy firmy zajmujące się produkcją filmową i telewizyjną na całym świecie.

DeepFaceLab, aplikacja zalążkowa DeepFaceLive i zgłaszane (w języku rosyjskim) platforma dla 95% wszystkich deepfakesów na YouTube to także oprogramowanie używane przez Shamooka, deepfakera, którego niezwykłe praca na temat poprawy gościnnego występu Luke'a Skywalkera w The Mandalorian, który niedawno zainspirował Lucasfilm go zatrudnić jako konsultant ds. efektów wizualnych.

Dostosowane do ograniczeń Deepfake

Metodologia oprogramowania deepfake, takiego jak DeepFaceLab i Zamiana twarzy jest dobrze obsługiwany przez typowe środowisko kamery internetowej i usuwa wiele przeszkód dla autentyczności, które nadal mogą nękać deepfake offline.

Na przykład deepfakes działają mniej przekonująco, gdy użytkownik odwraca się do profilu (lub podnosi wzrok), porusza się szybko lub podlega zmianom sceny lub nagłym zmianom oświetlenia.

Dlatego „statyczny” charakter typowego połączenia Zoom lub kamery internetowej wykorzystuje mocne strony oprogramowania. Wiele z najbardziej szanowanych przykładów oszustw typu deepfake z ostatnich trzech lat przedstawiało głośniki zwrócone bezpośrednio w stronę kamery i poruszające się bardzo niewiele w ograniczonym otoczeniu, jak na przykład narzucanie Jennifer Lawrence Steve’a Buscemiego podczas oscarowego przemówieniaoraz przekształcanie różnych programów politycznych „do kamery”.

Prawdopodobnie najbardziej prawdopodobne użycie domyślnego modelu Margot Robbie zawartego w DeepFaceLive – film z testu implementacji kamery opublikowany na Discordzie DeepFaceLab przez rosyjskiego użytkownika „NoFace”.

Poprawiono 8:52, 7 sierpnia – Poprawione nazwisko.
Poprawiono 8 sierpnia o 30:8 – dodano obrazy z Discorda.