Transmisja na żywo DeepFake z DeepFaceLive

Najczęściej używane oprogramowanie do tworzenia deepfake’ów, a także to, które jest najbardziej kojarzone z deepfake’ami pornograficznymi, otrzymało nową implementację – możliwość nakładania deepfake’ów na żywo na nagrania z kamery internetowej.

Repozytorium open source DeepFaceLive to aplikacja systemu Windows 10, zbudowana na podstawie DeepFaceLab, która szybko stała się wiodącym źródłem tworzenia deepfake’ów pornograficznych po tym, jak twórca oryginalnego oprogramowania do tworzenia deepfake’ów porzucił projekt krótko po tym, jak deepfaking wywołał kontrowersje na całym świecie w 2018 roku. Obie projekty wskazują sekcję forum witryny mrdeepfakes jako oficjalne źródło wsparcia.

W nagraniu interfejsu DeepFaceLive opublikowanym przez developera Ivana Petrova w kwietniu, widzimy pobrane nagranie impersonatora Milesa Fishera, przekształcone w Toma Cruise’a w czasie rzeczywistym. Źródło: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Wczoraj lider obu projektów, rosyjski developer Ivan Petrov, ogłosił nową wersję DeepFaceLive na kanale Discord projektu, zauważając, że DeepFaceLive teraz zawiera wstępnie wytrenowany model aktorki Margot Robbie, która jest częstym tematem filmów pornograficznych na mrdeepfakes.

Cztery przykładowe klipy wideo zostały przesłane w celu zademonstrowania możliwości DeepFaceLive do przyłączenia tożsamości Robbie do każdego mówcy w strumieniu kamery internetowej.

Jeden z przykładów demonstracji Margot Robbie w czasie rzeczywistym. Źródło: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Nagrania z przekształceniami Robbie były pierwotnie udostępnione na Twitch, ale następnie usunięte.

Trzy inne przykłady faceswappingu dostarczone przez DeepFaceLive. Wymóg przybliżonego dopasowania twarzy z celem jest nadal widoczny. Na dolnym lewym zdjęciu widzimy, że oprogramowanie nie może skutecznie maskować przeszkód, co można osiągnąć w DeepFaceLab, ponieważ wymaga tworzenia masek w aplikacji XSeg DeepFaceLab, co nie może być zastosowane do fałszerstw w czasie rzeczywistym.

Dodatkowy model domyślny, brytyjskiego komika i aktora Rowana Atkinsona, ma zostać udostępniony dla DeepFaceLive wkrótce. Początkowo repozytorium DeepFaceLive zawierało kategorię CELEB_MODEL, w której można było pobrać innych celebrytów, w tym Toma Cruise’a, jako pliki Open Neural Network Exchange (.onnx), chociaż te katalogi zostały od tego czasu usunięte.

Tom Cruise był wbudowaną tożsamością dla wersji beta DeepFaceLive w kwietniu 2021 roku, ale od tego czasu wydaje się, że został usunięty jako domyślny w pakiecie. Jednak model może być pobrany i zainstalowany, wraz z wstępnie wytrenowanymi modelami wielu innych celebrytów i niestandardowymi modelami wytrenowanymi przez użytkowników końcowych.

DeepFaceLive działa wyłącznie jako aplikacja systemu Windows 10 i jest raportowany przez jednego użytkownika, aby dobrze działać z aplikacją NVIDIA Broadcast.

Pobieranie tożsamości

Użytkownicy nie muszą przechodzić przez czasochłonne procesy gromadzenia materiału twarzowego do zestawu danych, a następnie 3-10 dni niezbędnych do uzyskania bardzo dobrej pasującej, ponieważ FAQ dla DeepFaceLive stanowi, że może on używać gotowych “publicznych modeli twarzy”, które zostały już skompilowane przez innych twórców. W praktyce największym źródłem takich modeli jest wątek Forum-Trained Models (link archiwalny) na stronie mrdeepfakes, który można zobaczyć w użyciu przez jednego rosyjskiego użytkownika w nagranym filmie wideo.

Vladislav Pedro używa DeepFaceLive, aby przekształcić się w Toma Cruise’a w czasie rzeczywistym. Model, który ładuje w nagraniu, jest hostowany na mrdeepfakes i był używany do tej pory do offline przetwarzania deepfake’ów. Źródło: https://www.youtube.com/watch?v=0TcCKtObSnI

Chociaż najlepsze wyniki będą uzyskane przez wytrenowanie twarzy użytkownika wobec celu, jakość symulacji wydaje się być wprost proporcjonalna do tego, jak dobrze użytkownik przypomina celebrytę. Kiedy użytkownik jest względnie dobrze dopasowany do celebryty, można uzyskać przekonujący wynik.

Jak jest widoczne w trzech ostatnich zamianach Margot Robbie na zdjęciach powyżej, oprogramowanie nie może wykonać cudów, gdy twarz użytkownika ma radykalnie różne cechy ogólne. Jednak DeepFaceLab może również wykonać całe zamiany głów, proces, który całkowicie nadpisuje źródłową głowę, chociaż z ograniczeniami w odniesieniu do fryzur. Komentarze na serwerze Discord potwierdzają, że można je również zaimplementować w DeepFaceLive.

DeepFaceLive obecnie obsługuje tylko karty graficzne NVIDIA, z GTX 750 jako najniższym sprzętem, który może uzyskać rozsądną jakość z aplikacją. Na karcie graficznej z 4 GB pamięci VRAM wymaga również 32 GB miejsca na dysku swap.

Trenowanie modelu Margot Robbie – obraz opublikowany na kanale Discord DeepFaceLab/DeepFaceLive przez Ivana Petrova. Tutaj widzimy, że zestaw danych źródłowych jest niezwykle różnorodny, wydaje się, że z zamiarem stworzenia solidnego i dobrze uogólnionego modelu, który może przekształcić szeroki zakres typów twarzy w obraz australijskiej aktorki. Większość zestawów “A” jest zwykle jednego osobnika.

Użytkownicy zgłaszają, że DeepFaceLive jest niezwykle wymagający pod względem zasobów sprzętowych, ale Petrov odpowiedział na to, twierdząc, że DeepFaceLive jest przeznaczony dla dobrze wyposażonych komputerów w środowisku wewnętrznym.

Repozytorium DeepFaceLab na GitHub zostało rozwidlane ponad 6 000 razy, podczas gdy nowy DeepFaceLive ma obecnie 85 rozwidłań.

Mozliwe zastosowania

Komentatorzy w wątku (język rosyjski) na rosyjskiej stronie VK.com spekulują na temat możliwych zastosowań DeepFaceLive i wydają się mieć pojęcie o wszystkich prawdopodobnych zastosowaniach oprogramowania: jako “anonimizacja” lub rekacyjny filtr w aplikacjach takich jak Zoom; jako środek do popełnienia oszustwa lub wprowadzenia w błąd osoby oglądającej transmisję na żywo; i – być może najbardziej prawdopodobne, w świetle pochodzenia oprogramowania i bazy użytkowników – jako środek do wdrożenia deepfake’ów opartych na celebrytach w webcamowych pracach seksualnych (patrz obraz na końcu artykułu).

Możliwość “deepfake cam girls” pojawiła się w mediach parę lat temu. W 2020 roku aplikacja Avatarify ogłosiła funkcjonalność deepfake’ów celebrytów na żywo, ale na poziomie znacznie niższym niż standard ustanowiony przez DeepFaceLab, który jest teraz repozytorium wyboru dla nagłówków Toma Cruise’a oraz firm produkcyjnych filmów i telewizji na całym świecie.

DeepFaceLab, aplikacja macierzysta dla DeepFaceLive i raportowana (język rosyjski) struktura dla 95% wszystkich deepfake’ów na YouTube, jest również oprogramowaniem używanym przez Shamook, deepfakera, którego niezwykła praca nad poprawą gościnnej roli Luke’a Skywalkera w The Mandalorian niedawno zainspirowała Lucasfilm do zatrudnienia go jako konsultanta VFX.

Przystosowany do ograniczeń deepfake’ów

Metodologia oprogramowania deepfake, takiego jak DeepFaceLab i FaceSwap, jest dobrze obsługiwana przez typowe środowisko kamery internetowej i usuwa wiele przeszkód do autentyczności, które mogą nadal dotyczyć deepfake’ów offline.

Na przykład, deepfakes działają mniej przekonująco, gdy użytkownik obraca się w profilu (lub patrzy w górę), porusza się szybko lub jest poddawany zmianom sceny lub nagłym zmianom oświetlenia.

Dlatego “statyczna” natura typowego połączenia Zoom lub kamery internetowej odgrywa na korzyść oprogramowania. Wiele z najbardziej szanowanych przykładów deepfake’ów w ciągu ostatnich trzech lat zawierało mówców patrzących prosto w kamerę i poruszających się bardzo mało w środowisku ograniczonym, takim jak nałożenie Steve’a Buscemi na Jennifer Lawrence podczas przemówienia na Oscarach, oraz transformacja różnych “do kamery” transmisji politycznych.

Najbardziej prawdopodobne zastosowanie domyślnego modelu Margot Robbie w DeepFaceLive – film testowy opublikowany na kanale Discord DeepFaceLab przez rosyjskiego użytkownika ‘NoFace’.

Zmieniono 8:52 pm 7 sierpnia – Poprawiono nazwisko.
Zmieniono 8:30 pm 8 sierpnia – dodano obrazy z Discord.