Rozdzielenie to następna rewolucja Deepfake

Augmentacja danych CGI jest wykorzystywana w nowym projekcie, aby uzyskać większą kontrolę nad obrazami Deepfake. Chociaż nadal nie można skutecznie używać głów CGI, aby wypełnić brakujące luki w zbiorach danych Deepfake, nowa fala badań nad rozdzieleniem tożsamości od kontekstu oznacza, że wkrótce może się to zmienić.

Twórcy niektórych z najbardziej udanych filmów Deepfake z ostatnich kilku lat wybierają swoje filmy źródłowe bardzo starannie, unikając trwałych ujęć profilowych (tj. rodzaju bokowych zdjęć popularnych w procedurach aresztowania policyjnego), ostrych kątów i niezwykłych lub wyolbrzymionych wyrazów twarzy. Coraz częściej filmy demonstracyjne produkowane przez twórców Deepfake są edytowanymi kompilacjami, które wybierają “najłatwiejsze” kąty i wyrazy twarzy do Deepfake.

W rzeczywistości najbardziej dogodnym filmem docelowym, w którym można wstawić Deepfake słynnej osoby, jest taki, w którym osoba oryginalna (której tożsamość zostanie wymazana przez Deepfake) patrzy prosto w kamerę, z minimalnym zakresem wyrazów twarzy.

Większość popularnych Deepfake z ostatnich lat pokazała osoby patrzące prosto w kamerę, z wyrazami twarzy, które mogą być łatwo wyodrębnione z wyjścia paparazzi z czerwonego dywanu, lub (jak w przypadku fałszywego Sylvester Stallone jako Terminatora z 2019 roku, pokazanego po lewej stronie), idealnie bez wyrazu twarzy, ponieważ wyrazy twarzy neutralne są bardzo powszechne, co sprawia, że są łatwe do wbudowania w modele Deepfake.

Ponieważ technologie Deepfake, takie jak DeepFaceLab i FaceSwap, wykonują te proste zamiany bardzo dobrze, jesteśmy wystarczająco oczarowani tym, co osiągają, aby nie zauważyć, czego nie są w stanie zrobić, i – często – nawet nie próbujemy.

Zrzuty z nagradzanego filmu Deepfake, w którym Arnold Schwarzenegger jest przekształcony w Sylvester Stallone – chyba że kąty są zbyt trudne. Profile pozostają trwałym problemem w przypadku bieżących podejść Deepfake, częściowo dlatego, że oprogramowanie open source wykorzystywane do określania pozy pozycji twarzy w ramach Deepfake nie jest zoptymalizowane pod kątem widoku bocznego, ale głównie ze względu na brak odpowiednich danych źródłowych w jednym lub obu wymaganych zbiorach danych. Source: https://www.youtube.com/watch?v=AQvCmQFScMA

Nowe badania z Izraela proponują nową metodę wykorzystania danych syntetycznych, takich jak głowy CGI, aby wprowadzić Deepfake do lat 20. XXI wieku, poprzez prawdziwe rozdzielenie tożsamości twarzy (tj. podstawowych cech twarzy “Toma Cruise’a”) od ich kontekstu (tj. patrząc w górę, patrząc na bok, skubiąc, skubiąc w ciemności, zmarszczony, zamknięte oczy, itp.).

Nowy system dyskretnie oddziela pozą i kontekst (tj. mrugnięcie okiem) od kodowania tożsamości osoby, wykorzystując niespowiązane dane twarzy syntetycznej (pokazane po lewej stronie). W górnym rzędzie widzimy “mrugnięcie” przeniesione na tożsamość Baracka Obamy, spowodowane przez nauczoną nieliniową ścieżkę przestrzeni latentnej GAN, reprezentowaną przez obraz CGI po lewej stronie. W rzędzie poniżej widzimy przeniesiony róg ust na byłego prezydenta. Na dole po prawej stronie widzimy obie cechy stosowane jednocześnie. Source: https://arxiv.org/pdf/2111.08419.pdf

To nie jest zwykłe manipulowanie głową Deepfake, technika bardziej odpowiednia dla awatarów i częściowej synchronizacji ust, która ma ograniczony potencjał dla pełnoprawnych transformacji filmowych Deepfake.

Raczej reprezentuje to sposób do przodu dla podstawowego rozdzielenia instrumentarium (takiego jak ‘zmień kąt głowy’, ‘utwórz zmarszczkę’) od tożsamości, oferując ścieżkę do wysokiego poziomu, a nie “pochodnego” ramienia Deepfake opartego na syntezie obrazu.

Nowy artykuł nosi tytuł Delta-GAN-Encoder: Kodowanie zmian semantycznych do jawnej edycji obrazu, przy użyciu niewielu syntetycznych próbek, i pochodzi od badaczy z Technion – Izraelskiego Instytutu Technologicznego.

Aby zrozumieć, co oznacza to badanie, przyjrzyjmy się, jak Deepfake są obecnie produkowane, od stron Deepfake do Industrial Light and Magic (ponieważ repozytorium open source DeepFaceLab jest obecnie dominujące zarówno w “amatorskim”, jak i profesjonalnym Deepfakingu).

Co powstrzymuje obecnie technologię Deepfake?

Deepfake są obecnie tworzone przez szkolenie modelu maszynowego encoder/decoder na dwóch folderach z obrazami twarzy – osobą, którą chcesz “pomalować” (w poprzednim przykładzie, to Arnie) i osobą, którą chcesz nałożyć na film (Sly).

Przykłady różnych pozy i warunków oświetlenia w dwóch różnych zbiorach twarzy. Zwróć uwagę na charakterystyczny wyraz twarzy na końcu trzeciego rzędu w kolumnie A, który nie ma bliskiego odpowiednika w innym zbiorze danych.

System encoder/decoder porównuje każdy obraz w każdym folderze z każdym innym, utrzymując, poprawiając i powtarzając tę operację przez setki tysięcy iteracji (często przez cały tydzień), aż zrozumie podstawowe cechy obu tożsamości wystarczająco dobrze, aby je swobodnie zamieniać.

Dla każdej z dwóch osób, które są zamieniane w procesie, to, czego deepfake architektura uczy się o tożsamości, jest powiązane z kontekstem. Nie może nauczyć się i zastosować zasad dotyczących ogólnej pozy “raz na zawsze”, ale potrzebuje wielu przykładów w zbiorze danych szkoleniowych, dla każdej tożsamości, która będzie zaangażowana w zamianę twarzy.

Dlatego, jeśli chcesz zamienić dwie tożsamości, które robią coś bardziej nietypowego niż tylko uśmiech lub patrzenie prosto w kamerę, będziesz potrzebować wielu przypadków tej pozy/tożsamości w obu zbiorach danych:

Ponieważ cechy twarzy i pozy są obecnie tak ściśle powiązane, potrzebna jest szeroka zgodność wyrazu twarzy, pozy głowy i (w mniejszym stopniu) oświetlenia w dwóch zbiorach danych twarzy, aby przeszkolić skuteczny model Deepfake na systemach takich jak DeepFaceLab. Im mniej konkretna konfiguracja (taka jak “widok z boku/uśmiech/światło słoneczne”) jest uwzględniona w obu zbiorach danych, tym mniej dokładnie będzie renderowana w filmie Deepfake, jeśli będzie potrzebna.

Jeśli zestaw A zawiera nietypową pozę, ale zestaw B jej nie ma, jesteś praktycznie bez szans; niezależnie od tego, jak długo trenujesz model, nigdy nie nauczy się odtwarzać tej pozy między tożsamościami, ponieważ miał tylko połowę niezbędnych informacji podczas treningu.

Even if you do have matching images, it may not be enough: if set A has the matching pose, but with harsh side-lighting, compared to the flat-lit equivalent pose in the other face-set, the quality of the swap won’t be as good as if each shared common lighting characteristics.

Dlaczego dane są rzadkie

Chyba że często zostaniesz aresztowany, prawdopodobnie nie masz zbyt wielu zdjęć profilowych. Jakiekolwiek, które się pojawiły, prawdopodobnie wyrzuciłeś. Ponieważ agencje zdjęciowe robią to samo, zdjęcia profilowe są trudne do znalezienia.

Twórcy Deepfake często włączają wiele kopii ograniczonych danych profilowych, które mają dla tożsamości w zbiorze danych twarzy, po prostu aby ta poza dostała choć trochę uwagi i czasu podczas treningu, zamiast być dyskontowanym jako outlier.

However, there are many more possible types of side-view face pictures than are likely to be available for inclusion in a dataset – smiling, frowning, screaming, crying, darkly-lit, scornful, bored, cheerful, flash-lit, looking up, looking-down, eyes open, eyes shut…and so on. Any of these poses, in multiple combinations, could be needed in a target deepfake target video.

And that’s just profiles. How many pictures do you have of yourself looking straight up? Do you have enough to broadly represent the 10,000 possible expressions you might be wearing while holding that exact pose from that exact camera angle, covering at least some of the one million possible lighting environments?

Chances are, you don’t even have one picture of yourself looking up. And that’s just two angles out of the hundred or more needed for full coverage.

Even if it were possible to generate full coverage of a face from all angles under a range of lighting conditions, the resulting dataset would be far too large to train, in the order of hundreds of thousands of pictures; and even if it could be trained, the nature of the training process for current deepfake frameworks would throw away the vast majority of that extra data in favor of a limited number of derived features, because the current frameworks are reductionist, and not very scalable.

Wzajemne zastąpienie syntetyczne

Od początku Deepfake, twórcy Deepfake eksperymentowali z wykorzystaniem obrazów w stylu CGI, głów stworzonych w aplikacjach 3D, takich jak Cinema4D i Maya, aby wygenerować te “brakujące pozy”.

No AI necessary; an actress is recreated in a traditional CGI program, Cinema 4D, using meshes and bitmapped textures – technology that dates back to the 1960s, though achieving widespread usage only from the 1990s on. In reality, it’s been of limited or no use in deepfaking, since the ‘fakeness’ of the renders tends to bleed  through in swapped videos. Source: This article author’s image at https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

This method is generally abandoned early by new deepfake practitioners, because although it can provide poses and expressions that are otherwise unavailable, the synthetic appearance of the CGI faces usually bleeds through to the swaps due to entanglement of ID and contextual/semantic information.

This can lead to the sudden flashing of ‘uncanny valley’ faces in an otherwise convincing deepfake video, as the algorithm begins to draw on the only data it may have for an unusual pose or expression – manifestly fake faces.

Among the most popular subjects for deepfakers, a 3D deepfake algorithm for Australian actress Margot Robbie is included in the default installation of DeepFaceLive, a version of DeepFaceLab that can perform deepfakes in a live-stream, such as a webcam session. A CGI version, as pictured above, could be used to obtain unusual ‘missing’ angles in deepfake datasets. Source: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Twarze CGI jako oddzielone, konceptualne wytyczne

Zamiast tego, nowa metoda Delta-GAN Encoder (DGE) od izraelskich badaczy jest bardziej skuteczna, ponieważ informacje o pozie i kontekście z obrazów CGI zostały całkowicie oddzielone od “informacji o tożsamości” celu.

We can see this principle in action in the image below, where various head orientations have been obtained by using the CGI imagery as a guideline. Since the identity features are unrelated to the contextual features, there is no bleed-through either of the fake-looking synthetic appearance of the CGI face, nor of the identity depicted in it:

With the new method, you don’t need to find three separate real-life source pictures to enact a deepfake from multiple angles – you can just rotate the CGI head, whose high-level abstract features are imposed onto the identity without leaking any ID information.

Delta-GAN-Encoder. Top left group: the angle of a source image can be changed in a second to render a new source image, which is reflected in the output; top-right group: lighting is also disentangled from identity, allowing the superimposition of lighting styles; bottom-left group: multiple facial details are altered to create a ‘sad’ expression; bottom-right group: one single facial expression detail is changed, so that the eyes are squinting.

This separation of identity and context is achieved in the training stage. The pipeline for the new deepfake architecture seeks out the latent vector in a pre-trained Generative Adversarial Network (GAN) that matches the image to be transformed — a Sim2Real methodology that builds on a 2018 project from IBM’s AI research section.

The researchers observe:

‘With only a few samples, which differ by a specific attribute, one can learn the disentangled behavior of a pre-trained entangled generative model. There is no need for exact real-world samples to reach that goal, which is not necessarily feasible.

‘By using non-realistic data samples, the same goal can be achieved thanks to leveraging the semantics of the encoded latent vectors. Applying wanted changes over existing data samples can be done with no explicit latent space behavior exploration.’

The researchers anticipate that the core principles of disentanglement explored in the project could be transferred to other domains, such as interior architecture simulations, and that the Sim2Real method adopted for Delta-GAN-Encoder could eventually enable deepfake instrumentality based on mere sketches, rather than CGI-style input.

It could be argued that the extent to which the new Israeli system might or might not be able to synthesize deepfake videos is far less significant than the progress the research has made in disentangling context from identity, in the process gaining more control over the latent space of a GAN.

Disentanglement is an active field of research in image synthesis; in January of 2021, an Amazon-led research paper demonstrated similar pose-control and disentanglement, and in 2018 a paper from the Shenzhen Institutes of Advanced Technology at the Chinese Academy of Sciences made progress in generating arbitrary viewpoints in a GAN.