Kąt Andersona

Dlaczego Deepfakes Nie Mogą Obecnie Przekazywać Subtelności Emocji

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
The Book of Boba Fett - Disney
Kluczowe punktyDeepfake'om brakuje danych o topologii twarzy potrzebnych do dopasowania subtelnych…
Zobacz więcej
  • Deepfake'om brakuje danych o topologii twarzy potrzebnych do dopasowania subtelnych emocji między tożsamością źródłową a docelową.
  • Niedopasowania danych treningowych zmuszają modele deepfake do niedouczenia lub przetrenowania w przypadku rzadkich par ekspresji.
  • Proces enkoder-dekoder poświęca wierność ekspresji na rzecz generalizacji, generując emocjonalnie niedopasowane wyniki.

Wczorajsza premiera szóstego odcinka spin-offu Star Wars, The Book of Boba Fett, zdaje się dzielić opinie fanów. Choć przyjęto go na ogół z uznaniem, w mediach społecznościowych powszechnie zakłada się, że znacznie lepsza rekonstrukcja odmłodzonego Marka Hamilla — w porównaniu z poprzednim występem postaci w finale drugiego sezonu The Mandalorian w 2020 roku — wynika bezpośrednio z zatrudnienia przez Industrial Light and Magic amatorskiego twórcy deepfake’ów Shamooka, który znacznie ulepszył ich pracę za pomocą oprogramowania open source. Zakłada się również, że wizerunek postaci musi łączyć technologię deepfake z ewentualnymi poprawkami CGI.

Potwierdzenie tych przypuszczeń jest na razie ograniczone, a Shamook niewiele mówił publicznie od czasu objęcia go umową o poufności z ILM. Niemniej rezultat jest nadzwyczajną poprawą w stosunku do CGI z 2020 roku: ma pewną „gładkość i połysk” charakterystyczne dla modeli deepfake wyuczonych na archiwalnych materiałach i ogólnie odpowiada najlepszym obecnym standardom wizualnym deepfake’ów.

Drugi nurt opinii fanów wskazuje, że nowa wersja „młodego Luke’a” ma inny zestaw wad niż poprzednia. Szczególnie wymowny brak ekspresji oraz subtelnych, odpowiednich emocji w bardzo długich sekwencjach z nową rekonstrukcją Skywalkera jest bardziej typowy dla deepfake’ów niż CGI. The Verge opisał symulację z Boba Fett jako „niesamowicie niepokojący, pusty wyraz twarzy Marka Hamilla zastygłej w 1983 roku”.

Niezależnie od technologii nowej rekonstrukcji ILM transformacje deepfake mają zasadniczy problem z subtelnością emocji. Trudno go rozwiązać zmianami architektury czy ulepszeniem materiału treningowego. Twórcy popularnych deepfake’ów zwykle obchodzą go, starannie wybierając docelowe nagranie.

Ograniczenia wyrównywania twarzy

Dwa najczęściej używane repozytoria wolnego i otwartego oprogramowania deepfake to DeepFaceLab (DFL) i FaceSwap. Oba wywodzą się z anonimowego, kontrowersyjnego kodu źródłowego z 2017 roku. DFL ma ogromną przewagę w branży efektów wizualnych, mimo ograniczonej funkcjonalności.

Każdy pakiet najpierw wyodrębnia punkty orientacyjne z twarzy rozpoznanych w materiale źródłowym, czyli klatkach filmowych lub zdjęciach.

Sieć Facial Alignment Network (FAN) Adriana Bulata w działaniu, z oficjalnego repozytorium. Źródło: https://github.com/1adrianb/face-alignment

Facial Alignment Network (FAN) w działaniu, z oficjalnego repozytorium. Źródło: https://github.com/1adrianb/face-alignment

DFL i FaceSwap korzystają z biblioteki Facial Alignment Network (FAN). FAN tworzy punkty orientacyjne 2D i 3D dla wyodrębnionych twarzy, co widać powyżej. Punkty 3D mogą w znacznym stopniu uwzględniać postrzeganą orientację twarzy, nawet skrajne profile i stosunkowo ostre kąty.

Są to jednak bardzo podstawowe wskazówki do wyznaczania granic i oceny pikseli:

Z forum FaceSwap: przybliżone wskazanie dostępnych punktów orientacyjnych rysów twarzy. Źródło: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Z forum FaceSwap: przybliżone wskazanie dostępnych punktów orientacyjnych rysów twarzy. Źródło: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Uwzględnione są najbardziej podstawowe rysy: oczy mogą się rozszerzać i zamykać, podobnie jak szczęka; można śledzić i dostosowywać podstawowe układy ust, takie jak uśmiech czy grymas. Twarz może obracać się w dowolnym kierunku do około 200 stopni z punktu widzenia kamery.

Poza tym są to dość zgrubne granice zachowania pikseli, a zarazem jedyne naprawdę matematyczne i precyzyjne wytyczne dotyczące twarzy w całym procesie deepfake. Sam trening po prostu porównuje układ pikseli wewnątrz tych granic lub w ich pobliżu.

Trening w DeepFaceLab. Źródło: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Trening w DeepFaceLab. Źródło: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Ponieważ nie uwzględnia się topologii części twarzy — wypukłości i wklęsłości policzków, oznak starzenia, dołeczków itd. — nie można nawet spróbować dopasowania takich subtelnych podcech między tożsamością źródłową („twarzą, którą chcemy zastąpić”) a docelową („twarzą, którą chcemy wkleić”).

Radzenie sobie z ograniczonymi danymi

Uzyskanie dopasowanych danych dwóch tożsamości do treningu deepfake’ów nie jest łatwe. Im bardziej nietypowy kąt trzeba dopasować, tym większy może być konieczny kompromis co do tego, czy to rzadkie dopasowanie kąta między A i B rzeczywiście przedstawia ten sam wyraz twarzy.

Blisko, ale nie jest to dokładne dopasowanie.

Blisko, ale nie jest to dokładne dopasowanie.

Powyżej obie tożsamości mają dość podobny układ, ale to najbliższe dokładnemu dopasowaniu, na jakie pozwala ten zbiór.

Pozostają wyraźne różnice: kąt, obiektyw i oświetlenie nie są identyczne; osoba A nie ma całkowicie zamkniętych oczu, w przeciwieństwie do B; jakość obrazu i kompresja są gorsze u A; a osoba B wydaje się znacznie szczęśliwsza od A.

Jednak to cały dostępny materiał, więc i tak trzeba na nim trenować.

Ponieważ para A><B zawiera tyle nietypowych elementów, podobnych par jest w zbiorze niewiele albo wcale. Trening doprowadzi więc do niedopasowania albo nadmiernego dopasowania.

Niedopasowanie: Jeśli ta para stanowi rzeczywistą mniejszość — zbiór nadrzędny jest duży i rzadko zawiera cechy tych zdjęć — otrzyma niewiele czasu treningowego w porównaniu z popularniejszymi, łatwymi lub neutralnymi parami. Taki kąt i wyraz twarzy nie będą dobrze reprezentowane w deepfake’u wygenerowanym przez wytrenowany model.

Nadmierne dopasowanie: Z powodu niedoboru dopasowanych danych takich rzadkich par A><B twórcy czasem wielokrotnie duplikują parę w zbiorze, zwiększając szansę, że stanie się cechą końcowego modelu. Prowadzi to do nadmiernego dopasowania: filmy utworzone modelem mogą pedantycznie powtarzać rozbieżności między zdjęciami, np. różny stopień zamknięcia oczu.

Poniżej widać trening Władimira Putina w DeepFaceLab w celu zastąpienia Kevina Spaceya. Trening jest już stosunkowo zaawansowany: 160 000 iteracji.

Źródło: https://i.imgur.com/OdXHLhU.jpg (pierwotnie ze strony, której nie mogę tu podlinkować).

Źródło: https://i.imgur.com/OdXHLhU.jpg

Przypadkowy obserwator mógłby stwierdzić, że Putin wygląda w tych próbach na nieco bardziej nieobecnego niż Spacey. Sprawdźmy, jak program rozpoznawania emocji online interpretuje rozbieżności wyrazów twarzy:

Źródło: https://www.noldus.com/facereader/measure-your-emotions

Źródło: https://www.noldus.com/facereader/measure-your-emotions

Według tej konkretnej „wyroczni”, analizującej znacznie dokładniejszą topografię twarzy niż DFL i FaceSwap, Spacey jest mniej zły, zniesmaczony i pogardliwy niż wygenerowany deepfake Putina w tej parze.

Nierówne wyrazy twarzy są częścią nierozdzielonego pakietu: popularne aplikacje deepfake nie potrafią rejestrować ani dopasowywać wyrazów twarzy lub emocji, poza niejawnie wynikającym z surowego odwzorowania piksel>piksel.

Dla nas różnice są ogromne. Uczymy się odczytywać wyrazy twarzy jako podstawową umiejętność przetrwania od najmłodszych lat. W dorosłości nadal polegamy na niej w integracji społecznej, awansie, doborze partnera i ciągłej ocenie zagrożeń. Skoro jesteśmy tak wyczuleni na mikroekspresje, technologia deepfake będzie musiała je uwzględnić.

Pod prąd

Choć rewolucja deepfake obiecuje umieszczanie klasycznych gwiazd filmowych we współczesnych filmach i serialach, AI nie może cofnąć czasu i ponownie nakręcić ich dawnych dzieł w bardziej odpowiedniej rozdzielczości i jakości, co ma zasadnicze znaczenie dla tego zastosowania.

Zakładając — a dla naszych celów nie ma znaczenia, czy to prawda — że rekonstrukcja Hamilla w Boba Fett powstała głównie dzięki wytrenowanemu modelowi deepfake, zbiór treningowy musiałby korzystać z materiału z okresu bliskiego czasowi akcji serialu: Hamilla nieco po trzydziestce, około produkcji Return of the Jedi w latach 1981-83.

Film nakręcono na negatywie Eastman Color Negative 250T 5293/7293, emulsji 250ASA uznawanej wówczas za średnio- lub drobnoziarnistą. Jednak już pod koniec lat osiemdziesiątych inne materiały przewyższały ją klarownością, zakresem barw i wiernością obrazu. To taśma swojej epoki, a operowy rozmach Jedi pozostawiał niewiele zbliżeń nawet głównym aktorom. Ziarno staje się więc jeszcze istotniejszym problemem, bo twarze zajmują tylko część kadru.

Różne sceny z Hamillem w Return of the Jedi (1983).

Różne sceny z Hamillem w Return of the Jedi (1983).

Ponadto znaczna część ujęć z Hamillem obfitujących w efekty wizualne przeszłaby przez kopiarkę optyczną, co zwiększa ziarno. Dostęp do archiwów Lucasfilm mógłby jednak rozwiązać problem: prawdopodobnie dobrze zadbano tam o oryginalne negatywy i mogą być dostępne godziny dodatkowych, niewykorzystanych surowych ujęć.

Czasem można wykorzystać materiał z kilku lat pracy aktora, by zwiększyć i urozmaicić zbiór deepfake. W przypadku Hamilla ograniczeniem jest zmiana wyglądu po wypadku samochodowym w 1977 roku oraz niemal natychmiastowe rozpoczęcie drugiej kariery jako ceniony aktor głosowy po Jedi. Materiał źródłowy jest zatem stosunkowo skąpy.

Ograniczony zakres emocji?

Jeśli aktor odtworzony przez deepfake ma grać bardzo ekspresyjnie, potrzebne są źródłowe nagrania o niezwykle szerokim zakresie wyrazów twarzy. Jedyne dostępne materiały z odpowiedniego wieku mogą nie zawierać wielu z nich.

Gdy na przykład nadeszły wydarzenia z Return of the Jedi , postać Hamilla w znacznej mierze panowała już nad emocjami — to rozwój kluczowy dla mitologii oryginalnej serii. Tworząc model Hamilla z danych z Jedi, trzeba więc pracować z bardziej ograniczonym zakresem emocji i niezwykłym opanowaniem mimiki wymaganym wówczas przez rolę, w porównaniu z wcześniejszymi częściami.

Nawet sceny z Return of the Jedi, w których Skywalker odczuwa stres i mógłby dostarczyć szerszego zakresu ekspresji, pokazują twarz krótko, z rozmyciem ruchu i szybkim montażem typowym dla scen akcji. Dane pozostają więc dość niezrównoważone.

Uogólnianie: łączenie emocji

Jeśli rekonstrukcja Skywalkera w Boba Fett rzeczywiście jest deepfake’em, zarzucany jej brak różnorodności ekspresji nie wynikałby wyłącznie z ograniczonego materiału źródłowego. Trening enkodera-dekodera szuka uogólnionego modelu, który wydobywa główne cechy z tysięcy obrazów i może przynajmniej spróbować odtworzyć kąt nieobecny lub rzadki w danych.

Bez tej elastyczności architektura deepfake po prostu kopiowałaby i wklejała podstawowe przekształcenia w każdej klatce bez uwzględniania kontekstu i dostosowania w czasie.

Bolesną ceną wszechstronności jest jednak możliwa utrata wierności ekspresji. Nawet wyrazy twarzy, które są subtelne, mogą nie być właściwe. Wszyscy gramy naszymi twarzami niczym stuosobowymi orkiestrami i jesteśmy do tego dobrze przygotowani, podczas gdy oprogramowaniu deepfake brakuje zapewne co najmniej sekcji smyczkowej.

Różnice afektu w wyrazach twarzy

Ruchy twarzy i ich wpływ na nas nie tworzą jednolitego języka dla wszystkich twarzy. Uniesiona brew, która u Rogera Moore’a wygląda nonszalancko, u Setha Rogana może wydać się mniej wyrafinowana. Uwodzicielski urok Marilyn Monroe może przejść w bardziej negatywną emocję, jeśli zostanie przeniesiony na osobę, której najobficiej udokumentowana rola jest „zła” lub „niezadowolona”, jak postać Aubrey Plazy przez siedem sezonów Parks and Recreation.

Równoważność piksel><piksel między zestawami twarzy A/B nie musi więc pomagać. Tylko to jednak oferuje najnowocześniejsze wolne oprogramowanie deepfake.

Potrzebna jest zapewne architektura, która nie tylko rozpoznaje wyrazy twarzy i wnioskuje o emocjach, lecz także reprezentuje pojęcia wyższego poziomu, takie jak złość, uwodzicielskość, znudzenie i zmęczenie. Powinna kategoryzować te emocje i odpowiadające im wyrazy w obu tożsamościach zestawów twarzy zamiast tylko badać i powielać układ ust czy powieki.

 
 
Pierwsza publikacja 3 lutego 2022 roku. Aktualizacja o 19:47 EET: poprawiono błędne przypisanie nazwiska.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai