Dlaczego Deepfakes Nie Mogą Obecnie Przekazywać Subtelności Emocji

Wczorajsza premiera szóstego odcinka spin-offu Star Wars The Book of Boba Fett wydaje się podzielić opinię fanów. Przyjęty z ogólnym uznaniem, istnieje powszechny założenie w sieciach społecznościowych, że znacznie udoskonalona rekonstrukcja odmłodzonego Marka Hamilla (w porównaniu z jego poprzednim występem w finale sezonu 2 The Mandalorian w 2020 roku) jest bezpośrednim wynikiem zatrudnienia przez Industrial Light and Magic amatorskiego praktyka deepfakes Shamook (który znacznie poprawił swoją pracę za pomocą oprogramowania open source); i że renderowania postaci muszą być połączeniem technologii deepfake, perhaps tidied up z CGI.

Obecnie istnieje ograniczona potwierdzenie tego, chociaż Shamook powiedział niewiele światu od czasu podpisania umowy z ILM; mimo to praca jest nadzwyczajną poprawą w porównaniu z CGI z 2020 roku; prezentuje część “połysku” związanego z modelami deepfake pochodzącymi z archiwalnych prac; i ogólnie zgadza się z najlepszymi obecnie standardami wizualnymi dla deepfakes.

Inny nurt opinii fanów mówi, że nowa próba “Młodego Luke’a” ma inny zestaw wad niż poprzednia. Być może najbardziej wymownie, brak wyrazistości i subtelnych, odpowiednich emocji w bardzo długich sekwencjach z nową rekreacją Skywalkera są bardziej typowe dla deepfakes niż CGI; The Verge opisał to jako ‘niepokojącą, pustą twarz zamrożonej twarzy Marka Hamilla z 1983 roku’.

… (reszta treści)

Ograniczenia Wyrównywania Twarzy

Dwa najczęściej używane repozytoria FOSS deepfakes to DeepFaceLab (DFL) i FaceSwap, oba pochodzące z anonimowego i kontrowersyjnego kodu źródłowego z 2017 roku, z DFL mającym ogromną przewagę w branży VFX, pomimo jego ograniczonej instrumentacji.

Każdy z tych pakietów jest początkowo wyposażony w ekstrakcję punktów orientacyjnych twarzy z twarzy, które udało mu się zidentyfikować w materiale źródłowym (tj. klatkach wideo i/lub zdjęciach).

… (reszta treści)

Radzenie Sobie Z Ograniczonymi Danymi

Pobieranie danych dopasowanych między dwiema tożsamościami w celu szkolenia deepfakes nie jest łatwe. Im bardziej niezwykły kąt, którego potrzebujesz, tym więcej możesz musieć kompromisować, czy ten (rzadki) kąt dopasowania między tożsamościami A i B rzeczywiście zawiera ten sam wyraz…. (reszta treści)

Przeciwko Naturze

Chociaż rewolucja deepfakes przyniosła obietnicę wstawienia “klasycznych” gwiazd filmowych do współczesnych filmów i seriali, AI nie może cofnąć się w czasie i nakręcić ich klasycznych prac w bardziej kompatybilnej definicji i jakości, co jest kluczowe dla tego przypadku użycia…. (reszta treści)

Ograniczony Zakres Emocji?

Jeśli potrzebujesz, aby Twój deepfaked aktor “żuł” scenę, będziesz musiał mieć materiał źródłowy, który zawiera niezwykle szeroki zakres wyrazów twarzy. Może się okazać, że jedynie dostępny materiał źródłowy z tego wieku nie zawiera wielu z tych wyrazów…. (reszta treści)

Uogólnienie: Scalanie Emocji

Jeśli rekonstrukcja Skywalkera w Boba Fett jest rzeczywiście deepfake, brak wyrazistości, jaki został mu zarzucony przez niektóre strony, nie byłby w całości spowodowany ograniczonym materiałem źródłowym. Proces szkolenia encoder-decoder deepfakes jest ukierunkowany na uogólniony model, który z powodzeniem destyluje podstawowe cechy z tysięcy obrazów i może przynajmniej próbować deepfake kąta, który był nieobecny lub rzadki w zestawie danych…. (reszta treści)

Różnica Wpływu Na Wyrażenia

Ruchy twarzy i ich wpływ na nas nie są jednolitym językiem we wszystkich twarzach; uniesiony brwi, który wygląda niewinnie u Rogera Moore’a, mógłby wyglądać mniej wyrafinowanie u Setha Rogana, podczas gdy kusząca atrakcja Marilyn Monroe mogłaby przekształcić się w bardziej negatywną emocję, gdyby została deepfaked na osobę, której najbardziej dostępna rola to “zły” lub “niezadowolony” (taka jak postać Aubrey Plaza w ciągu siedmiu sezonów Parks and Recreation)…. (reszta treści)