Dodawanie dialogu do prawdziistych filmów wideo za pomocą sztucznej inteligencji

Nowy framework sztucznej inteligencji może przepisać, usunąć lub dodać słowa osoby w filmie wideo bez ponownego nagrywania, w jednym systemie końcowym.

Trzy lata temu internet byłby zaskoczony przez którykolwiek z 20-30 frameworków sztucznej inteligencji do modyfikacji filmów wideo, które są publikowane w portalach akademickich co tydzień; jak jest teraz, ten popularny kierunek badań stał się tak płodny, że prawie stanowi już inny dział “sztucznej inteligencji”, a ja relacjonuję znacznie mniej takich wydawnictw niż robiłbym dwa lub trzy lata temu.

Jednak jeden z obecnych wydawnictw w tym kierunku zwrócił moją uwagę: zintegrowany system, który może interweniować w prawdziwych klipach wideo i wprowadzać nowe słowa do istniejącego filmu (zamiast tworzenia całego generatywnego klipu z twarzy lub ramki, co jest znacznie bardziej powszechne).

W poniższych przykładach, które edytowałem razem z wielu przykładowych filmów dostępnych na stronie projektu projektu, najpierw widzimy oryginalny klip, a poniżej, nałożone słowa sztucznej inteligencji w środku klipu, w tym syntezę głosu i synchronizację ust:

Kliknij, aby odtworzyć. Edycja lokalna z szyciem – jeden z kilku trybów oferowanych przez FacEDiT. Proszę odnieść się do strony źródłowej, aby uzyskać lepszą rozdzielczość. Źródło – https://facedit.github.io/

Ten podejście jest jednym z trzech opracowanych dla nowej metody, nazwanej “edycja lokalna z szyciem”, i jest tym, który najbardziej interesuje autorów (oraz mnie). Podstawą jest wydłużenie klipu, używając jednego z klatek środkowych jako punktu startowego dla nowej interpretacji sztucznej inteligencji, a następnego (rzeczywistego) klatki jako celu, do którego generowany klip powinien dążyć. W powyższych klipach te “nasiona” i “cele” są reprezentowane przez górny film, który zatrzymuje się, podczas gdy zmodyfikowany film poniżej zapewnia generatywny wypełniacz.

Autorzy przedstawiają ten podejście syntezowania twarzy i głosu jako pierwszą w pełni zintegrowaną metodę końcową do edycji filmów wideo sztucznej inteligencji, obserwując potencjał w pełni rozwiniętego frameworku tego rodzaju dla produkcji telewizyjnej i filmowej:

‘Twórcy filmowi i producenci medialni często muszą zmieniać określone części nagranych filmów – być może słowo zostało wypowiedziane niepoprawnie lub scenariusz został zmieniony po nakręceniu. Na przykład w ikonicznej scenie z Titanic (1997), gdzie Rose mówi, “I’ll never let go, Jack,” reżyser mógł później zdecydować, że powinno to być “I’ll never forget you, Jack”.

‘Tradycyjnie, takie zmiany wymagają ponownego nakręcenia całej sceny, co jest kosztowne i czasochłonne. Synteza mówiącej twarzy oferuje praktyczną alternatywę, automatycznie modyfikując ruch twarzy, aby dopasować go do zmienionych słów, eliminując potrzebę ponownego nakręcenia.’

Chociaż interwencje sztucznej inteligencji tego rodzaju mogą napotkać kulturowy lub przemysłowy opór, mogą one również stanowić nowy rodzaj funkcjonalności w systemach i narzędziach wizualnych sterowanych przez ludzi. W każdym razie, na razie, wyzwania są ściśle techniczne.

Ponadto nowy system może również modyfikować istniejące słowa:

Kliknij, aby odtworzyć.Przykład zmiany istniejących słów zamiast wprowadzania nowych. Proszę odnieść się do strony źródłowej, aby uzyskać lepszą rozdzielczość.

Stan sztuki

Obecnie nie ma systemów końcowych, które oferują tego rodzaju możliwości syntezowania; chociaż rosnąca liczba platform sztucznej inteligencji, takich jak seria Veo firmy Google, może generować audio, a różne inne frameworki mogą tworzyć deepfaked audio, obecnie trzeba stworzyć dość skomplikowaną linię różnych architektur i sztuczek, aby zmodyfikować prawdziwe nagrania wideo w sposób, w jaki nowy system – nazwany FacEDiT – może to osiągnąć.

System wykorzystuje Diffusion Transformers (DiT) w połączeniu z Flow Matching, aby tworzyć ruchy twarzy warunkowane przez otaczające (kontekstowe) ruchy i zawartość audio. System wykorzystuje istniejące popularne pakiety, które zajmują się rekonstrukcją twarzy, w tym LivePortrait (niedawno przejęty przez Kling).

Ponadto, ponieważ ich podejście jest pierwszym, które integruje te wyzwania w jednym rozwiązaniu, autorzy stworzyli nowy benchmark nazwany FacEDiTBench, wraz z kilkoma nowymi metrykami oceny, odpowiednimi do tego konkretnego zadania.

Nowa praca nowy artykuł nosi tytuł FacEDiT: Zintegrowana edycja i generacja mówiącej twarzy za pomocą wypełniania ruchu twarzy, i pochodzi od czterech badaczy z Korei Południowej, Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST) i University of Texas at Austin.

Metoda

FacEDiT jest szkolony, aby odtworzyć ruch twarzy, ucząc się, jak wypełnić brakujące części oryginalnej prezentacji aktora, na podstawie otaczającego ruchu i audio. Jak pokazano na poniższym schemacie, ten proces pozwala modelowi działać jako wypełniacz luk podczas szkolenia, przewidując ruchy twarzy, które pasują do głosu, jednocześnie zachowując spójność z oryginalnym filmem:

Przegląd systemu FacEDiT, pokazujący, jak ruch twarzy jest uczony przez samodzielne wypełnianie podczas szkolenia, kierowane przez edytowane słowa podczas inferencji, a następnie renderowany z powrotem do filmu, wykorzystując wygląd oryginalnego filmu, podczas gdy tylko celowany ruch jest zastępowany. Źródło

W czasie inferencji ta sama architektura obsługuje dwa różne wyjścia, w zależności od tego, ile filmu jest maskowane: edycje częściowe, gdzie tylko fraza jest zmieniona, a reszta pozostaje nietknięta; lub generacja pełnej sekwencji, gdzie nowy ruch jest syntetyzowany całkowicie od podstaw.

Model jest szkolony za pomocą flow matching, który traktuje edycje filmu jako rodzaj ścieżki między dwiema wersjami ruchu twarzy.

Zamiast uczenia się, jak zgadnąć, jak powinna wyglądać edytowana twarz od podstaw, flow matching uczy się, jak stopniowo i gładko przechodzić między hałaśliwym placeholderem a poprawnym ruchem. Aby to ułatwić, system reprezentuje ruch twarzy jako zbiór liczb wyprowadzonych z każdej klatki, wykorzystując wersję wcześniej wspomnianego systemu LivePortrait (patrz schemat powyżej).

Te wektory ruchu są zaprojektowane, aby opisać wyrażenia i położenie głowy bez splątania tożsamości, tak aby zmiany słów mogły być zlokalizowane bez wpływu na ogólny wygląd osoby.

Szkolenie FacEDiT

Aby przeszkolić FacEDiT, każdy klip wideo został podzielony na serię migawek ruchu twarzy, a każda klatka została sparowana z odpowiednim fragmentem audio. Losowe części danych ruchu zostały następnie ukryte, a model poproszono o zgadnięcie, jak te brakujące ruchy powinny wyglądać, wykorzystując zarówno słowa, jak i otaczający, niezmaskowany ruch jako kontekst.

Ponieważ maskowane fragmenty i ich pozycje różnią się od jednego przykładu szkoleniowego do drugiego, model stopniowo uczy się, jak radzić sobie zarówno z małymi edycjami wewnętrznymi, jak i dłuższymi lukami, do pełnej generacji sekwencji, w zależności od ilości informacji, które otrzymuje.

Wspomniany wcześniej Diffusion Transformer uczy się odzyskiwać maskowany ruch, poprawiając hałaśliwe dane wejściowe w czasie. Zamiast podawać słowa i ruch do modelu jednocześnie, audio jest wprowadzane do każdego bloku przetwarzania przez cross-attention, co pomaga systemowi lepiej dopasować ruchy ust do słów.

Aby zachować realizm przez edycje, uwaga jest ukierunkowana na sąsiednie klatki, a nie na całą sekwencję, co zmusza model do koncentrowania się na ciągłości lokalnej i zapobieganiu migotaniom lub skokom ruchu na granicach modyfikowanych obszarów. Wstawienia pozycyjne (które informują model, gdzie każda klatka pojawia się w sekwencji) pomagają również modelowi utrzymać naturalny przepływ czasowy i kontekst.

Podczas szkolenia system uczy się przewidywać brakujący ruch twarzy, odtwarzając maskowane fragmenty na podstawie słów i niezmaskowanego ruchu w pobliżu. W czasie inferencji ten sam układ jest ponownie wykorzystywany, ale teraz maski są kierowane przez edycje w słowach.

Gdy słowo lub fraza jest wstawiana, usuwana lub zmieniana, system lokalizuje dotknięty obszar, maskuje go i regeneruje ruch, który pasuje do nowych słów. Pełna generacja sekwencji jest traktowana jako specjalny przypadek, gdzie cały obszar jest maskowany i syntetyzowany od podstaw.

Dane i testy

Kręgosłup systemu składa się z 22 warstw dla Diffusion Transformer, z 16 głowicami uwagi i wymiarami feedforward 1024 i 2024px. Cechy ruchu i wyglądu są wyprowadzane za pomocą zamrożonych składników LivePortrait, a słowa są kodowane za pomocą WavLM i modyfikowane za pomocą VoiceCraft.

Specjalna warstwa projekcyjna mapuje 786-wymiarowe cechy słów do przestrzeni latentnej DiT, z tylko DiT i modułem projekcyjnym szkolonym od podstaw.

Szkolenie zostało przeprowadzone przy użyciu optymalizatora AdamW z docelową szybkością uczenia 1e-4, przez milion kroków, na dwóch GPU A6000 (każdy z 48 GB VRAM), przy łącznej wielkości batchu ośmiu.

FacEDiTBench

Zestaw danych FacEDiTBench zawiera 250 przykładów, z których każdy składa się z klipu wideo oryginalnych i edytowanych słów, oraz transkryptów dla obu. Filmy pochodzą z trzech źródeł, z 100 klipami z HDTF, 100 z Hallo3 i 50 z CelebV-Dub. Każdy z nich został ręcznie sprawdzony, aby potwierdzić, że zarówno audio, jak i wideo są wystarczająco wyraźne do oceny.

GPT-4o został wykorzystany do zmodyfikowania każdego transkryptu, aby utworzyć gramatycznie poprawne edycje. Te zmodyfikowane transkrypty, wraz z oryginalnymi słowami, zostały przekazane do VoiceCraft, aby wyprodukować nowe audio; a na każdym etapie, zarówno transkrypt, jak i wygenerowane słowa były ręcznie sprawdzane pod kątem jakości.

Każdy przykład został oznaczony typem edycji, czasem zmiany i długością zmodyfikowanego fragmentu, a edycje zostały sklasyfikowane jako wstawienia, usunięcia lub zastąpienia. Liczba zmienionych słów wahała się od krótkich edycji (1-3 słowa), średnich edycji (4-6 słów) i dłuższych edycji (7-10 słów).

Zdefiniowano trzy niestandardowe metryki, aby ocenić jakość edycji. Ciągłość fotometryczna, aby zmierzyć, jak dobrze oświetlenie i kolor edytowanego fragmentu łączą się z otaczającym filmem, porównując różnice na poziomie pikseli na granicach; ciągłość ruchu, aby ocenić spójność ruchu twarzy, mierząc zmiany przepływu optycznego w edytowanych i nieedytowanych klatkach; i zachowanie tożsamości, aby oszacować, czy wygląd osoby pozostaje spójny po edycji, porównując wektory twarzy z oryginalnej i wygenerowanej sekwencji, wykorzystując model rozpoznawania twarzy ArcFace.

Testy

Model testowy został przeszkolony na materiale z trzech wymienionych powyżej zbiorów danych, łącznie około 200 godzin filmów wideo, w tym vlogów i filmów, a także filmów wideo o wysokiej rozdzielczości z YouTube.

Aby ocenić edycję mówiącej twarzy, wykorzystano FacEDiTBench, a także podział testowy HDTF, który stał się standardem benchmarkowym dla tego zestawu zadań.

Ponieważ nie było bezpośrednio porównywalnych systemów, które mogłyby objąć tę funkcjonalność końcową, autorzy wybrali różne frameworki, które odtwarzały co najmniej część funkcjonalności docelowej, i mogły służyć jako punkty odniesienia; mianowicie, KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; i SadTalker.

Wykorzystano również kilka ustanowionych metryk, aby ocenić jakość generacji i edycji, z dokładnością synchronizacji ust ocenianą za pomocą SyncNet, raportując zarówno absolutny błąd między ruchami ust a słowami (LSE-D), jak i wynik ufności (LSE-C); Fréchet Video Distance (FVD) ilustrujący, jak realistyczny jest film wideo; oraz Learned Perceptual Similarity Metrics (LPIPS), mierzący podobieństwo percepcyjne między wygenerowanymi a oryginalnymi klatkami.

Podczas edycji wszystkie metryki, z wyjątkiem LPIPS, były stosowane tylko do zmodyfikowanego fragmentu; podczas generacji cały film wideo był oceniany, z wyłączeniem ciągłości granic.

Każdy model został poproszony o wygenerowanie pasującego fragmentu wideo, który został następnie wstawiony do oryginalnego klipu (badacze zauważają, że ta metoda często wprowadzała widoczne nieciągłości, tam, gdzie edytowany fragment spotykał się z otaczającym filmem). Przetestowano również drugie podejście, w którym cały film wideo był regenerowany od podstaw z modyfikowanego audio – jednak to nieuchronnie nadpisało niedytowane obszary i nie zachowało oryginalnej prezentacji:

<img class=" wp-image-229583" src="https://www.unite.ai/wp-content/uploads/2025/12/table-3-1.jpg" alt="Porównanie wyników edycji między systemami pierwotnie zaprojektowanymi do generacji mówiącej twarzy, z FacEDiT, który przewyższa wszystkie punkty odniesienia we wszystkich metrykach, osiągając niższy błąd synchronizacji ust (LSE-D), wyższy wynik ufności (LSE-C), silniejsze zachowanie tożsamości (IDSIM), większą realizm (FVD) i gładziej przechodzące granice edycji (Pcontinuity, Mcontinuity). Kolumny w cieniu wskazują kluczowe kryteria oceny jakości granic; pogrubione i podkreślone wartości wskazują najlepsze i drugie najlepsze wyniki.

Odnośnie do tych wyników, autorzy komentują:

‘Nasz model znacznie przewyższa istniejące metody w zadaniu edycji. Osiąga silną ciągłość granic i wysokie zachowanie tożsamości, demonstrując swoją zdolność do utrzymania spójności czasowej i wizualnej podczas edycji. Dodatkowo, jego lepsza dokładność synchronizacji ust i niski FVD odzwierciedlają realizm wygenerowanego filmu wideo.’

Kliknij, aby odtworzyć. Wyniki, zestawione przez autora z opublikowanych filmów na stronie projektu. Proszę odnieść się do strony źródłowej, aby uzyskać lepszą rozdzielczość.

Dodatkowo, przeprowadzono badanie z udziałem ludzi, aby ocenić postrzeganą jakość zarówno edycji, jak i generacji.

Dla każdego porównania uczestnicy oglądali sześć filmów wideo i oceniali je pod kątem ogólnej jakości, uwzględniając dokładność synchronizacji ust, naturalność i realizm ruchu głowy:

Średnie oceny przyznane przez oceniających, gdzie niższa oznacza lepszą. W przypadku edycji i generacji uczestnicy oceniali, jak naturalny i zsynchronizowany wygląda każdy film wideo. Podczas edycji oceniali również, jak gładko przechodziła granica między edytowanym a nieedytowanym fragmentem.

W badaniu FacEDiT został konsekwentnie oceniony jako najlepszy przez wyraźną przewagę, zarówno pod kątem jakości edycji, jak i gładkości przejścia, a także otrzymał wysokie oceny w ustawieniu generacji, co sugeruje, że jego mierzone zalety przekładają się na preferencje percepcyjne.

Ze względu na brak miejsca, odsyłamy czytelnika do oryginalnego artykułu, aby uzyskać więcej szczegółów na temat badań i dodatkowych testów, które zostały przeprowadzone i opisane w nowej pracy. W istocie, prototypowe oferty badawcze tego rodzaju mają trudności z generowaniem znaczących wyników sekcji testowych, ponieważ sama oferta jest nieuchronnie potencjalną bazą porównawczą dla późniejszych prac.

Wnioski

Nawet w przypadku inferencji systemy takie mogą wymagać znacznych zasobów obliczeniowych, co utrudnia dostęp do nich dla użytkowników końcowych – tutaj, przypuszczalnie, dla firm VFX – aby utrzymać pracę na miejscu. Dlatego też podejścia, które mogą być dostosowane do realistycznych zasobów lokalnych, zawsze będą preferowane przez dostawców, którzy są zobowiązani do ochrony ochrony danych klientów i ogólnych praw własności intelektualnej.

To nie oznacza, że nowa oferta jest krytykowana, która może działać idealnie pod wagami kwantowanymi lub innymi optymalizacjami, i która jest pierwszą ofertą tego rodzaju, która przyciągnęła mnie z powrotem do tego obszaru badań od dość długiego czasu.

Pierwotnie opublikowane w środę, 17 grudnia 202. Edytowane 20:10 EET, tego samego dnia, dla dodatkowej przestrzeni w pierwszym akapicie.