Bez języków! Badacze AI zajmują się brakującym elementem anatomii w animacji twarzy

Pominięte w 2026 roku: To ta pora roku, kiedy poziom i liczba publikacji w świecie badań naukowych spadają i rosną w ścisłym związku z ostatnimi konferencjami listopada i grudnia. Aby przetrwać te okresowe niedobory, przyglądamy się niektórym ciekawszym artykułom, które w 2026 roku o mało co nie znalazły się w naszym zestawieniu, ale zostały wyparte przez inne prace w okresach większej konkurencji między zgłoszeniami.

Do niedawna osoby zajmujące się deepfake’ami, zarówno amatorzy, jak i profesjonaliści, miały ważniejsze problemy do rozwiązania niż to, czy odtworzony człowiek wygląda tak, jakby miał język. W końcu język jest najbardziej zmiennym elementem twarzy — w ogóle nie widać go u osób poruszających ustami bezgłośnie, a w większości zwyczajnych sytuacji pojawia się tylko sporadycznie.

W rezultacie, kiedy jest potrzebny, w rekonstrukcjach AI po prostu go nie ma. W czasach, gdy amatorskie rekonstrukcje oparte na modelach dyfuzyjnych osiągają zdumiewający poziom realizmu, a nasza zdolność krytycznej oceny ludzi wygenerowanych przez AI stale rośnie, być może nadszedł czas, by zająć się tym problemem.

Językowy problem

W lipcu współpraca naukowa między Australią a Chinami zaowocowała opracowaniem procesu, który ma rozwiązać problem braku symulacji języka w procesach wykorzystujących AI. Zaproponowana metoda, nazwana TongueReenact, wykorzystuje do tego zadania praktycznie wszystkie metody z arsenału deepfake’ów, w tym reprezentację scen za pomocą rozkładów Gaussa, modele parametryczne postaci ludzkich, pola promieniowania neuronowego (NeRF) oraz generowanie wideo z użyciem modeli dyfuzyjnych (wybaczcie, GAN-y, tym razem się nie załapały).

Powyżej: rzeczywiste nagranie osoby sterującej, której cechy przeniesiono na wizualizację TongueReenact poniżej. Źródło

Choć obiecany kod do projektu najwyraźniej nie został udostępniony od czasu publikacji artykułu, a dodatkowe nagranie wideo wciąż nie jest dostępne, jest to przełomowa praca, ponieważ jako pierwsza zajmuje się językiem w rekonstrukcjach opartych na AI poza obszarem medycyny, a także rozwiązuje kluczowy problem braku anotowanych danych, niezbędnych do opracowania każdego proponowanego rozwiązania.

Badacze w innowacyjny sposób wykorzystali różnorodne istniejące modele i zbiory danych, aby stworzyć metodę segmentacji języka opartą na SegmentAnything oraz wygenerować etykiety zastępcze dla nowo posegmentowanych danych.

W artykule napisano:

‘[We] przedstawiamy pierwszą metodę przenoszenia dynamiki języka między różnymi tożsamościami w odtwarzaniu mimiki twarzy. Na podstawie klatki źródłowej i filmu sterującego nasza metoda przenosi zarówno ruchy twarzy, jak i artykulację języka na twarz osoby źródłowej.

‘Głównym spostrzeżeniem, do którego doprowadziły nasze badania, jest to, że syntezy języka nie można traktować jak zwykłego problemu uzupełniania obrazu. Położenie języka musi być zakotwiczone przestrzennie w geometrii twarzy źródłowej, która zmienia się przy każdej klatce filmu sterującego.’

System najpierw przenosi ruchy twarzy osoby sterującej na twarz źródłową, wykorzystując reprezentację sceny za pomocą rozkładów Gaussa w 3D oraz model twarzy FLAME. W ten sposób powstaje animowana twarz o prawidłowej pozie i wyrazie, ale wciąż bez języka.

Proces TongueReenact. U góry: obrazy języka są wykrywane i segmentowane, a następnie ręcznie dopracowywane, by wytrenować model detekcji. U dołu: ruchy twarzy są przenoszone z filmu sterującego na twarz źródłową, po czym model dyfuzyjny generuje brakujący język we właściwym miejscu.

Następnie model Stable Diffusion generuje brakujący język, kierując się jego wyglądem na filmie sterującym oraz geometrią zrekonstruowanej twarzy.

Autorzy tak uzasadniają potrzebę uzupełnienia tego braku w rekonstrukcji twarzy*:

‘Podczas ekspresyjnych zachowań, takich jak śmiech, odraza czy zaskoczenie, [the tongue] może całkowicie zdominować widoczną część jamy ustnej. Mimo to niemal wszystkie istniejące systemy odtwarzania mimiki i awatary albo przedstawiają wnętrze jamy ustnej jako pozbawioną tekstury pustkę, albo pozostawiają je całkowicie bez ograniczeń.

‘To zaniedbanie nie jest przypadkowe: język to struktura wyjątkowo zmienna — w spoczynku całkowicie ukryta, podczas mowy odsłaniana tylko chwilami, a przy skrajnych wyrazach twarzy nagle dominująca. Z tego powodu zasadniczo nie poddaje się statycznemu modelowaniu parametrycznemu stosowanemu do pozostałych części twarzy.

‘Podjęcie tego pomijanego dotąd wyzwania jest główną motywacją naszych badań.’

W testach nowa metoda znacznie przewyższyła pięć konkurencyjnych systemów animacji twarzy, osiągając ponad 100-procentową przewagę pod względem dokładności nad najbliższym rywalem w kluczowych pomiarach położenia i wielkości języka. Trzeba jednak przyznać, że trudno opracować tego rodzaju testy, gdy przeciera się nowe szlaki, a wcześniejsze rozwiązania w niewielkim stopniu uwzględniają nowe wyzwanie albo nie zajmują się nim wcale.

Przyjrzyjmy się bliżej nowemu podejściu.

Metoda

Aby opracować system zdolny do wykrywania języka na zwykłych nagraniach twarzy, wykorzystano zbiór danych NERSemble, zawierający wielowidokowe nagrania ludzkich głów, a także syntetycznie wygenerowane klatki ze zbioru VFHQ, który obejmuje ponad 16 000 wysokiej jakości nagrań twarzy:

Naciśnij, aby odtworzyćInteresujący przykład rekonstrukcji pola radiancji z wyraźnie widocznym językiem, zaczerpnięty ze strony projektu Nersemble. Widoczny tu język jest jednak traktowany jako zwykła geometria i nie ma przypisanej odrębnej dziedziny.Źródło 

Do zlokalizowania ust na każdym obrazie wykorzystano model analizy twarzy MaskGAN, a następnie medyczny detektor TongueSAM wskazywał prawdopodobny obszar języka, który przekazywano do SegmentAnything. Na tej podstawie tworzono wstępny obrys widocznego języka, czyli etykietę pseudorzeczywistą.

Przykłady ze zbioru danych TongueSAM, przeznaczonego do analizy medycznej, a nie do oceny mimiki. Źródło

Uzyskane maski podzielono na trzy grupy w zależności od tego, jak duża część języka była widoczna. Nieprawidłowe przykłady odrzucono, a obiecujące maski ręcznie poprawiono, aby odróżnić język od otaczających go warg, zębów i pozostałych tkanek jamy ustnej. Tak dopracowane adnotacje posłużyły do wytrenowania sieci segmentacji obrazu BiSeNet.

Następnie model zastosowano do dodatkowych osób ze zbioru NERSemble oraz syntetycznych klatek VFHQ. Ludzie sprawdzali i poprawiali jego predykcje przed dalszym treningiem — proces ten powtarzano, aż wyniki dla wcześniej niewidzianych osób ustabilizowały się:

Proces przekształcania istniejących danych w dane z „dziedziny języka”.

Na potrzeby syntezy języka nieznacznie powiększano obszar jamy ustnej wykryty przez BiSeNet, zanim przekazano go do modelu dyfuzyjnego. Dzięki temu wygenerowany język mógł wykraczać poza początkowy obszar segmentacji, gdy zmieniał się kształt ust.

Generowanie odbywało się w przestrzeni ukrytej modelu Stable Diffusion Image Variations. Osobne wskazówki pochodziły z odtworzonej geometrii twarzy oraz języka widocznego w klatce sterującej, a ponownemu generowaniu podlegał wyłącznie wykryty obszar ust i języka.

Proces generowania. Odniesienie do DINO V2 w lewym górnym kwadrancie przedstawia wykorzystanie GAGAvatar (zob. niżej), który łączy cechy wyglądu DINO V2 z FLAME.

Dane i testy

Model BiSeNet wytrenowano do rozpoznawania dwóch klas wyjściowych utworzonych na wcześniejszych etapach przetwarzania danych: tło i język. Trening obejmował 50 000 iteracji przy współczynniku uczenia 10^-3. Wykorzystano obrazy o rozdzielczości 512×512 px, rozmiar partii wynosił 4, a obliczenia przeprowadzano na pojedynczej karcie NVIDIA A40 z 48 GB pamięci VRAM. Zbiór treningowy składał się z wcześniej wspomnianych klatek NERSemble i VFHQ.

W części dotyczącej odtwarzania ruchu wykorzystano wstępnie wytrenowany model bazowy Gaussian Splatting GAGAvatar. Użyto także punktu kontrolnego Stable Diffusion Image Variations, przy czym enkoder VAE i enkoder CLIP pozostawały zamrożone. Następnie na danych NERSemble wytrenowano enkodery sterujące oraz odszumiającą sieć UNET przez 85 000 iteracji, przy rozmiarze partii 8 i danych wejściowych o rozdzielczości 512×512. Podczas wnioskowania zastosowano 20 kroków DDIM (w wielu współczesnych modelach dyfuzyjnych uznaje się to za dużą liczbę, sprzyjającą zachowaniu szczegółów, ale wiążącą się z nieuniknionymi kompromisami).

Testowane konkurencyjne modele awatarów to GPAvatar, ceniony LivePortrait, X-NeMo oraz X-Portrait. Każdy z nich oceniono na 9 000 par klatek źródłowych i sterujących VFHQ, przedstawiających różne tożsamości.

Zastosowane miary to wyuczone podobieństwo percepcyjne fragmentów obrazu (LPIPS), obecność języka (odsetek klatek, na których wykryto język), IoU języka (nakładanie się obszaru języka wygenerowanego i widocznego w klatce sterującej) oraz podobieństwo powierzchni języka (stopień zgodności wielkości wygenerowanego języka z językiem widocznym w klatce sterującej).

Wyniki testów porównujących TongueReenact z pięcioma konkurencyjnymi frameworkami do odtwarzania mimiki twarzy. TongueReenact osiąga najlepsze wyniki we wszystkich czterech metrykach dotyczących języka; strzałki wskazują, czy preferowane są niższe, czy wyższe wartości.

Autorzy tak podsumowują wstępne porównanie:

‘Nasza metoda osiąga najlepsze wyniki we wszystkich czterech metrykach transferu ruchu języka: IoU języka wynosi 0.3582, a podobieństwo obszaru języka — 0.4338, czyli ponad dwa razy więcej niż u najbliższego konkurenta. Potwierdza to znacznie dokładniejsze przenoszenie dynamiki ruchu języka.

‘Wynik 0.7891 w metryce obecności języka dodatkowo pokazuje, że nasza metoda niezawodnie generuje widoczne ruchy artykulacyjne języka, podczas gdy istniejące metody często nie generują ich wcale.’

Wybrane przykłady z obszernego zestawu przykładów jakościowych przedstawionych w pracy źródłowej. Widzimy tu porównanie nowego podejścia z pięcioma wcześniejszymi rozwiązaniami, z których żadne nie potrafi generować języka. Więcej przykładów w wyższej rozdzielczości można znaleźć w oryginalnej pracy.

Autorzy przetestowali również spójność czasową systemu przy użyciu metryki T-LPIPS, choć z powodu obecnego braku uzupełniających materiałów wideo nie możemy ocenić tego sami:

Wyniki testów spójności czasowej.

Autorzy komentują to następująco:

‘Nasz pełny model osiąga znacznie mniejsze drgania przepływu (0.218543 wobec 0.622901) i niższą wartość jego magnitudy (0.513165 wobec 1.254073). Potwierdza to, że odszumianie zakotwiczone w geometrii zapewnia płynny i stabilny ruch języka.

‘Niższy wynik T-LPIPS dodatkowo potwierdza, że synteza języka nie pogarsza spójności czasowej.’

Wnioski

Efekt doliny niesamowitości jest stopniowo przezwyciężany przez niektóre z najnowszych modeli wideo opartych na dyfuzji. Zaczyna się jednak ujawniać nowa bariera psychologiczna: ludzie negatywnie oceniają materiały generowane przez AI z powodów niezwiązanych z jakością oglądanych treści.

Utrudni to jakościową ocenę, choć sądzę, że metryki oparte na testach „w ciemno” (w których użytkownik chce zaniżyć ocenę materiału wygenerowanego przez AI, ale obawia się zaniżyć ocenę materiału prawdziwego) mogłyby pomóc w opracowaniu pewnego rodzaju „ukrytej” skali realizmu materiałów generowanych przez AI.

Dlatego, choć prowadzi się intensywne badania nad odtwarzaniem przez AI drugorzędnych cech tożsamościowych, takich jak włosy, symulacja emocji, ruch gałek ocznych, a teraz także ruch języka, na razie mogą to być kwestie bez większego znaczenia.

* Moje przekształcenie cytowań śródtekstowych autorów w hiperłącza.

Opublikowano po raz pierwszy w środę, 11 listopada 2026 r.