Bez jazyků! Vědci zabývající se umělou inteligencí řeší chybějící anatomický prvek v animaci obličeje

Co nám v roce 2026 uniklo: V tomto období roku kvalita i objem výzkumné produkce kolísají ruku v ruce s posledními konferencemi v listopadu a prosinci. Abychom překlenuli tato občasná období útlumu, podíváme se na některé zajímavější studie, které se v roce 2026 téměř dostaly do výběru, ale v konkurenčnějších obdobích podávání příspěvků je nakonec předčily jiné práce.

Ještě donedávna měli tvůrci deepfaků, amatéři i profesionálové, důležitější starosti než to, zda rekonstruovaný člověk vypadá, že má jazyk. Jazyk je totiž ze všech rysů obličeje nejproměnlivější – u lidí, kteří při mluvení téměř nehýbou ústy, není vůbec vidět a ve většině běžných situací se objevuje jen občas.

Když ho tedy potřebujete, v rekonstrukcích vytvořených umělou inteligencí chybí. V době, kdy amatérské rekonstrukce založené na difuzních modelech dosahují ohromující míry realismu a naše schopnost kriticky posuzovat lidi vytvořené umělou inteligencí se stále zostřuje, možná nastal čas tento problém řešit.

Jazykem proti problému

V červenci představila akademická spolupráce mezi Austrálií a Čínou postup, který má řešit chybějící simulaci jazyka v pracovních postupech umělé inteligence. Navrhovaný rámec s názvem TongueReenact využívá k řešení problému prakticky všechny metody z výbavy pro tvorbu deepfaků, včetně gaussovského splattingu, parametrických modelů lidí, neuronových polí záření (NeRF) a generování videa založeného na difuzních modelech (promiňte, generativní adversariální sítě, tentokrát jste se do výběru nedostaly).

Nahoře je skutečný záznam řídící osoby, jehož charakteristiky se přenášejí do vykreslené podoby TongueReenactu dole. Zdroj

Ačkoli se zdá, že autoři od zveřejnění článku nedodali slíbený kód a doplňující video zatím také nevyšlo, jde přesto o přelomovou práci: jako první se věnuje jazyku v rekonstrukcích založených na umělé inteligenci mimo oblast medicíny a zároveň řeší zásadní nedostatek anotovaných dat, která jsou nezbytná pro jakékoli navrhované řešení.

Výzkumníci inovativně využili rozmanité existující rámce a data, aby vytvořili rámec pro segmentaci jazyka založený na SegmentAnything a vygenerovali pseudooznačení pro nově segmentovaná data.

Autoři v článku uvádějí:

‘ [We] představujeme první rámec pro přenos pohybu jazyka mezi různými identitami při přehrávání výrazu obličeje. Naše metoda na základě zdrojového snímku a řídicího videa přenáší na zdrojovou identitu jak pohyb obličeje, tak artikulaci jazyka.

‘Klíčovým poznatkem naší práce je, že syntézu jazyka nelze považovat za obecný problém doplňování chybějících částí obrazu. Jazyk musí být prostorově zasazen do geometrie zdrojového obličeje, která se sama mění s každým řídicím snímkem.’

Systém nejprve přenese pohyby obličeje řídicí osoby na zdrojový obličej pomocí 3D gaussovského splattingu a obličejového modelu FLAME. Vznikne tak animovaný obličej se správnou pózou a výrazem, v němž však stále chybí jazyk.

Pracovní postup TongueReenact. Nahoře: Snímky jazyků se vyhledají, segmentují a ručně upraví, aby bylo možné natrénovat detekční model. Dole: Pohyby obličeje se přenesou z řídicího videa na zdrojový obličej a difuzní model poté vygeneruje chybějící jazyk ve správné poloze.

K vygenerování chybějícího jazyka se následně použije model Stable Diffusion, který se řídí jeho vzhledem v řídicím videu a geometrií rekonstruovaného obličeje.

Autoři k nutnosti řešit tento nedostatek při rekonstrukci obličeje poznamenávají*:

„Při expresivních projevech, jako je smích, znechucení nebo překvapení, může [the tongue] zcela ovládnout viditelnou oblast úst. Přesto téměř všechny dosavadní systémy pro přenos mimiky a avatarové systémy buď modelují vnitřek úst jako beztvarou prázdnotu, nebo jej ponechávají zcela bez omezení.

‘Toto opomíjení není náhodné. Jazyk je totiž jedinečně proměnlivá struktura: v klidu je zcela skrytý, při řeči se odhaluje jen občas a při extrémních výrazech náhle dominuje. Zásadně se proto vzpírá statickému parametrickému modelování, které se používá pro zbytek obličeje.

‘Řešení této přehlížené výzvy je hlavním motivem naší práce.’

Při testování nová metoda výrazně překonala pět konkurenčních systémů pro animaci obličeje a v klíčových ukazatelích polohy a velikosti jazyka dosáhla oproti nejbližšímu konkurentovi o více než 100 % vyšší přesnosti – je však třeba připustit, že podobné testy se obtížně navrhují, když jde o zcela novou oblast a dosavadní metody se nové výzvě věnují jen okrajově, nebo vůbec.

Podívejme se na nový přístup podrobněji.

Metoda

K vytvoření systému schopného rozpoznávat jazyky v běžných záběrech obličeje byl použit soubor dat NERSemble s víceúhlovými záznamy lidských hlav a synteticky generované snímky ze souboru dat VFHQ, který obsahuje více než 16 000 vysoce kvalitních videí obličejů:

Kliknutím přehrajete Zajímavý „jazykový“ příklad rekonstrukce světelného pole z webu projektu Nersemble. Zde je však jazyk považován za obecnou geometrii a nemá vlastní doménu. Zdroj 

K určení úst na každém snímku byl použit model pro segmentaci obličeje MaskGAN. Poté detektor TongueSAM určený pro medicínské účely identifikoval pravděpodobnou oblast jazyka a předal ji modelu SegmentAnything, který vytvořil jeho počáteční obrys (tj. pseudooznačení) v podobě viditelného jazyka.

Ukázky ze souboru dat TongueSAM, určeného k analytickému využití v medicíně, nikoli k hodnocení mimiky. Zdroj

Výsledné masky byly rozděleny do tří skupin podle toho, jak velká část jazyka byla viditelná. Nesprávné příklady byly vyřazeny a u nadějných masek byly ručně opraveny hranice tak, aby se jazyk odlišil od okolních rtů, zubů a dalších tkání v ústech. Tyto zpřesněné anotace byly použity k natrénování sítě pro segmentaci obrazu BiSeNet.

Model byl poté použit na další osoby ze souboru NERSemble a syntetické snímky z VFHQ. Jeho predikce lidé zkontrolovali a opravili ještě před dalším trénováním – tento postup se opakoval, dokud se výkon na dosud neviděných osobách neustálil:

Postup zpracování existujících dat na data zaměřená na jazyk.

Při syntéze jazyka byla oblast úst určená modelem BiSeNet před předáním difuznímu modelu mírně zvětšena. Vygenerovaný jazyk tak měl prostor přesáhnout původní segmentaci, když ústa měnila tvar.

Generování probíhalo v latentním prostoru modelu Stable Diffusion Image Variations. Samostatné vedení vycházelo z rekonstruované geometrie obličeje a jazyka viditelného v řídicím snímku; znovu se generovala pouze určená oblast úst a jazyka.

Generativní postup. Odkaz na DINO V2 v levém horním kvadrantu znázorňuje použití modelu GAGAvatar (viz níže), který kombinuje vzhledové rysy DINO V2 s modelem FLAME.

Data a testy

Model BiSeNet byl natrénován na dvou výstupních třídách odvozených z výše popsaných fází zpracování dat: pozadí a jazyk. Trénování proběhlo v 50 000 iteracích při rychlosti učení 10^-3, na snímcích o rozlišení 512 × 512 px a s velikostí dávky 4, na jediné grafické kartě NVIDIA A40 s 48 GB paměti VRAM. Trénovací data tvořily výše uvedené snímky ze souborů NERSemble a VFHQ.

Pro část zaměřenou na přenos mimiky byla použita předtrénovaná základní architektura Gaussian Splatting GAGAvatar. Využit byl také kontrolní bod Stable Diffusion Image Variations, přičemž kodér VAE a kodér CLIP zůstaly zmrazené. Řídicí kodéry a odšumovací síť UNET se poté trénovaly na datech NERSemble v 85 000 iteracích s velikostí dávky 8 a vstupy o rozlišení 512 × 512. Při inferenci bylo použito 20 kroků DDIM (u mnoha současných difuzních modelů se to považuje za vysoký počet, který má podpořit zachování detailů, ovšem za cenu určitých nevyhnutelných kompromisů).

Testované konkurenční avatarové modely byly GPAvatar, osvědčený LivePortrait, X-NeMo a X-Portrait. Každý z nich byl hodnocen na 9 000 dvojicích zdrojových a řídicích snímků z VFHQ, které pocházely od různých osob.

Použité metriky byly Naučená perceptuální podobnost obrazových výřezů (LPIPS); Přítomnost jazyka (podíl snímků, na kterých je detekován jazyk); IoU jazyka (míra překryvu vygenerované a řídicí oblasti jazyka); a Podobnost plochy jazyka (míra shody velikosti vygenerovaného jazyka s jazykem v řídicím snímku).

Výsledky testů porovnávajících TongueReenact s pěti konkurenčními rámci pro přenos mimiky obličeje. TongueReenact dosahuje nejlepších výsledků ve všech čtyřech metrikách zaměřených na jazyk; šipky označují, zda jsou žádoucí nižší, nebo vyšší hodnoty.

Autoři k úvodnímu srovnání uvádějí:

‘Naše metoda dosahuje nejlepších výsledků ve všech čtyřech metrikách přenosu jazyka: hodnota IoU jazyka činí 0.3582 a podobnost plochy jazyka 0.4338, což je více než dvojnásobek výsledku nejbližšího konkurenta a potvrzuje výrazně přesnější přenos pohybu jazyka.

‘Hodnota metriky přítomnosti jazyka 0.7891 dále dokládá, že naše metoda spolehlivě vytváří viditelnou artikulaci jazyka, zatímco stávající metody ji často nevytvoří vůbec.’

Několik ukázek z rozsáhlého souboru kvalitativních příkladů uvedených v původní studii. Zde vidíme srovnání nového přístupu s pěti dřívějšími metodami, z nichž žádná nedokáže generovat jazyk. Další příklady ve vyšším rozlišení najdete v původní studii.

Ačkoli to kvůli současnému nedostatku doprovodných videozáznamů nemůžeme sami posoudit, autoři také testovali časovou konzistenci systému pomocí metriky T-LPIPS:

Výsledky testů časové konzistence.

Autoři k tomu uvádějí:

‘Náš úplný model dosahuje výrazně menšího kolísání toku (0.218543 oproti 0.622901) a nižší velikosti toku (0.513165 oproti 1.254073), což potvrzuje, že odšumování ukotvené v geometrii vytváří plynulý a stabilní pohyb jazyka.

‘Nižší hodnota T-LPIPS dále potvrzuje, že syntéza jazyka nenarušuje časovou soudržnost.’

Závěr

Efekt tísnivého údolí postupně překonávají některé z nejnovějších videomodelů založených na difuzi. Začíná se však projevovat nová psychologická bariéra: lidé vnímají materiály vytvořené pomocí AI negativně z jiných důvodů, než je kvalita toho, na co se dívají.

To může zkomplikovat kvalitativní hodnocení, ale domnívám se, že metriky založené na „slepých“ testech (kdy uživatel chce snížit hodnocení výstupu AI, ale obává se, že by tím snížil i hodnocení skutečného výstupu) by mohly pomoci vytvořit jakousi „stínovou“ stupnici realismu AI.

Ačkoli tedy výzkum zaměřený na reprodukci vedlejších rysů identity pomocí AI, jako jsou vlasy, simulace emocí, směr pohledu a nově také pohyb jazyka, intenzivně pokračuje, mohou být tyto otázky prozatím bezpředmětné.

* Moje převedení průběžných citací autorů na hypertextové odkazy.

Poprvé zveřejněno ve středu 11. listopadu 2026