Fără limbă! Cercetătorii în domeniul IA abordează anatomia absentă din animația facială

Lăsate deoparte în 2026: În această perioadă a anului, nivelul și volumul cercetărilor cresc și scad în tandem cu ultimele conferințe din noiembrie și decembrie. Pentru a trece peste aceste perioade sporadice de secetă, analizăm câteva dintre lucrările mai interesante care aproape au fost selectate în 2026, dar au fost eliminate în favoarea altor lucrări, în perioadele cu mai multă concurență între propuneri.

Până de curând, cei care practicau deepfake-uri, amatori și profesioniști deopotrivă, aveau preocupări mai importante decât dacă omul reconstruit părea să aibă limbă. La urma urmei, limba este cea mai imprevizibilă dintre trăsăturile feței: nu se vede deloc la cei care mormăie și apare doar intermitent în majoritatea situațiilor obișnuite.

Prin urmare, atunci când ai nevoie de ea, în reconstrucțiile realizate cu IA, limba lipsește. Într-un context în care reconstrucția amatoricească bazată pe difuzie a ajuns la un nivel uimitor de realism, iar discernământul nostru în privința oamenilor generați de IA devine tot mai fin, poate că a venit momentul să abordăm problema.

Lingând problema

În iulie, o colaborare academică între Australia și China a propus o soluție pentru lipsa simulării limbii în fluxurile de lucru bazate pe IA. Intitulat TongueReenact, cadrul propus folosește aproape toate metodele din arsenalul deepfake pentru a rezolva problema, inclusiv splatting gaussian, modele parametrice ale corpului uman, câmpuri de radianță neuronală (NeRF) și generarea video bazată pe difuzie (ne pare rău, rețelele GAN, nu v-ați calificat de data aceasta).

Mai sus, captura persoanei care conduce (reală), ale cărei caracteristici sunt transferate asupra redării TongueReenact de dedesubt. Sursa

Deși codul promis pentru proiect pare să nu fi fost publicat de la apariția lucrării și încă nu a fost lansat niciun videoclip suplimentar, aceasta rămâne o contribuție de referință, fiind prima care abordează limba în reconstrucția bazată pe IA în afara domeniului medical și care tratează lipsa critică a datelor adnotate, esențiale pentru orice soluție propusă.

Cercetătorii au folosit în mod inovator diverse cadre și seturi de date existente pentru a crea un cadru de segmentare a limbii bazat pe SegmentAnything și pentru a genera pseudoetichete pentru datele nou segmentate.

Lucrarea afirmă:

„[We] prezentăm primul cadru pentru transferul dinamicii limbii între identități în reenactmentul facial. Pornind de la un cadru-sursă și un videoclip de ghidare, metoda noastră transferă atât mișcările faciale, cât și articularea limbii asupra identității-sursă.

„Ideea centrală a lucrării noastre este că sinteza limbii nu poate fi tratată ca o problemă generică de completare a imaginii. Limba trebuie poziționată spațial în raport cu geometria feței-sursă, care se schimbă la fiecare cadru al videoclipului de ghidare.”

Sistemul începe prin a transfera mișcările faciale ale persoanei din videoclipul de ghidare asupra feței-sursă, folosind splatting gaussian 3D și modelul facial FLAME. Astfel se obține o față animată cu poziția și expresia corecte, dar fără limbă.

Fluxul de lucru TongueReenact. Sus: imaginile cu limbi sunt identificate, segmentate și rafinate manual pentru a antrena un model de detecție. Jos: mișcările faciale sunt transferate dintr-un videoclip de ghidare pe o față-sursă, apoi un model de difuzie generează limba lipsă în poziția corespunzătoare.

Apoi, un model Stable Diffusion generează limba lipsă, ghidat de aspectul acesteia în videoclipul de ghidare și de geometria feței reconstruite.

Referitor la necesitatea de a remedia această lacună în reconstrucția facială, autorii observă*:

„În timpul unor acțiuni expresive precum râsul, dezgustul sau surpriza, [the tongue] poate ocupa în întregime zona orală vizibilă. Cu toate acestea, aproape toate sistemele existente de reenactment și avatar fie modelează interiorul gurii ca pe un gol fără textură, fie îl lasă complet fără constrângeri.

„Această neglijare nu este întâmplătoare: limba este o structură cu caracter tranzitoriu aparte, complet ascunsă în repaus, expusă intermitent în timpul vorbirii și devenind brusc dominantă în expresiile extreme. Prin urmare, ea rezistă în mod fundamental modelării parametrice statice aplicate restului feței.

„Abordarea acestei provocări trecute cu vederea reprezintă motivația centrală a lucrării noastre.”

În teste, noua metodă a depășit cu mult cinci sisteme concurente de animație facială, obținând un avantaj de precizie de peste 100% față de cel mai apropiat rival la măsurători esențiale privind poziția și dimensiunea limbii — deși trebuie recunoscut că testele de acest tip sunt greu de conceput atunci când se deschide un drum nou, iar cadrele de lucru anterioare abordează noua provocare doar în mică măsură sau deloc.

Să analizăm mai îndeaproape noua abordare.

Metodă

Pentru a dezvolta un sistem capabil să identifice limbile în filmări faciale obișnuite, a fost folosit setul de date NERSemble, alcătuit din înregistrări ale capetelor umane din mai multe unghiuri, alături de cadre generate sintetic din setul de date VFHQ, care conține peste 16.000 de videoclipuri faciale de înaltă calitate:

Apăsați pentru redare Un exemplu interesant, cu caracter „lingual”, de reconstrucție a câmpului de radianță de pe site-ul proiectului Nersemble. Totuși, limba vizibilă aici este tratată ca geometrie generică și nu are un domeniu distinct. Sursă 

Modelul de segmentare facială MaskGAN a fost folosit pentru a localiza gura în fiecare imagine, după care detectorul medical TongueSAM a fost folosit pentru a identifica regiunea probabilă a limbii, înainte ca aceasta să fie transmisă către SegmentAnything, de unde a fost generat un contur inițial (adică o pseudoetichetă) al limbii vizibile.

Exemple din setul de date TongueSAM, conceput pentru utilizare medicală analitică, nu pentru evaluarea expresiilor faciale. Sursă

Măștile rezultate au fost împărțite în trei grupuri, în funcție de cât de vizibilă era limba. Exemplele incorecte au fost eliminate, iar măștile promițătoare au fost corectate manual pentru a distinge limba de buzele, dinții și celelalte țesuturi din jurul gurii. Aceste adnotări rafinate au fost folosite pentru a antrena rețeaua de segmentare a imaginilor BiSeNet.

Modelul a fost apoi aplicat altor subiecți din NERSemble și cadrelor sintetice VFHQ, iar predicțiile sale au fost verificate și corectate de oameni înainte de continuarea antrenării — un proces repetat până când performanța pe subiecți nevăzuți anterior s-a stabilizat:

Fluxul de lucru pentru prelucrarea datelor existente în vederea obținerii de date din „domeniul limbii”.

Pentru sinteza limbii, regiunea orală identificată de BiSeNet a fost ușor mărită înainte de a fi transmisă modelului de difuzie, oferind limbii generate spațiu pentru a se extinde dincolo de segmentarea inițială pe măsură ce gura își schimba forma.

Generarea a fost realizată în spațiul latent al Stable Diffusion Image Variations, folosind ghidare separată, derivată din geometria facială reconstruită și din limba vizibilă în cadrul de referință, iar regenerarea a vizat numai regiunea identificată a gurii și limbii.

Fluxul de lucru generativ. Referința DINO V2 din cadranul din stânga sus ilustrează utilizarea GAGAvatar (vezi mai jos), care folosește caracteristici de aspect DINO V2 împreună cu FLAME.

Date și teste

BiSeNet a fost antrenat pentru două clase de ieșire rezultate din etapele de prelucrare a datelor menționate anterior: fundal și limbă. Antrenarea a constat în 50.000 de iterații, cu o rată de învățare de 10^-3, folosind imagini de 512x512px și o dimensiune a lotului de 4, pe un singur GPU NVIDIA A40 cu 48GB de VRAM. Datele de antrenare au fost alcătuite din cadrele NERSemble și VFHQ menționate anterior.

Pentru componenta de reenactment, a fost utilizat nucleul de bază pretrained Gaussian Splatting GAGAvatar. A fost folosit și checkpointul Stable Diffusion Image Variations, cu codificatorul VAE și codificatorul CLIP înghețate. Codificatoarele de ghidare și UNET-ul de dezgomotare au fost apoi antrenate pe datele NERSemble timp de 85.000 de iterații, cu dimensiunea lotului de 8 și intrări de 512×512. Pentru inferență, au fost folosiți 20 de pași DDIM (pentru multe modele de difuzie actuale, aceasta este considerată o valoare ridicată, menită să favorizeze detaliile, cu anumite compromisuri inevitabile).

Cadrele de lucru concurente pentru avatare testate au fost GPAvatar, apreciatul LivePortrait, X-NeMo și X-Portrait. Fiecare dintre acestea a fost evaluat pe 9.000 de perechi VFHQ cu identități diferite, formate dintr-o imagine-sursă și una de referință pentru mișcare.

Metricile folosite au fost Similaritatea perceptuală învățată a peticelor de imagine (LPIPS); Prezența limbii (proporția cadrelor în care este detectată o limbă); Intersecția peste reuniune a limbii (gradul de suprapunere dintre regiunile limbii generate și cele din cadrul de referință pentru mișcare); și Similaritatea suprafeței limbii (cât de apropiată este dimensiunea limbii generate de cea a limbii din cadrul de referință pentru mișcare).

Rezultatele testelor care compară TongueReenact cu cinci cadre concurente de reenactment facial. TongueReenact obține cele mai bune rezultate la toate cele patru metrici specifice limbii; săgețile indică dacă sunt preferate scorurile mai mici sau mai mari.

Despre comparația inițială, autorii afirmă:

„Metoda noastră obține cele mai bune rezultate la toate cele patru metrici de transfer al limbii, cu un IoU al limbii de 0,3582 și o similaritate a suprafeței limbii de 0,4338, de peste două ori mai mari decât cele ale celui mai apropiat concurent, confirmând un transfer mult mai precis al dinamicii limbii.”

„Scorul de 0,7891 la prezența limbii demonstrează în plus că metoda noastră sintetizează în mod fiabil articularea vizibilă a limbii, pe care metodele existente nu reușesc adesea să o genereze.”

Câteva exemple remarcabile dintre numeroasele rezultate calitative prezentate în lucrarea-sursă. Aici sunt comparate noua abordare și cele cinci metode concurente anterioare, niciuna dintre ele nefiind capabilă să genereze limbi. Pentru mai multe exemple și imagini la rezoluție mai mare, consultați lucrarea originală.

Deși, în lipsa actuală a materialelor video suplimentare, nu putem evalua acest aspect pe cont propriu, autorii au testat și consistența temporală a sistemului folosind T-LPIPS:

Rezultatele testelor de consistență temporală.

Autorii comentează:

„Modelul nostru complet obține valori semnificativ mai mici pentru tremurul fluxului (0,218543 față de 0,622901) și magnitudinea fluxului (0,513165 față de 1,254073), confirmând că reducerea zgomotului ancorată în geometrie produce o mișcare lină și stabilă a limbii.”

„Valoarea mai mică a T-LPIPS confirmă în plus că sinteza limbii nu afectează coerența temporală.”

Concluzie

Efectul de vale stranie este depășit treptat de unele dintre cele mai recente modele video bazate pe difuzie. Totuși, începe să se manifeste o nouă barieră psihologică: oamenii au o părere negativă despre materialele generate de IA din motive care nu țin de calitatea a ceea ce urmăresc.

Acest lucru va complica evaluarea calitativă, deși bănuiesc că metricile bazate pe teste „oarbe” (în care utilizatorul vrea să depuncteze rezultatele IA, dar se teme să le depuncteze pe cele reale) ar putea contribui la dezvoltarea unui fel de scară „din umbră” pentru realismul IA.

Prin urmare, deși există direcții puternice de cercetare privind reproducerea cu ajutorul IA a unor trăsături secundare de identitate, precum părul, simularea emoțiilor, privirea și, acum, mișcarea limbii, pentru moment acestea ar putea fi aspecte fără relevanță practică.

* Am transformat citările din text ale autorilor în hyperlinkuri.

Publicat pentru prima dată miercuri, 11 noiembrie 2026