Ingen tunger! AI-forskere tager fat på manglende anatomi i ansigtsanimation

Overset i 2026: Det er den tid på året, hvor forskningsmiljøets kvalitet og omfang går op og ned i takt med årets sidste konferencer i november og december. For at komme igennem disse sporadiske tørkeperioder ser vi nærmere på nogle af de mere interessante artikler, der næsten kom med i 2026, men blev fortrængt af andre arbejder i perioder med større konkurrence om pladserne.

Indtil for nylig havde både amatører og professionelle deepfake-skabere større problemer at tage sig af end spørgsmålet om, hvorvidt det rekonstruerede menneske så ud til at have en tunge. Når alt kommer til alt, er tungen det mest omskiftelige af ansigtstrækkene – den er slet ikke synlig hos folk, der mumler, og ses kun sporadisk i de fleste almindelige sammenhænge.

Derfor er tungen ikke med, når man har brug for den i AI-rekonstruktioner. I en tid, hvor amatørmæssige, diffusionsbaserede rekonstruktioner er blevet imponerende realistiske, og vores kritiske sans over for AI-mennesker bliver stadig skarpere, er det måske på tide at tage fat på problemet.

Problemet med tungen

I juli præsenterede et akademisk samarbejde mellem Australien og Kina en arbejdsgang, der skulle afhjælpe manglen på simulering af tunger i AI-arbejdsgange. Den foreslåede metode, der har fået navnet TongueReenact, tager stort set alle metoder i deepfake-værktøjskassen i brug for at løse problemet, herunder gaussisk splatting, parametriske menneskemodeller, neurale strålingsfelter (NeRF) og videogenerering baseret på diffusion (beklager, GAN’er, I kom ikke med denne gang).

Ovenfor ses den virkelige optagelse af personen, der styrer bevægelserne, og hvis karakteristika overføres til TongueReenact-gengivelsen nedenfor. Kilde

Selvom projektets lovede kode ikke ser ud til at være blevet offentliggjort, siden artiklen blev udgivet, og der endnu ikke er kommet nogen supplerende video, er dette ikke desto mindre et banebrydende bidrag. Det er nemlig det første, der behandler tungen i AI-baseret rekonstruktion uden for det medicinske område – og tager fat på den kritiske mangel på annoterede data, som er afgørende for enhver foreslået løsning.

Forskerne udnyttede på innovativ vis en række eksisterende rammer og data til at skabe en ramme for segmentering af tunger baseret på SegmentAnything og generere pseudoetiketter til de nyligt segmenterede data.

Artiklen siger:

‘[We] præsenterer den første ramme for overførsel af tungedynamik på tværs af identiteter ved genskabelse af ansigtsbevægelser. Med et kildebillede og en video, der styrer bevægelserne, overfører vores metode både ansigtsbevægelser og tungens artikulation til kildeidentiteten.

‘Den centrale indsigt i vores arbejde er, at syntese af tunger ikke kan behandles som et generisk problem med udfyldning af manglende billedområder. Tungen skal forankres rumligt i kildeansigtets geometri, som selv ændrer sig for hvert billede i videoen, der styrer bevægelserne.’

Systemet begynder med at overføre personens ansigtsbevægelser fra videoen, der styrer bevægelserne, til kildeansigtet ved hjælp af 3D Gaussian Splatting og ansigtsmodellen FLAME. Det giver et animeret ansigt med korrekt positur og ansigtsudtryk, men uden en tunge.

Arbejdsgangen i TongueReenact. Øverst: Tungemotiver identificeres, segmenteres og finjusteres manuelt for at træne en detektionsmodel. Nederst: Ansigtsbevægelser overføres fra en video, der styrer bevægelserne, til et kildeansigt, hvorefter en diffusionsmodel genererer den manglende tunge i den rette position.

Derefter bruges en Stable Diffusion-model til at generere den manglende tunge med udgangspunkt i dens udseende i videoen, der styrer bevægelserne, og geometrien i det rekonstruerede ansigt.

Om behovet for at afhjælpe denne mangel ved rekonstruktion af ansigter bemærker forfatterne*:

‘Ved udtryksfulde handlinger som latter, afsky eller overraskelse kan [the tongue] dominere den synlige del af munden fuldstændigt. Alligevel modellerer næsten alle eksisterende systemer til genskabelse af ansigtsbevægelser og avatarer enten mundhulens indre som et teksturløst tomrum eller lader det helt uden begrænsninger.

‘Denne forsømmelse er ikke tilfældig: Tungen er en særligt flygtig struktur, der er helt skjult i hvile, kun ses af og til under tale og pludselig bliver dominerende ved stærke ansigtsudtryk. Derfor er den grundlæggende set vanskelig at forene med den statiske parametriske modellering, der anvendes på resten af ansigtet.

‘Det er den centrale motivation for vores arbejde at tage fat på denne oversete udfordring.’

I testene klarede den nye metode sig markant bedre end fem konkurrerende systemer til ansigtsanimation og opnåede en nøjagtighedsfordel på mere end 100 % i forhold til den nærmeste konkurrent på centrale mål for tungens placering og størrelse – selv om det må indrømmes, at det er svært at udforme den slags test, når man bevæger sig ind på nyt territorium, og tidligere rammeværker kun i begrænset omfang eller slet ikke tager højde for den nye udfordring.

Lad os se nærmere på den nye tilgang.

Metode

For at udvikle et system, der kan identificere tunger i almindelige ansigtsoptagelser, blev datasættet NERSemble med optagelser af menneskehoveder fra flere vinkler anvendt sammen med syntetisk genererede billeder fra datasættet VFHQ, der indeholder over 16.000 ansigtsvideoer i høj kvalitet:

Tryk for at afspilleEt interessant, nærmest »tungeligt« eksempel på rekonstruktion af et strålingsfelt fra Nersemble-projektets websted. Tungen, der ses her, behandles dog som generisk geometri og har ikke noget særskilt domæne.Kilde 

Ansigtsparsingmodellen MaskGAN blev brugt til at lokalisere munden i hvert billede. Derefter blev den medicinske detektor TongueSAM brugt til at identificere det sandsynlige tungeområde, inden det blev sendt videre til SegmentAnything, som genererede en foreløbig kontur (dvs. en pseudomærkning) af den synlige tunge.

Eksempler fra datasættet TongueSAM, som er beregnet til medicinsk analyse og ikke til evaluering af ansigtsudtryk. Kilde

De resulterende masker blev inddelt i tre grupper alt efter, hvor meget af tungen der var synlig. Forkerte eksempler blev kasseret, og lovende masker blev rettet manuelt for at skelne tungen fra de omgivende læber, tænder og andet væv i munden. Disse forbedrede annoteringer blev brugt til at træne billedsegmenteringsnetværket BiSeNet.

Modellen blev derefter anvendt på yderligere NERSemble-personer og syntetiske VFHQ-billeder. Mennesker kontrollerede og rettede dens forudsigelser, inden den blev trænet videre – en proces, der blev gentaget, indtil ydeevnen på personer, som modellen ikke tidligere havde set, stabiliserede sig:

Arbejdsgang til at omdanne eksisterende data til data inden for »tungedomænet«.

Til syntese af tunger blev mundområdet, som BiSeNet havde identificeret, gjort en smule større, inden det blev sendt til diffusionsmodellen. Det gav den genererede tunge plads til at strække sig ud over den oprindelige segmentering, når mundens form ændrede sig.

Genereringen foregik i det latente rum i Stable Diffusion Image Variations, med særskilt vejledning baseret på den rekonstruerede ansigtsgeometri og den tunge, der var synlig i den styrende billedramme. Kun det identificerede mund- og tungeområde blev genereret på ny.

Den generative arbejdsgang. Henvisningen til DINO V2 i øverste venstre felt viser brugen af GAGAvatar (se nedenfor), som anvender DINO V2-udseendetræk sammen med FLAME.

Data og test

BiSeNet blev trænet med to outputklasser, der stammede fra de tidligere beskrevne databehandlingstrin: baggrund og tunge. Træningen omfattede 50.000 iterationer med en læringsrate på 10^-3, baseret på billeder på 512x512px og en batchstørrelse på 4, på én NVIDIA A40-GPU med 48GB VRAM. Træningsdataene bestod af de tidligere nævnte NERSemble- og VFHQ-billeder.

Til reenactment-delen blev den fortrænede Gaussian Splatting-rygrad GAGAvatar anvendt. Checkpointet Stable Diffusion Image Variations blev også brugt, mens VAE– og CLIP-koderen var frosset. Vejledningskoderne og denoise-UNET blev derefter trænet på NERSemble-dataene i 85.000 iterationer med en batchstørrelse på 8 og input på 512×512. Ved inferens blev der anvendt 20 DDIM-trin (for mange af de aktuelle diffusionsmodeller betragtes det som et højt antal, der skal fremme detaljegraden, men som uundgåeligt indebærer visse kompromiser).

De konkurrerende avatar-rammeværker, der blev testet, var GPAvatar, det anerkendte LivePortrait, X-NeMo og X-Portrait. Hvert af dem blev evalueret på 9.000 VFHQ-par på tværs af identiteter, bestående af kilde- og styringsbilleder.

De anvendte måltal var Lighed mellem indlærte perceptuelle billedudsnit (LPIPS), tungens tilstedeværelse (andelen af billedrammer, hvor en tunge registreres), tungens IoU (overlapningen mellem de genererede og de styrende tungeområder) og lighed i tungeareal (hvor tæt størrelsen på den genererede tunge svarede til størrelsen på den styrende tunge).

Testresultater, der sammenligner TongueReenact med fem konkurrerende frameworks til ansigtsgenopførelse. TongueReenact opnår det bedste resultat på alle fire tunge-specifikke målinger; pilene angiver, om lave eller høje værdier er bedst.

Om den indledende sammenligning skriver forfatterne:

‘Vores metode opnår de bedste resultater på alle fire målinger af tungeoverførsel med en Tongue IoU på 0.3582 og en Tongue Area Similarity på 0.4338, hvilket er mere end dobbelt så højt som den nærmeste konkurrents resultat og bekræfter en betydeligt mere præcis overførsel af tungens bevægelser.

‘Tongue Presence på 0.7891 viser desuden, at vores metode pålideligt syntetiserer synlige tungebevægelser, som eksisterende metoder ofte slet ikke formår at gengive.’

Nogle højdepunkter fra de mange kvalitative eksempler i forskningsartiklen. Her ser vi sammenligninger mellem den nye metode og de fem tidligere konkurrenter, som ingen af dem er i stand til at generere tunger. Se den originale artikel for flere eksempler og højere opløsning.

Selvom vi ikke selv kan vurdere det på grund af den nuværende mangel på supplerende videomateriale, testede forfatterne også systemets tidsmæssige konsistens ved hjælp af T-LPIPS:

Resultater af test af tidsmæssig konsistens.

Her bemærker forfatterne:

‘Vores fulde model opnår betydeligt mindre flowjitter (0.218543 vs. 0.622901) og flowstørrelse (0.513165 vs. 1.254073), hvilket bekræfter, at geometriankret støjreduktion skaber jævne og stabile tungebevægelser.

‘En lavere T-LPIPS-værdi bekræfter desuden, at syntese af tungebevægelser ikke går ud over den tidsmæssige sammenhæng.’

Konklusion

Effekten af den uhyggelige dal er gradvist ved at blive overvundet af nogle af de nyeste diffusionsbaserede videogenereringsmodeller. Der er dog ved at opstå en ny psykologisk barriere, hvor folk reagerer negativt på AI-genereret materiale af andre grunde end kvaliteten af det, de ser.

Det vil gøre kvalitativ evaluering vanskeligere, men jeg forestiller mig, at målinger baseret på »blinde« test (hvor brugeren gerne vil bedømme AI-resultater lavere, men er bange for også at bedømme ægte resultater lavere) kan bidrage til at udvikle en slags »skyggeskala« for AI-realisme.

Der forskes altså intensivt i at genskabe sekundære identitetstræk med AI, såsom hår, simulering af følelser, blikretning og nu også tungebevægelser, men indtil videre er det måske ikke så relevant.

* Min omdannelse af forfatternes indlejrede kildehenvisninger til hyperlinks.

Først udgivet onsdag den 11. november 2026