Ingen tunger! KI-forskere tar for seg manglende anatomi i ansiktsanimasjon

Oversett i 2026: Det er den tiden på året da forskningsmiljøet svinger i både kvalitet og omfang, i takt med de siste konferansene i november og desember. For å komme oss gjennom disse sporadiske tørkeperiodene ser vi nærmere på noen av de mer interessante artiklene som nesten kom med i utvalget i 2026, men ble forbigått av andre arbeider i perioder med hardere konkurranse om plassene.

Inntil nylig hadde deepfake-utøvere, både amatører og profesjonelle, større bekymringer enn om det rekonstruerte mennesket så ut til å ha en tunge. Tungen er tross alt det mest lunefulle av ansiktstrekkene – den er ikke synlig i det hele tatt hos «mumlere», og kommer bare til syne av og til i de fleste vanlige sammenhenger.

Når du faktisk trenger den, er den derfor ikke der – i hvert fall ikke i KI-rekonstruksjoner. I en tid der amatørbasert rekonstruksjon med diffusjonsmodeller har nådd et forbløffende nivå av realisme, og vi blir stadig mer kritiske til KI-genererte mennesker, er det kanskje på tide å ta tak i problemet.

En tung utfordring

I juli presenterte et akademisk samarbeid mellom Australia og Kina en arbeidsflyt for å håndtere mangelen på tungesimulering i KI-arbeidsflyter. Rammeverket, som har fått navnet TongueReenact, tar i bruk praktisk talt alle metodene i deepfake-verktøykassen for å løse problemet, blant annet gaussisk splatting, parametriske menneskemodeller, nevrale strålingsfelt (NeRF) og videogenerering basert på diffusjonsmodeller (beklager, GAN-er, dere kom ikke med her).

Over: Opptak av den virkelige personen som styrer animasjonen, og hvis egenskaper overføres til TongueReenact-gjengivelsen nedenfor. Kilde

Selv om den lovede koden til prosjektet ikke ser ut til å ha blitt gjort tilgjengelig etter at artikkelen ble publisert, og det ennå ikke er offentliggjort noen tilleggs video, er dette likevel et banebrytende bidrag. Det er det første arbeidet som tar for seg tungen i KI-basert rekonstruksjon utenfor det medisinske feltet – og den kritiske mangelen på annoterte data, som er avgjørende for enhver foreslått løsning.

Forskerne tok i bruk en nyskapende kombinasjon av eksisterende rammeverk og data for å lage et rammeverk for tungesegmentering basert på SegmentAnything og generere pseudomerkinger for de nylig segmenterte dataene.

I artikkelen står det:

«[We] presenterer det første rammeverket for overføring av tungedynamikk mellom ulike identiteter ved ansiktsanimasjon. Gitt et kildebilde og en styringsvideo overfører metoden vår både ansiktsbevegelser og tungebevegelser til kildeidentiteten.»

«Hovedinnsikten i arbeidet vårt er at tungesyntese ikke kan behandles som et generisk problem med utfylling av manglende områder. Tungen må forankres romlig i kildeansiktets geometri, som selv endrer seg for hvert bilde i styringsvideoen.»

Systemet begynner med å overføre styringspersonens ansiktsbevegelser til kildeansiktet ved hjelp av 3D-gaussisk splatting og ansiktsmodellen FLAME. Dette gir et animert ansikt med riktig positur og uttrykk, men uten tunge.

Arbeidsflyten i TongueReenact. Øverst: Tungebilder identifiseres, segmenteres og finjusteres manuelt for å trene en deteksjonsmodell. Nederst: Ansiktsbevegelser overføres fra en styringsvideo til et kildeansikt, før en diffusjonsmodell genererer den manglende tungen på riktig sted.

Deretter brukes en modell fra Stable Diffusion til å generere den manglende tungen, styrt av hvordan den ser ut i styringsvideoen og geometrien til det rekonstruerte ansiktet.

For å begrunne behovet for å rette opp denne mangelen i ansiktsrekonstruksjon påpeker forfatterne*:

«Ved uttrykksfulle handlinger som latter, avsky eller overraskelse kan [the tongue] dominere den synlige delen av munnen fullstendig. Likevel modellerer nesten alle eksisterende systemer for ansiktsanimasjon og avatarer enten munnhulen som et teksturløst tomrom eller lar den være helt uten begrensninger.

«Denne forsømmelsen er ikke tilfeldig. Tungen er en helt særegen, flyktig struktur: Den er fullstendig skjult når ansiktet hviler, kommer til syne bare av og til under tale og blir plutselig dominerende ved ekstreme ansiktsuttrykk. Derfor lar den seg i utgangspunktet ikke modellere med de statiske parametriske metodene som brukes på resten av ansiktet.

«Det er den sentrale motivasjonen for arbeidet vårt å ta tak i denne oversette utfordringen.»

I tester presterte den nye metoden betydelig bedre enn fem konkurrerende systemer for ansiktsanimasjon, med et nøyaktighetsfortrinn på over 100 % sammenlignet med nærmeste konkurrent på viktige mål for tungens plassering og størrelse – selv om det må innrømmes at slike tester er vanskelige å utforme når man utforsker nytt terreng, og tidligere rammeverk i liten grad eller ikke i det hele tatt har tatt for seg den nye utfordringen.

La oss se nærmere på den nye tilnærmingen.

Metode

For å utvikle et system som kan identifisere tunger i vanlige ansiktsopptak, ble datasettet med flervinkelsopptak av menneskehoder fra NERSemble brukt sammen med syntetisk genererte bilder fra datasettet VFHQ, som inneholder over 16 000 ansiktsvideoer av høy kvalitet:

Trykk for å spille avEt interessant «tungemålende» eksempel på rekonstruksjon av strålingsfelt fra Nersemble-prosjektets nettsted. Tungen som vises her, behandles imidlertid som generell geometri og har ikke noe eget domene.Kilde 

Ansiktsparsingmodellen MaskGAN ble brukt til å lokalisere munnen i hvert bilde. Deretter ble den medisinske detektoren TongueSAM brukt til å finne det sannsynlige tungeområdet, før dette ble sendt videre til SegmentAnything, som genererte en første omrisslinje (det vil si en pseudomerking) av den synlige tungen.

Eksempler fra TongueSAM-datasettet, beregnet på medisinsk analysebruk snarere enn evaluering av ansiktsuttrykk. Kilde

De resulterende maskene ble delt inn i tre grupper etter hvor mye av tungen som var synlig. Feilaktige eksempler ble forkastet, mens lovende masker ble korrigert manuelt for å skille tungen fra omkringliggende lepper, tenner og annet vev i munnen. Disse forbedrede annoteringene ble brukt til å trene bilde segmenteringsnettverket BiSeNet.

Modellen ble deretter brukt på flere personer fra NERSemble og syntetiske VFHQ-bilder. Mennesker kontrollerte og korrigerte prediksjonene før videre trening – en prosess som ble gjentatt til ytelsen på personer modellen ikke hadde sett tidligere, stabiliserte seg:

Arbeidsflyt for å bearbeide eksisterende data til data med «tungedomene».

For å syntetisere tunger ble munnregionen som BiSeNet hadde identifisert, utvidet noe før den ble sendt til diffusjonsmodellen. Dermed fikk den genererte tungen rom til å strekke seg utenfor den opprinnelige segmenteringen når munnens form endret seg.

Genereringen foregikk i det latente rommet til Stable Diffusion Image Variations, med separat veiledning basert på den rekonstruerte ansiktsgeometrien og tungen som var synlig i styringsbildet. Bare den identifiserte munn-/tungeregionen ble generert på nytt.

Den generative arbeidsflyten. Henvisningen til DINO V2 i øvre venstre kvadrant viser bruken av GAGAvatar (se nedenfor), som bruker DINO V2-utseendetrekk sammen med FLAME.

Data og tester

BiSeNet ble trent på to utgangsklasser fra de ovennevnte databehandlingstrinnene: bakgrunn og tunge. Treningen besto av 50 000 iterasjoner med en læringsrate på 10^-3, ved bruk av bilder på 512 x 512 piksler, med en batchstørrelse på 4, på én NVIDIA A40-GPU med 48 GB VRAM. Treningsdataene besto av de ovennevnte bildene fra NERSemble og VFHQ.

Til reenactment-delen ble den forhåndstrente Gaussian Splatting-bakgrunnsmodellen GAGAvatar brukt. Kontrollpunktet for Stable Diffusion Image Variations ble også brukt, med VAE– og CLIP-koderen fryst. Veiledningskoderne og denoise-UNET ble deretter trent på NERSemble-dataene i 85 000 iterasjoner med batchstørrelse 8 og inndata på 512 x 512 piksler. Ved inferens ble det brukt 20 DDIM-trinn (for mange av dagens diffusjonsmodeller regnes dette som et høyt antall, valgt for å prioritere detaljer, med visse uunngåelige avveininger).

Følgende konkurrerende avatar-rammeverk ble testet: GPAvatar, den kritikerroste LivePortrait, X-NeMo og X-Portrait. Hvert av dem ble evaluert mot 9 000 VFHQ-par på tvers av identiteter, med kilde- og styringsbilder.

Måltallene som ble brukt, var Lært perseptuell likhet mellom bildeflak (LPIPS), tungeforekomst (andelen bilder der en tunge oppdages), tunge-IoU (overlappet mellom de genererte og styrende tungeområdene) og likhet i tungeareal (hvor godt størrelsen på den genererte tungen samsvarte med størrelsen på tungen i styringsbildet).

Testresultater som sammenligner TongueReenact med fem konkurrerende rammeverk for ansiktsreenactment. TongueReenact oppnår best resultat på alle de fire måleparameterne som gjelder tungen; pilene viser om lavere eller høyere skårer er å foretrekke.

Om den innledende sammenligningen skriver forfatterne:

«Metoden vår oppnår best ytelse på alle de fire måleparameterne for tungeoverføring, med en IoU for tungen på 0,3582 og en likhet i tungeareal på 0,4338 – mer enn dobbelt så høyt som nærmeste konkurrent. Dette bekrefter at overføringen av tungedynamikk er betydelig mer nøyaktig.

«En tungetilstedeværelse på 0,7891 viser dessuten at metoden vår pålitelig syntetiserer synlige tungebevegelser, mens eksisterende metoder ofte ikke genererer noen.

Noen høydepunkter fra de mange omfattende kvalitative eksemplene som vises i kildedokumentet. Her ser vi sammenligninger mellom den nye tilnærmingen og de fem tidligere konkurrentene, som ingen av dem er i stand til å generere tunger. Se originalartikkelen for flere eksempler og høyere oppløsning.

Selv om vi ikke kan vurdere dette selv, siden det foreløpig mangler supplerende videomateriale, testet forfatterne også systemets tidsmessige konsistens ved hjelp av T-LPIPS:

Resultater fra tester av tidsmessig konsistens.

Her kommenterer forfatterne:

«Hele modellen vår gir betydelig mindre fluktuasjon i flyten (0,218543 mot 0,622901) og lavere flytstørrelse (0,513165 mot 1,254073). Dette bekrefter at geometriankret denoising gir jevne og stabile tungebevegelser.

«Lavere T-LPIPS bekrefter dessuten at syntese av tunger ikke går på bekostning av tidsmessig sammenheng.»

Konklusjon

Effekten av den uhyggelige dalen overvinnes gradvis av noen av de nyeste videomodellene basert på diffusjon. Det begynner imidlertid å vise seg en ny psykologisk barriere: Folk reagerer negativt på AI-generert innhold av andre grunner enn kvaliteten på det de ser på.

Dette kommer til å gjøre kvalitativ evaluering vanskeligere, men jeg antar at måleparametere basert på «blinde» tester – der brukeren ønsker å gi AI-resultater en dårligere vurdering, men er redd for å gi ekte resultater en dårligere vurdering – kan bidra til å utvikle en slags «skala i skyggene» for hvor realistisk AI er.

Derfor kan sterke forskningsretninger innen AI-basert gjenskaping av sekundære identitetstrekk som hår, simulering av følelser, blikk og nå tungebevegelser foreløpig være irrelevante.

* Min konvertering av forfatternes henvisninger i teksten til hyperlenker.

Først publisert onsdag 11. november 2026