Inga tungor! AI-forskare tar sig an den saknade anatomin i ansiktsanimation

Förbisett 2026: Det är den tiden på året då forskningsscenen växlar mellan toppar och dalar i kvalitet och volym i takt med de sista konferenserna i november och december. För att ta oss igenom dessa perioder av sporadisk svält går vi igenom några av de mer intressanta artiklar som nästan kom med 2026, men som konkurrerades ut av andra arbeten under mer konkurrensutsatta inskickningsperioder.

Fram till nyligen hade deepfake-utövare, både amatörer och proffs, större problem att ta itu med än frågan om den återskapade människan verkade ha en tunga eller inte. Tungans rörelser är trots allt de mest oberäkneliga av ansiktets rörelser – den syns inte alls hos personer som mumlar och observeras bara då och då i de flesta normala sammanhang.

När man väl behöver den finns den därför inte där, åtminstone inte i AI-rekonstruktioner. I ett läge där amatörmässig, diffusionsbaserad rekonstruktion har nått en häpnadsväckande nivå av realism och vår kritiska blick på AI-människor blir allt skarpare är det kanske dags att ta itu med problemet.

Att ta itu med problemet

I juli presenterade ett akademiskt samarbete mellan Australien och Kina en lösningskedja för att komma till rätta med bristen på tungesimulering i AI-arbetsflöden. Den föreslagna metoden, som fått namnet TongueReenact, tar i princip till varje metod i deepfake-verktygslådan för att lösa problemet, däribland gaussisk splatting, parametriska människomodeller, neurala strålningsfält (NeRF) och videogenerering baserad på diffusion (förlåt, GAN:er, ni kom inte med den här gången).

Ovan: den verkliga inspelningen av personen som styr rörelserna, vars egenskaper överförs till TongueReenact-renderingen nedanför. Källa

Även om projektets utlovade kod inte verkar ha publicerats sedan artikeln kom ut och någon kompletterande video ännu inte har släppts, är detta ändå ett banbrytande bidrag. Det är det första arbetet som tar sig an tungan i AI-baserad rekonstruktion utanför det medicinska området – och som tar itu med den kritiska bristen på annoterade data, vilka är avgörande för alla föreslagna lösningar.

Forskarna använde på ett nyskapande sätt en mängd befintliga ramverk och data för att skapa ett ramverk för tungsegmentering baserat på SegmentAnything och generera pseudomärkningar för de nyligen segmenterade datauppgifterna.

I artikeln står det:

”[We] presenterar det första ramverket för överföring av tungdynamik mellan olika identiteter vid ansiktsåterskapande. Med en källbildruta och en styrvideo som indata överför vår metod både ansiktsrörelser och tungartikulation till källidentiteten.

”Den centrala insikten i vårt arbete är att tunggenerering inte kan behandlas som ett generiskt problem med bildifyllnad. Tungan måste förankras rumsligt i källans ansiktsgeometri, som i sin tur förändras för varje bildruta i styrvideon.”

Systemet börjar med att överföra den styrande personens ansiktsrörelser till källans ansikte med hjälp av 3D-gaussisk splatting och ansiktsmodellen FLAME. Resultatet blir ett animerat ansikte med rätt posering och uttryck, men utan tunga.

Arbetsflödet i TongueReenact. Överst: Tungbilder identifieras, segmenteras och finjusteras manuellt för att träna en detektionsmodell. Nederst: Ansiktsrörelser överförs från en styrvideo till ett källansikte, varefter en diffusionsmodell genererar den saknade tungan på rätt plats.

En modell från Stable Diffusion används sedan för att generera den saknade tungan, med vägledning av hur den ser ut i styrvideon och av den rekonstruerade ansiktets geometri.

Om behovet av att åtgärda denna brist i ansiktsrekonstruktion konstaterar författarna*:

”Vid uttrycksfulla handlingar som skratt, avsky eller förvåning kan [the tongue] dominera hela det synliga området i munnen. Ändå modellerar nästan alla befintliga system för ansiktsåterskapande och avatarer antingen munhålans insida som ett texturlöst tomrum eller lämnar den helt utan begränsningar.

”Denna försummelse är ingen tillfällighet. Tungan är en unik och föränderlig struktur: den är helt dold när ansiktet vilar, syns då och då under tal och blir plötsligt dominerande vid extrema ansiktsuttryck. Därför står den i grunden emot den statiska parametriska modellering som används för resten av ansiktet.

”Att ta itu med denna förbisedda utmaning är den centrala drivkraften bakom vårt arbete.”

I testerna presterade den nya metoden betydligt bättre än fem konkurrerande system för ansiktsanimation och uppnådde ett noggrannhetsövertag på mer än 100 procent över sin närmaste konkurrent på viktiga mått för tungans position och storlek. Samtidigt måste man medge att sådana tester är svåra att utforma när man bryter ny mark och tidigare ramverk bara i liten utsträckning, eller inte alls, hanterar den nya utmaningen.

Låt oss titta närmare på den nya metoden.

Metod

För att utveckla ett system som kan identifiera tungor i vanliga ansiktsfilmer användes datasetet NERSemble med flervy-inspelningar av människohuvuden, tillsammans med syntetiskt genererade bildrutor från datasetet VFHQ, som innehåller över 16 000 högkvalitativa ansiktsvideor:

Tryck för att spela upp Ett intressant exempel på en ”lingual” rekonstruktion av ett radiansfält från projektwebbplatsen Nersemble. Tungan som syns här behandlas dock som generisk geometri och tillhör ingen särskild domän. Källa 

Modellen för ansiktsparsning MaskGAN användes för att lokalisera munnen i varje bild. Därefter användes den medicinska detektorn TongueSAM för att identifiera det sannolika tungområdet, innan det skickades vidare till SegmentAnything, som genererade en första kontur (det vill säga en pseudomärkning) av den synliga tungan.

Exempel från datasetet TongueSAM, avsett för analytisk medicinsk användning snarare än utvärdering av ansiktsuttryck. Källa

De resulterande maskerna delades in i tre grupper utifrån hur mycket av tungan som var synlig. Felaktiga exempel sorterades bort, och lovande masker korrigerades manuellt för att skilja tungan från de omgivande läpparna, tänderna och annan vävnad i munnen. Dessa förfinade annoteringar användes för att träna nätverket BiSeNet för bildsegmentering.

Modellen användes sedan på ytterligare personer från NERSemble och syntetiska bildrutor från VFHQ. Människor granskade och korrigerade modellens förutsägelser innan den tränades vidare – en process som upprepades tills prestandan på personer som modellen inte hade sett tidigare stabiliserades:

Pipeline för att parsa befintliga data till data inom ”tungdomänen”.

För att syntetisera tungor förstorades det orala området som identifierats av BiSeNet något innan det skickades till diffusionsmodellen. Därmed fick den genererade tungan utrymme att sträcka sig utanför den ursprungliga segmenteringen när munnen ändrade form.

Genereringen utfördes i det latenta rummet i Stable Diffusion Image Variations, med separat vägledning som hämtades från den rekonstruerade ansiktsgeometrin respektive tungan i den styrande bildrutan. Endast det identifierade mun-/tungområdet genererades på nytt.

Den generativa pipelinen. Hänvisningen till DINO V2 i det övre vänstra fältet illustrerar användningen av GAGAvatar (se nedan), som kombinerar DINO V2:s utseendefunktioner med FLAME.

Data och tester

BiSeNet tränades med två utdataklasser som härrörde från de tidigare beskrivna stegen i databearbetningen: bakgrund och tunga. Träningen omfattade 50 000 iterationer med en inlärningshastighet på 10^-3, med bilder på 512 × 512 pixlar och batchstorlek 4, på en enda NVIDIA A40-GPU med 48 GB VRAM. Träningsdata bestod av de tidigare nämnda bildrutorna från NERSemble och VFHQ.

För reenactment-delen användes det förtränade ryggradsnätverket GAGAvatar för Gaussian Splatting. Även kontrollpunkten Stable Diffusion Image Variations användes, med VAE– och CLIP-kodarna frysta. Vägledningskodarna och den brusreducerande UNET tränades sedan på NERSemble-data i 85 000 iterationer med batchstorlek 8 och indata på 512 × 512 pixlar. Vid inferens användes 20 DDIM-steg (för många av dagens diffusionsmodeller betraktas detta som ett stort antal, valt för att gynna detaljrikedom, med vissa oundvikliga avvägningar).

De konkurrerande avatar-ramverk som testades var GPAvatar, det hyllade LivePortrait, X-NeMo och X-Portrait. Vart och ett utvärderades mot 9 000 VFHQ-par med olika identiteter för källa och styrning.

Måtten som användes var Inlärd perceptuell likhet mellan bildutsnitt (LPIPS), Tungans förekomst (andelen bildrutor där en tunga upptäcks), Tungans IoU (överlappningen mellan den genererade tungregionen och tungregionen i styrbilden) samt Likhet i tungarea (hur väl storleken på den genererade tungan motsvarade storleken på tungan i styrbilden).

Testresultat där TongueReenact jämförs med fem konkurrerande ramverk för ansiktsåterskapande. TongueReenact uppnår bäst resultat på alla fyra tungrelaterade mätvärden; pilarna visar om lägre eller högre värden är att föredra.

Om den inledande jämförelsen skriver författarna:

‘Vår metod uppnår bäst resultat på alla fyra mätvärdena för tungöverföring, med ett Tongue IoU på 0.3582 och en Tongue Area Similarity på 0.4338, vilket är mer än dubbelt så högt som närmaste konkurrent. Detta bekräftar att överföringen av tungans rörelser är betydligt mer exakt.

‘Tongue Presence på 0.7891 visar dessutom att vår metod tillförlitligt syntetiserar synliga tungartikulationer, medan befintliga metoder ofta inte genererar några alls.’

Några höjdpunkter från några av de många kvalitativa exempel som visas i källartikeln. Här ser vi jämförelser mellan den nya metoden och de fem tidigare metoderna, som ingen av dem kan generera tungor. Se originalartikeln för fler exempel och högre upplösning.

Även om vi inte själva kan bedöma det, eftersom det för närvarande saknas kompletterande videomaterial, testade författarna också systemets tidsmässiga konsistens med hjälp av T-LPIPS:

Resultat från tester av tidsmässig konsistens.

Författarna kommenterar:

‘Vår fullständiga modell ger betydligt mindre flödesflimmer (0.218543 jämfört med 0.622901) och flödesmagnitud (0.513165 jämfört med 1.254073), vilket bekräftar att geometriförankrad avbrusning ger jämna och stabila tungrörelser.

‘Lägre T-LPIPS bekräftar dessutom att tungsyntesen inte försämrar den tidsmässiga koherensen.’

Slutsats

Effekten av den kusliga dalen håller gradvis på att övervinnas av några av de senaste diffusionsbaserade videomodellerna. Samtidigt börjar en ny psykologisk barriär visa sig: människor har en negativ inställning till AI-genererat material av andra skäl än kvaliteten på det de tittar på.

Det här kommer sannolikt att försvåra den kvalitativa utvärderingen, även om jag antar att mått baserade på ”blinda” tester (där användaren vill ge AI-resultatet ett lägre betyg, men är rädd för att ge verkligt material ett lägre betyg) skulle kunna bidra till att utveckla en sorts ”skala i skymundan” för AI-realism.

Därför kan det för tillfället vara frågor utan större betydelse att AI används för att återskapa sekundära identitetsdrag som hår, simulering av känslor, blick och nu tungans rörelser, trots att det bedrivs omfattande forskning inom dessa områden.

* Min omvandling av författarnas källhänvisningar i löptexten till hyperlänkar.

Först publicerad onsdag 11 november 2026