Geen tongen! AI-onderzoekers pakken ontbrekende anatomie in gezichtsanimaties aan

Gemist in 2026: Het is die tijd van het jaar waarin de kwaliteit en hoeveelheid onderzoek op en neer gaan, in de pas met de laatste paar conferenties van november en december. Om deze sporadische periodes van schaarste te overbruggen, bekijken we enkele van de interessantste artikelen die in 2026 net buiten de selectie vielen, maar door andere werken werden verdrongen tijdens competitievere indieningsrondes.

Tot voor kort hadden makers van deepfakes, zowel amateurs als professionals, belangrijkere zaken om zich mee bezig te houden dan de vraag of de gereconstrueerde mens wel een tong leek te hebben. De tong is immers het meest grillige onderdeel van het gezicht: bij ‘mompelaars’ is hij helemaal niet te zien en in de meeste normale situaties slechts af en toe.

Als je hem dan toch nodig hebt, ontbreekt hij dus in AI-reconstructies. Nu reconstructies met op diffusie gebaseerde methoden door amateurs een verbluffend realisme bereiken en we steeds kritischer worden ten aanzien van AI-mensen, is het misschien tijd om dit probleem aan te pakken.

Het probleem aanpakken

In juli presenteerde een academische samenwerking tussen Australië en China een pipeline om het gebrek aan tongsimulatie in AI-workflows aan te pakken. Het voorgestelde raamwerk, met de naam TongueReenact, zet vrijwel alle methoden uit het deepfake-arsenaal in om het probleem op te lossen, waaronder Gaussian Splatting, parametrische mensmodellen, Neural Radiance Fields (NeRF) en videogeneratie op basis van diffusie (sorry GANs, jullie zijn niet geselecteerd).

Hierboven staat de opname van de echte bestuurder, waarvan de kenmerken worden overgebracht op de TongueReenact-render eronder. Bron

Hoewel de code die het project beloofde sinds de publicatie van het artikel niet lijkt te zijn verschenen en er nog geen aanvullende video is uitgebracht, is dit toch een baanbrekend werk. Het is namelijk het eerste dat tongen in AI-reconstructies aanpakt buiten de medische wereld, en ook het nijpende gebrek aan geannoteerde gegevens behandelt, die essentieel zijn voor elke voorgestelde oplossing.

De onderzoekers maakten op innovatieve wijze gebruik van uiteenlopende bestaande raamwerken en gegevens om een raamwerk voor tongsegmentatie op basis van SegmentAnything te ontwikkelen en pseudolabels te genereren voor de nieuw gesegmenteerde gegevens.

In het artikel staat:

‘[We] presenteren het eerste raamwerk voor het overbrengen van tongbewegingen tussen verschillende identiteiten bij gezichtsreconstructie. Op basis van een bronbeeld en een aandrijfvideo brengt onze methode zowel gezichtsbewegingen als tongbewegingen over op de identiteit in het bronbeeld.

‘Het centrale inzicht van ons werk is dat het genereren van een tong niet kan worden behandeld als een algemeen probleem van het invullen van ontbrekende delen. De tong moet ruimtelijk worden afgestemd op de geometrie van het brongezicht, die zelf met elk beeld uit de aandrijfvideo verandert.’

Het systeem brengt eerst de gezichtsbewegingen van de persoon in de aandrijfvideo over op het brongezicht, met behulp van 3D Gaussian Splatting en het gezichtsmodel FLAME. Zo ontstaat een geanimeerd gezicht met de juiste pose en gezichtsuitdrukking, maar nog zonder tong.

De TongueReenact-workflow. Boven: tongbeelden worden geïdentificeerd, gesegmenteerd en handmatig verfijnd om een detectiemodel te trainen. Onder: gezichtsbewegingen worden overgebracht van een aandrijfvideo naar een brongezicht, waarna een diffusiemodel de ontbrekende tong op de juiste plek genereert.

Vervolgens wordt een model van Stable Diffusion gebruikt om de ontbrekende tong te genereren, waarbij het model zich laat leiden door het uiterlijk ervan in de aandrijfvideo en door de geometrie van het gereconstrueerde gezicht.

Over de noodzaak om deze tekortkoming in gezichtsreconstructie aan te pakken, merken de auteurs* het volgende op:

‘Bij expressieve handelingen zoals lachen, walging of verrassing kan [the tongue] de zichtbare mondzone volledig domineren. Toch modelleren bijna alle bestaande systemen voor gezichtsreconstructie en avatars de binnenkant van de mond als een structuurloze leegte, of laten ze die volledig onbeperkt.

‘Deze verwaarlozing is niet toevallig: de tong is een uitzonderlijk vluchtige structuur, die in rust volledig verborgen is, tijdens het spreken af en toe zichtbaar wordt en bij extreme gezichtsuitdrukkingen plotseling de hoofdrol opeist. Daardoor is de tong fundamenteel ongeschikt voor de statische parametrische modellering die op de rest van het gezicht wordt toegepast.

‘Het aanpakken van deze over het hoofd geziene uitdaging vormt de belangrijkste drijfveer achter ons werk.’

In tests presteerde de nieuwe methode aanzienlijk beter dan vijf concurrerende systemen voor gezichtsanimatie. Op belangrijke maatstaven voor de positie en grootte van de tong behaalde ze een nauwkeurigheidsvoordeel van meer dan 100% ten opzichte van de naaste concurrent. Wel moet worden erkend dat dit soort tests moeilijk op te zetten is wanneer je baanbrekend werk verricht en eerdere raamwerken nauwelijks of helemaal geen aandacht besteden aan de nieuwe uitdaging.

Laten we de nieuwe aanpak eens nader bekijken.

Methode

Om een systeem te ontwikkelen dat tongen kan herkennen in gewone gezichtsbeelden, werd de dataset NERSemble met opnamen van menselijke hoofden vanuit meerdere gezichtspunten gebruikt, naast synthetisch gegenereerde frames uit de dataset VFHQ, die meer dan 16.000 hoogwaardige gezichts video’s bevat:

Druk om af te spelen Een interessant ‘taalkundig’ voorbeeld van Radiance Field-reconstructie op de projectsite van Nersemble. De tong die hier te zien is, wordt echter behandeld als generieke geometrie en heeft geen afzonderlijk domein. Bron 

Het gezichtsparseermodel MaskGAN werd gebruikt om de mond in elke afbeelding te lokaliseren. Vervolgens werd de medische detector TongueSAM ingezet om het waarschijnlijke tonggebied te bepalen, waarna dit werd doorgegeven aan SegmentAnything. Daarmee werd een eerste omtrek (oftewel pseudo-label) van de zichtbare tong gegenereerd.

Voorbeelden uit de TongueSAM-dataset, bedoeld voor analytisch medisch gebruik en niet voor de beoordeling van gezichtsuitdrukkingen. Bron

De resulterende maskers werden ingedeeld in drie groepen, afhankelijk van hoeveel van de tong zichtbaar was. Onjuiste voorbeelden werden verwijderd en veelbelovende maskers werden handmatig gecorrigeerd, zodat de tong kon worden onderscheiden van de omliggende lippen, tanden en ander mondweefsel. Deze verfijnde annotaties werden gebruikt om het beeldsegmentatienetwerk BiSeNet te trainen.

Vervolgens werd het model toegepast op aanvullende proefpersonen uit NERSemble en synthetische VFHQ-frames. Mensen controleerden en corrigeerden de voorspellingen voordat het model verder werd getraind. Dit proces werd herhaald totdat de prestaties op proefpersonen die het model nog niet eerder had gezien stabiel waren:

Pijplijn voor het omzetten van bestaande gegevens naar gegevens uit het ‘tongdomein’.

Voor de synthese van tongen werd het door BiSeNet geïdentificeerde mondgebied iets vergroot voordat het naar het diffusiemodel werd gestuurd. Zo kreeg de gegenereerde tong ruimte om buiten de oorspronkelijke segmentatie uit te steken wanneer de mond van vorm veranderde.

De generatie vond plaats in de latente ruimte van Stable Diffusion Image Variations, met afzonderlijke sturing op basis van de gereconstrueerde gezichtsgeometrie en de tong die zichtbaar was in het aansturende frame. Alleen het geïdentificeerde mond-/tonggebied werd opnieuw gegenereerd.

De generatieve pijplijn. De verwijzing naar DINO V2 in het kwadrant linksboven omvat het gebruik van GAGAvatar (zie hieronder), dat de uiterlijke kenmerken van DINO V2 combineert met FLAME.

Gegevens en tests

BiSeNet werd getraind op twee uitvoerklassen die waren afgeleid van de eerder beschreven gegevensverwerkingsstappen: achtergrond en tong. De training omvatte 50.000 iteraties met een leersnelheid van 10^-3, op afbeeldingen van 512x512px en met een batchgrootte van 4, op één NVIDIA A40-GPU met 48GB VRAM. De trainingsgegevens bestonden uit de eerder genoemde frames uit NERSemble en VFHQ.

Voor het gedeelte over het naspelen van gezichtsuitdrukkingen werd de voorgetrainde Gaussian Splatting-basisarchitectuur GAGAvatar gebruikt. Ook werd het controlepunt Stable Diffusion Image Variations gebruikt, waarbij de VAE– en CLIP-encoder bevroren waren. Vervolgens werden de Guidance-encoders en de ruisverwijderende UNET getraind op de NERSemble-gegevens, gedurende 85.000 iteraties met batchgrootte 8 en invoer van 512×512. Voor de inferentie werden 20 DDIM-stappen gebruikt (voor veel huidige diffusiemodellen geldt dit als een hoog aantal, bedoeld om details te benadrukken, met bepaalde onvermijdelijke afwegingen).

De geteste concurrerende avatarraamwerken waren GPAvatar, het veelgeprezen LivePortrait, X-NeMo en X-Portrait. Elk daarvan werd beoordeeld aan de hand van 9.000 VFHQ-bron-/aansturingsparen met verschillende identiteiten.

De gebruikte maatstaven waren geleerde perceptuele gelijkenis van beeldpatches (LPIPS), tongaanwezigheid (het aandeel frames waarin een tong wordt gedetecteerd), IoU van de tong (de overlap tussen de gegenereerde tonggebieden en de tonggebieden in het aansturende beeld) en gelijkenis van het tongoppervlak (de mate waarin de grootte van de gegenereerde tong overeenkomt met die van de tong in het aansturende beeld).

Testresultaten waarin TongueReenact wordt vergeleken met vijf concurrerende frameworks voor gezichtsre-enactment. TongueReenact behaalt de beste resultaten op alle vier de tongspecifieke meetwaarden; de pijlen geven aan of lagere of hogere scores beter zijn.

Over de eerste vergelijking schrijven de auteurs:

‘Onze methode presteert het best op alle vier de meetwaarden voor tongoverdracht, met een IoU van de tong van 0.3582 en een overeenkomst van het tongoppervlak van 0.4338, meer dan twee keer zo hoog als die van de dichtstbijzijnde concurrent. Dit bevestigt dat de tongbeweging aanzienlijk nauwkeuriger wordt overgedragen.

‘De score van 0.7891 voor de aanwezigheid van de tong laat bovendien zien dat onze methode op betrouwbare wijze zichtbare tongbewegingen genereert, terwijl bestaande methoden vaak helemaal geen tong laten zien.’

Enkele hoogtepunten uit de uitgebreide kwalitatieve voorbeelden in het oorspronkelijke artikel. Hier zien we vergelijkingen tussen de nieuwe aanpak en de vijf eerdere alternatieven, die geen van alle tongen kunnen genereren. Raadpleeg het oorspronkelijke artikel voor meer voorbeelden en een hogere resolutie.

Hoewel we dit zelf niet kunnen beoordelen doordat er momenteel geen aanvullende videobeelden beschikbaar zijn, hebben de auteurs het systeem ook getest op temporele consistentie met behulp van T-LPIPS:

Resultaten van tests op temporele consistentie.

De auteurs merken hierover op:

‘Ons volledige model vertoont aanzienlijk minder jitter in de optische stroom (0.218543 tegenover 0.622901) en een kleinere magnitude van de optische stroom (0.513165 tegenover 1.254073). Dit bevestigt dat geometriegestuurde denoising zorgt voor vloeiende en stabiele tongbewegingen.

‘De lagere T-LPIPS-score bevestigt bovendien dat het genereren van tongbewegingen niet ten koste gaat van de temporele samenhang.’

Conclusie

Het effect van de griezelval wordt geleidelijk overwonnen door enkele van de nieuwste op diffusie gebaseerde videomodellen. Er begint zich echter een nieuwe psychologische drempel af te tekenen: mensen staan negatief tegenover door AI gegenereerd materiaal om andere redenen dan de kwaliteit van wat ze bekijken.

Dit dreigt kwalitatieve evaluatie ingewikkelder te maken. Toch zouden meetmethoden op basis van ‘blinde’ tests (waarbij de gebruiker AI-uitvoer wil afwaarderen, maar bang is ook echte uitvoer lager te waarderen) kunnen helpen bij het ontwikkelen van een soort ‘schaduwschaal’ voor de mate waarin AI-beelden realistisch zijn.

Daarom zijn onderzoekslijnen naar het met AI nabootsen van secundaire identiteitskenmerken zoals haar, het simuleren van emoties, de blikrichting en nu ook tongbewegingen misschien voorlopig niet relevant.

* Mijn omzetting van de verwijzingen in de tekst van de auteurs naar hyperlinks.

Voor het eerst gepubliceerd op woensdag 11 november 2026