Keine Zungen! KI-Forschende schließen eine anatomische Lücke in der Gesichtsanimation

2026 knapp verpasst: Es ist die Zeit des Jahres, in der Qualität und Umfang der Forschungsszene im Gleichschritt mit den letzten Konferenzen im November und Dezember zu- und abnehmen. Um diese sporadischen Durststrecken zu überbrücken, werfen wir einen Blick auf einige der interessanteren Arbeiten, die es 2026 beinahe geschafft hätten, dann aber in wettbewerbsintensiveren Einreichungsphasen von anderen Arbeiten verdrängt wurden.

Bis vor Kurzem hatten Deepfake-Anwender – ob Amateur oder Profi – größere Sorgen, als sich darüber Gedanken zu machen, ob der nachgebildete Mensch eine Zunge zu haben schien. Schließlich ist die Zunge das unberechenbarste Gesichtsmerkmal: Bei „Mummlern“ ist sie überhaupt nicht zu sehen, und in den meisten Alltagssituationen taucht sie nur gelegentlich auf.

Wenn man sie also braucht, ist sie bei KI-Rekonstruktionen nicht vorhanden. Angesichts dessen, dass amateurhafte, diffusionsbasierte Rekonstruktionen inzwischen einen erstaunlichen Grad an Realismus erreicht haben und wir KI-Menschen immer kritischer beurteilen, ist es vielleicht an der Zeit, dieses Problem anzugehen.

Dem Problem auf den Zahn fühlen

Im Juli stellte eine wissenschaftliche Kooperation zwischen Australien und China eine Verarbeitungskette vor, die den Mangel an Zungensimulation in KI-Workflows beheben soll. Das vorgeschlagene Framework mit dem Titel TongueReenact setzt praktisch jedes Verfahren aus dem Deepfake-Werkzeugkasten für dieses Problem ein, darunter Gaussian Splatting, parametrische Menschen, Neural Radiance Fields (NeRF) und die diffusionsbasierte Videogenerierung (sorry, GANs, ihr habt es nicht in diese Auswahl geschafft).

Oben die reale Aufnahme der Person, die die Bewegungen vorgibt und deren Merkmale auf die darunter gezeigte TongueReenact-Wiedergabe übertragen werden. Quelle

Obwohl der im Rahmen des Projekts angekündigte Code seit der Veröffentlichung des Papers offenbar nicht bereitgestellt wurde und es noch kein ergänzendes Video gibt, ist dies dennoch ein wegweisender Beitrag: Er befasst sich erstmals außerhalb des medizinischen Bereichs mit der Zunge bei KI-gestützten Rekonstruktionen und geht zugleich den kritischen Mangel an annotierten Daten an, die für jede vorgeschlagene Lösung unverzichtbar sind.

Die Forschenden nutzten auf innovative Weise verschiedene bestehende Frameworks und Datensätze, um ein auf SegmentAnything basierendes Framework zur Zungensegmentierung zu entwickeln und für die neu segmentierten Daten Pseudolabels zu erzeugen.

Im Paper heißt es:

„[We]Wir stellen das erste Framework für die identitätsübergreifende Übertragung von Zungenbewegungen bei der Gesichtsneubelebung vor. Ausgehend von einem Quellbild und einem steuernden Video überträgt unsere Methode sowohl die Gesichtsbewegungen als auch die Zungenbewegungen auf die Identität im Quellbild. “

„Die zentrale Erkenntnis unserer Arbeit ist, dass sich die Zungensynthese nicht als allgemeines Inpainting-Problem behandeln lässt. Die Zunge muss räumlich an die Geometrie des Quellgesichts gebunden sein, die sich mit jedem steuernden Bild verändert.“

Zunächst überträgt das System mithilfe von 3D Gaussian Splatting und dem Gesichtsmodell FLAME die Gesichtsbewegungen der Person im steuernden Video auf das Quellgesicht. So entsteht ein animiertes Gesicht mit der richtigen Pose und Mimik, dem jedoch noch eine Zunge fehlt.

Der TongueReenact-Workflow. Oben: Zungenbilder werden identifiziert, segmentiert und manuell verfeinert, um ein Erkennungsmodell zu trainieren. Unten: Gesichtsbewegungen werden aus einem steuernden Video auf ein Quellgesicht übertragen, bevor ein Diffusionsmodell die fehlende Zunge an der passenden Stelle erzeugt.

Anschließend wird ein Modell von Stable Diffusion verwendet, um die fehlende Zunge zu erzeugen. Dabei orientiert es sich an ihrem Aussehen im steuernden Video und an der Geometrie des rekonstruierten Gesichts.

Zur Notwendigkeit, diese Lücke in der Gesichtsrekonstruktion zu schließen, stellen die Autoren fest*:

„Bei ausdrucksstarken Handlungen wie Lachen, Ekel oder Überraschung kann [the tongue] den sichtbaren Mundbereich vollständig dominieren. Dennoch bilden fast alle bestehenden Systeme zur Gesichtsneubelebung und Avatarsysteme den Mundinnenraum entweder als texturlose Leere ab oder lassen ihn völlig unbeschränkt. “

„Diese Vernachlässigung ist kein Zufall: Die Zunge ist ein einzigartig flüchtiges Gebilde. In Ruhe ist sie vollständig verborgen, beim Sprechen zeitweise sichtbar und bei extremen Gesichtsausdrücken plötzlich dominant. Dadurch lässt sie sich grundsätzlich nicht mit der statischen parametrischen Modellierung erfassen, die auf den Rest des Gesichts angewandt wird. “

„Die Motivation für unsere Arbeit ist vor allem, diese übersehene Herausforderung anzugehen.“

In Tests übertraf die neue Methode fünf konkurrierende Systeme zur Gesichtsanimation deutlich und erzielte bei wichtigen Messgrößen zur Position und Größe der Zunge einen Genauigkeitsvorsprung von mehr als 100 % gegenüber ihrem engsten Konkurrenten. Allerdings muss man einräumen, dass Tests dieser Art schwer zu konzipieren sind, wenn man Neuland betritt und frühere Frameworks die neue Herausforderung nur am Rande oder gar nicht berücksichtigen.

Werfen wir einen genaueren Blick auf den neuen Ansatz.

Methode

Für die Entwicklung eines Systems, das Zungen in gewöhnlichen Gesichtsaufnahmen erkennen kann, wurde der Datensatz NERSemble mit Mehrfachansichtsaufnahmen menschlicher Köpfe zusammen mit synthetisch erzeugten Bildern aus dem Datensatz VFHQ verwendet, der mehr als 16.000 hochwertige Gesichtsvideos umfasst:

Zum Abspielen drückenEin interessantes, gewissermaßen „zungenbezogenes“ Beispiel für die Rekonstruktion eines Strahlungsfelds auf der Website des Nersemble-Projekts. Die hier sichtbare Zunge wird jedoch als gewöhnliche Geometrie behandelt und bildet keine eigene Domäne.Quelle 

Mit dem Gesichtssegmentierungsmodell MaskGAN wurde in jedem Bild der Mund lokalisiert. Anschließend kam der medizinische Detektor TongueSAM zum Einsatz, um den wahrscheinlichen Zungenbereich zu bestimmen, bevor dieser an SegmentAnything weitergegeben wurde. Daraus wurde eine erste Kontur – also ein Pseudolabel – der sichtbaren Zunge erzeugt.

Beispiele aus dem Datensatz TongueSAM, der für medizinische Analysezwecke und nicht für die Bewertung von Gesichtsausdrücken vorgesehen ist. Quelle

Die resultierenden Masken wurden danach gruppiert, wie viel von der Zunge sichtbar war; es gab drei Gruppen. Fehlerhafte Beispiele wurden verworfen, während vielversprechende Masken manuell korrigiert wurden, um die Zunge von den umliegenden Lippen, Zähnen und anderem Mundgewebe abzugrenzen. Diese verfeinerten Annotationen dienten zum Trainieren des Bildsegmentierungsnetzwerks BiSeNet.

Anschließend wurde das Modell auf weitere Personen aus NERSemble und synthetische VFHQ-Bilder angewendet. Menschen überprüften und korrigierten die Vorhersagen vor dem weiteren Training. Dieser Vorgang wurde so lange wiederholt, bis sich die Leistung bei zuvor nicht gesehenen Personen stabilisierte:

Pipeline zur Aufbereitung vorhandener Daten zu Daten aus der „Zungendomäne“.

Für die Zungensynthese wurde der von BiSeNet erkannte Mundbereich leicht vergrößert, bevor er an das Diffusionsmodell weitergegeben wurde. So erhielt die generierte Zunge Platz, über die ursprüngliche Segmentierung hinauszuragen, wenn sich die Mundform veränderte.

Die Generierung erfolgte im latenten Raum von Stable Diffusion Image Variations. Dabei kamen separate Steuerungssignale zum Einsatz, die aus der rekonstruierten Gesichtsgeometrie und der im Eingabebild sichtbaren Zunge abgeleitet wurden; neu generiert wurde ausschließlich der erkannte Mund- und Zungenbereich.

Die generative Pipeline. Der Verweis auf DINO V2 im oberen linken Quadranten veranschaulicht den Einsatz von GAGAvatar (siehe unten), das Erscheinungsmerkmale von DINO V2 gemeinsam mit FLAME nutzt.

Daten und Tests

BiSeNet wurde mit zwei Ausgabeklassen trainiert, die sich aus den zuvor beschriebenen Datenverarbeitungsschritten ergaben: Hintergrund und Zunge. Das Training umfasste 50,000 Iterationen bei einer Lernrate von 10^-3. Verwendet wurden Bilder mit einer Größe von 512x512px und einer Stapelgröße von 4. Trainiert wurde auf einer einzelnen NVIDIA A40 GPU mit 48GB VRAM. Die Trainingsdaten bestanden aus den zuvor genannten NERSemble- und VFHQ-Bildern.

Für den Teil zur Neuinszenierung wurde das vortrainierte Gaussian-Splatting-Backbone GAGAvatar verwendet. Außerdem kam der Checkpoint von Stable Diffusion Image Variations zum Einsatz, wobei der VAE– und der CLIP-Encoder eingefroren blieben. Anschließend wurden die Guidance-Encoder und das Entrauschungs-UNET mit den NERSemble-Daten über 85,000 Iterationen bei einer Stapelgröße von 8 und Eingaben mit einer Größe von 512×512 trainiert. Für die Inferenz wurden 20 DDIM-Schritte verwendet. Bei vielen aktuellen Diffusionsmodellen gilt dies als hohe Anzahl und soll Details begünstigen, bringt jedoch gewisse unvermeidliche Kompromisse mit sich.

Als konkurrierende Avatar-Frameworks wurden GPAvatar, das vielgelobte LivePortrait, X-NeMo und X-Portrait getestet. Jedes davon wurde anhand von 9,000 VFHQ-Quell- und Steuerbildpaaren mit unterschiedlichen Identitäten bewertet.

Verwendete Messgrößen waren die gelernte wahrnehmungsbezogene Bild-Patch-Ähnlichkeit (LPIPS), Vorhandensein der Zunge (der Anteil der Bilder, in denen eine Zunge erkannt wird), Zungen-IoU (die Überlappung zwischen den generierten und den im Steuerbild sichtbaren Zungenbereichen) sowie Ähnlichkeit der Zungenfläche (wie genau die Größe der generierten Zunge der im Steuerbild sichtbaren Zunge entsprach).

Testergebnisse zum Vergleich von TongueReenact mit fünf konkurrierenden Frameworks zur Gesichtsreenactment. TongueReenact erzielt bei allen vier zungenspezifischen Kennzahlen das beste Ergebnis; die Pfeile zeigen an, ob niedrigere oder höhere Werte besser sind.

Zu diesem ersten Vergleich erklären die Autoren:

„Unsere Methode erzielt bei allen vier Kennzahlen zur Zungenübertragung die beste Leistung: Der Tongue-IoU-Wert beträgt 0,3582 und die Zungenflächenähnlichkeit 0,4338 – mehr als doppelt so viel wie beim nächstbesten Mitbewerber. Das bestätigt, dass die Zungendynamik wesentlich genauer übertragen wird.“

„Der Wert für das Vorhandensein einer Zunge von 0,7891 zeigt außerdem, dass unsere Methode zuverlässig sichtbare Zungenbewegungen erzeugt, während bestehende Methoden häufig überhaupt keine Zunge darstellen.“

Einige Höhepunkte aus den zahlreichen qualitativen Beispielen im Originalartikel. Hier werden der neue Ansatz und die fünf früheren Konkurrenzmethoden verglichen, die allesamt keine Zungen erzeugen können. Weitere Beispiele und eine höhere Auflösung finden Sie im Originalartikel.

Da derzeit kein ergänzendes Videomaterial vorliegt, können wir uns zwar kein eigenes Urteil bilden; die Autoren testeten das System jedoch auch auf zeitliche Konsistenz und verwendeten dafür T-LPIPS:

Ergebnisse der Tests zur zeitlichen Konsistenz.

Dazu merken die Autoren an:

„Unser vollständiges Modell erzielt deutlich geringere Werte beim Flussflimmern (0,218543 gegenüber 0,622901) und bei der Flussstärke (0,513165 gegenüber 1,254073). Dies bestätigt, dass die an der Geometrie ausgerichtete Entrauschung für gleichmäßige und stabile Zungenbewegungen sorgt.“

„Der niedrigere T-LPIPS-Wert bestätigt außerdem, dass die Zungensynthese den zeitlichen Zusammenhang nicht beeinträchtigt.“

Fazit

Der Effekt des unheimlichen Tals wird durch einige der neuesten diffusionsbasierten Videomodelle allmählich überwunden. Zugleich zeichnet sich eine neue psychologische Hürde ab: Menschen stehen KI-generierten Inhalten zunehmend negativ gegenüber – aus anderen Gründen als der Qualität des Gesehenen.

Das dürfte die qualitative Bewertung erschweren. Ich vermute jedoch, dass Kennzahlen auf Basis von „Blindtests“ (bei denen Nutzer KI-Ergebnisse abwerten möchten, aber davor zurückschrecken, echte Ergebnisse abzuwerten) dabei helfen könnten, eine Art „Schatten“-Skala für den Realismus von KI-Inhalten zu entwickeln.

Daher könnten Forschungsansätze zur KI-gestützten Nachbildung sekundärer Identitätsmerkmale wie Haaren, der Simulation von Emotionen, Blickrichtung und nun auch Zungenbewegungen vorerst gegenstandslos sein, obwohl es hierzu vielversprechende Forschungsarbeiten gibt.

* Meine Umwandlung der Quellenangaben der Autoren im Fließtext in Hyperlinks.

Erstmals veröffentlicht am Mittwoch, 11. November 2026