Auf dem Weg zu perpetuierter Vollkörper-Deepfake-Videoerzeugung

In einem Bereich, in dem Geduld erforderlich ist, bringt ein neues System uns ein wenig näher an die Live-Streaming-Menschensimulation ohne frustrierende Renderrunden.

Der aktuelle Stand der Vollkörpermenschensimulation hat sich seit der Möglichkeit von Vollkörper-Deepfakes erstmalig aufgetaucht im Jahr 2022 erheblich verbessert. Inzwischen haben wir uns an die beeindruckenden und häufig umstrittenen Fähigkeiten von Open-Source-Systemen wie Wan-Animate und Closed-Source-Systemen wie Grok gewöhnt, die in der Lage sind, einzelne oder mehrere Bilder in eine konsistente und oft transformative Videoleistung umzuwandeln:

Bitte klicken, um abzuspielen, wenn notwendig. Beispiele für die Ersetzung von Personen mit WanAnimate-2.2. Bitte besuchen Sie die Quelle für eine bessere Auflösung.  Quelle 

Des Weiteren hat das ältere Autoencoder-basierte Live-Facial-Deepfake-Framework DeepFaceLive seitdem von fortgeschritteneren Frameworks wie Deep-Live-Cam überholt werden, das eine Orchestrierung von LivePortrait-Iterationen sowie Legacy-GAN– und InsightFace-Module nutzt, um einen effektiven Echtzeit-Nachfolger des (inzwischen aufgegebenen) DFLive-Projekts zu schaffen:

Bitte klicken, um abzuspielen: Elon Musk in einer Live-Video-Sitzung via Deep-Live-Cam. Bitte besuchen Sie die Quelle für eine bessere Auflösung. Quelle 

Allerdings können Frameworks wie Deep-Live-Cam zwar ewig laufen und ewig faken, und obwohl sie besser darin sind, schwierige Gesichtswinkel als früher zu generieren, sind die Ergebnisse dennoch in Bezug auf Auflösung und Fähigkeiten eingeschränkt: Sie können eine bestimmte Person/Identität erhalten und vieles tun, wie überzeugende Gesichtsausdrücke und Lippen-Synchronisation – aber es ist im Wesentlichen ein Ein-Trick-Pony.

BRB…

Die meisten der aktuellen KI-Menschensimulations-Systeme sind ebenfalls eingeschränkt und/oder “spezialisiert”. Eine bestimmte, wiederkehrende Einschränkung besteht darin, dass die besten Menschensimulations-/Impersonations-Systeme offline sind – was bedeutet, dass sie zu ressourcenintensiv sind, um in Echtzeit zu operieren, und stattdessen weggehen, die Lösung berechnen und das Ergebnis später dem Benutzer präsentieren müssen.

Offensichtlich sind solche Systeme nicht geeignet für Live-KI-Transmutation, wie z. B. die Umwandlung einer gesamten Reihe von Körperbewegungen, wie z. B. Tanz, in einem Live-Stream.

Ein Beispiel dafür in den letzten Jahren ist das Open-Weights- Wan2.2. Animate, das bei der Hobbyisten-Community und professionellen Wiederverkäufern beliebt war – aber einmal wieder ist es ein “erzeugen und warten”-Szenario:

Bitte klicken, um abzuspielen. Aus dem Jahr 2025, Beispiele für die beeindruckenden Fähigkeiten von Wan2.2-Animate – wenn Sie ein wenig Geduld haben. Bitte besuchen Sie die Quelle für eine bessere Auflösung. Quelle 

Also, wie es derzeit steht, können Sie es großartig, vielseitig oder jetzt haben – wählen Sie zwei.

LiveAnimate

In diese mexikanische Pattsituation kommt ein neues Angebot aus China, das effektiv Wan2.2 Animate in ein Live-Animation-Framework umwandelt, das derzeit mit einer respektablen Geschwindigkeit von fast 20 Bildern pro Sekunde läuft, mit beeindruckenden Ergebnissen in einer Vielzahl von Szenarien:

Bitte klicken, um abzuspielen: Von der Projektseite, LiveAnimate überträgt Steuerungsposen über Bühnentanz, Outdoor-Vollkörper- und Nahporträt-Szenarien, wobei ganze Körper-, Hand- und Gesichtsbewegungen reproduziert werden. Bitte besuchen Sie die Quelle für eine bessere Auflösung. Quelle 

Das neue Werk erweitert das ursprüngliche System in ein Live-fähiges Framework, indem es ändert, wie Video generiert wird: Anstatt vergangene und zukünftige Frames zusammen zu verarbeiten, generiert LiveAnimate jedes neue Segment, während die Aktion abläuft, unter Verwendung von nur wenigen Schritten, während es auserwählte frühere Posen beibehält, um das Aussehen des Subjekts über lange Sitzungen hinweg konsistent zu halten.

Effektiv behält das System frühere Frames als Methode des persistenten Gedächtnisses, um darauf zuzugreifen, während das Video entwickelt wird, sodass die Identität konsistent bleibt – nicht ganz unähnlich der Art und Weise, wie alte CGI-Systeme Texturen referenzieren.

Obwohl ein LoRA auf der Verarbeitungsstufe beteiligt ist, ist LiveAnimate nicht nur ein weiteres LoRA-System – seine Streaming-Generierung, Pose-Speicher-/Cache-System, drei-Schritt-Inferenz und GPU-Optimierungen stellen zusätzliche Mechanismen dar, die über die verschiedenen anderen Technologien (einige überraschend alt) in seinem Repertoire hinausgehen.

Das neue System kann nicht nur mit Vollkörper-Steuerungsszenarien wie den oben genannten umgehen, sondern auch mit Oberkörperbewegungen, wie in Interviewszenarien:

Bitte klicken, um abzuspielen. ‘Subtile Kopf- und Handbewegung über einer statischen Büroszene’.

Um fair zu sein, was seine Einschränkungen betrifft, räumt das neue Papier ein, dass zwei der getesteten Frameworks gegen LiveAnimate in der Lage waren, die Identität in bestimmten spezifischen Umständen ein wenig besser zu bewahren; dass gesagt, keines der Konkurrenten ist ein Online- anstelle eines Offline-Systems, und die Autoren der neuen Arbeit sind offensichtlich daran interessiert, den Umschlag in eine plausible und optimistische Richtung zu drücken.

Zusätzlich ist es vielleicht erwähnenswert, dass die Inferenz zwei H100-NVIDIA-GPUs erfordert, für insgesamt 160 GB VRAM*.

Das Papier besagt:

‘LiveAnimate hält fast konstante wahrgenommene Qualität und Identität vom ersten 30 Sekunden bis zur letzten [Minute], während vorherige Systeme erheblich abbauen oder Stunden Offline-Berechnung für das gleiche Rollout erfordern.

‘Diese Ergebnisse etablieren einen neuen Betriebspunkt in Qualität, Latenz und Dauer für interaktive Vollkörperanimation.’

Die neue Arbeit trägt den Titel LiveAnimate: Stabile Langform-Streaming-Menschensimulation in Echtzeit und stammt von neun Autoren aus der Chinesischen Universität Hongkong, Qwen Applications Business Group von Alibaba und Liblib AI. Eine Projektseite, die mit den Videos gefüllt ist, die auch in diesem Artikel vorgestellt werden, ist auch verfügbar, während der Code ‘in Kürze verfügbar ist und die Gewichte… wer weiß?

Method

LiveAnimate besteht aus einem zweistufigen Trainingsprozess, der darauf ausgelegt ist, Wan2.2-Animate kontinuierlich und schnell generieren zu lassen, gefolgt von einem Gedächtnissystem, das nützliche frühere Posen abruft, während jedes neue Video-Block produziert wird:

Überblick über die LiveAnimate-Pipeline, die den zweistufigen Trainingsprozess auf der linken Seite und die Live-Generierung auf der rechten Seite zeigt, wobei eingehende Posen mit gespeicherten früheren Poses abgeglichen und mit aktuellen Frames kombiniert werden, um jedes neue Video-Block in drei Schritten zu generieren. Quelle 

Das ursprüngliche Wan2.2-Animate ist so konzipiert, dass es eine gesamte Sequenz berücksichtigt, anstatt ein unendlich lang werdendes Video zu generieren. Um es anzupassen, teilten die Autoren die Trainingsvideos in aufeinanderfolgende Blöcke auf, wobei jeder mit früheren Blöcken als Kontext/Ground Truth generiert wurde. Dies lehrt das Modell zunächst, von zuverlässigem vorherigem Material fortzufahren, bevor es mit Fehlern umgehen muss, die sich aus seiner eigenen Ausgabe ansammeln.

Forget Me Not

Während dieses Prozesses bleibt das ursprüngliche Referenzbild permanent über einen ‘Ref Sink’ verfügbar, der als fester Hinweis auf die Identität und das Aussehen der Person dient. Sobald ein Block abgeschlossen ist, wandelt ein ‘Clean KV Update’ die aus ihm gewonnenen Informationen in historischen Kontext für nachfolgende Blöcke um (obwohl dies bestehende Fehler nicht behebt).

Diese erste Trainingsphase erfordert immer noch 50 Denoising-Schritte pro Block, was eine Live-Operation unmöglich macht. Die zweite Phase destilliert den Prozess daher auf drei Schritte herunter, während das Modell seiner eigenen generierten Geschichte ausgesetzt wird, da die Bereitstellung erfordert, dass jedes neue Segment von unvollkommenem früherem Ausgang abhängt:

Die beiden Trainingsphasen†, die verwendet werden, um LiveAnimate für die Bereitstellung vorzubereiten, indem es zunächst von sauberen vorherigen Video-Blöcken lernt – dann die Generierung auf drei Schritte reduziert, während es auf der eigenen unvollkommenen Ausgabe trainiert.

Das Training gegen diese selbstgenerierten Sequenzen stellt ein weiteres Problem dar, da die Aufrechterhaltung der gesamten computergenerierten Geschichte prohibitiv teuer wäre. Stattdessen wird ein vollständiger Trainingslauf durchgeführt, dann besucht, ein Block nach dem anderen, zum Training. Jeder Block kann somit eine Aktualisierung ohne die gesamte Sequenz computergesteuert ‘live’ zu halten erhalten.

In Kombination mit LoRA-Anpassung ermöglicht dies die Destillation des 14-Milliarden-Parameter-Modells auf einem einzelnen Knoten mit acht 80-GB-H100-GPUs (unter Hinweis darauf, dass dieser Cluster für das Training und nicht für die Laufzeitinferenz verwendet wird).

Don’t Stop Now

Für eine unendliche Generierung muss LiveAnimate auch entscheiden, was es wert ist, sich zu erinnern. Alles zu behalten würde die Verarbeitungsanforderungen außer Kontrolle bringen; aber nur aktuelle Frames zu behalten könnte auch nützliche frühere Ansichten verwerfen.

Daher adressiert Pose-Retrieval Sink Attention (PR-Sink) dies, indem es den ersten generierten Block als permanenten ‘Static Sink’ – eine relevante frühere Pose, die als ersetzbarer ‘Dynamic Sink’ fungiert, und ein rollierendes Fenster, das den aktuellen und die beiden vorherigen Blöcke enthält. Das Referenzbild bleibt separat über den Ref Sink verfügbar, während feste Speichergrößen verhindern, dass die Kosten mit der Dauer des Videos ansteigen.

Block Wars

Um ältere Posen für diese begrenzte Erinnerung auszuwählen, reduziert ViTPose Körper- und Handpositionen über drei Frames auf eine kompakte Darstellung. Der Speicher-Bank enthält fünf solcher repräsentativen Posen und wird während der ersten 20 Blöcke bevölkert, wobei variierte Posen gegenüber Near-Duplikate bevorzugt werden.

Während der Generierung wird die eingehende Pose mit diesen Repräsentanten verglichen und die beste Übereinstimmung abgerufen, um frühere Beweise dafür zu liefern, wie die Person in einer ähnlichen Position aussah. Allerdings wird der unmittelbar vorhergehende Block ausschließlich, da er bereits im rollierenden Fenster vorhanden ist, den Dynamic Sink frei, um Informationen aus weiter zurückliegenden Zeiten abzurufen.

Schließlich wird die Laufzeit selbst durch die Verteilung der Aufmerksamkeitsverarbeitung auf zwei H100-GPUs, die Überlappung von Kommunikation mit Berechnung und die Wiederverwendung von zwischengespeicherten Informationen optimiert, wo immer möglich.

Daten und Tests

LiveAnimate wurde auf 40.000 Gesprächsvideos aus AVSpeech und 20.000 Human-Motion-Videos aus TikTok-Datensatz und HumanVid trainiert, wobei das Training und die Inferenz Auflösungen von 480×480; 384×672; und 672×384 Pixeln unterstützten.

Das Training begann vom Wan2.2-Animate-14B-Base-Checkpoint, unter Verwendung von LoRA mit Rang 128, und wurde auf acht NVIDIA-H100-GPUs für 10.000 Schritte in der ersten Phase und 20.000 in der zweiten Phase durchgeführt.

Das Video wurde in Blöcken von drei latenten Frames (der komprimierten internen Darstellung des Modells) generiert, die 12 RGB-Frames entsprachen, während die Inferenz auf den zwei H100s durchgeführt wurde.

Die Bewertung verglich LiveAnimate mit bestehenden pose-getriebenen menschlichen Animationsmethoden über kurze und lange Sequenzen hinweg, unter Verwendung von Referenzbildern und Steuerposen unter konsistenten Einstellungen. Langformtests verlängerten die Generierung auf drei Minuten, um zu prüfen, ob Qualität und Identität über die Zeit hinweg stabil blieben.

Die getesteten Frameworks waren EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; und Wan2.2-Animate.

Die verwendeten Metriken umfassten visuelle Qualität, Identitätskonsistenz, Verteilungsqualität und zeitliche Repräsentationsfehler. Ästhetik-Score (ASE) und Bildqualitätsbewertung ohne Referenz (IQA) maßen die visuelle Qualität auf Frame-Ebene; DINO, Ähnlichkeit (DINO-S), und Erscheinungskonsistenz mit der Referenzidentität; Fréchet-Inception-Distanz (FID), Verteilungsqualität; und VideoMAE-Feature-Distanz (V-MAE), wie gut das generierte Video die Bewegung über die Zeit hinweg bewahrte:

Testergebnisse im Hinblick auf Qualität und Identität über drei Minuten kontinuierlicher Generierung, wobei LiveAnimate im Vergleich zu allen fünf Metriken relativ stabil bleibt, während einige konkurrierende Methoden eine größere Verschlechterung über die Zeit hinweg zeigen. Höhere Werte sind besser für IQA, ASE und DINO-S, während niedrigere Werte besser für FID und V-MAE sind.

Wie in der obigen Anfangsgrafik gezeigt, erzielte LiveAnimate den höchsten anfänglichen ASE von 2,823 und IQA von 4,047, innerhalb der ersten 30 Sekunden. Die Autoren behaupten, dass dies darauf hinweist, dass die Dreischritt-Destillation die wahrgenommene Qualität trotz des reduzierten Inferenzbudgets beibehält.

Noch bedeutender ist, dass LiveAnimate während drei Minuten kontinuierlicher Generierung nur eine geringe Verschlechterung zeigte, wobei seine visuelle Qualität und Identitätskonsistenz fast unverändert blieben.

Im Gegensatz dazu verschlechterte sich One-to-All über die Zeit hinweg erheblich, mit niedrigerer visueller Qualität und Identitätskonsistenz und höherem Verteilungsfehler; und das Basis-Wan2.2-Animate zeigte auch eine gewisse Verschlechterung der Identitätskonsistenz.

Die Autoren stellen fest:

‘Diese Trends unterstützen unsere zentrale Behauptung, dass die explizite Verwaltung von Langzeitkontext wichtig für Streaming-Animation ist.’

Die Skalierungseffizienz von LiveAnimate wurde auch über GPUs getestet. Wie unten gezeigt, wurden 12,41 Bildern pro Sekunde mit einem H100; 19,63 Bildern pro Sekunde mit zwei; und 22,13 Bildern pro Sekunde mit vier erreicht, wobei die Gewinne zunehmend durch die Kommunikationsüberlastung begrenzt wurden. Zwei H100s wurden daher als bevorzugte Konfiguration ausgewählt:

Skalierungseffizienz über einen, zwei und vier H100-GPUs bei einer Auflösung von 480×480, mit Latenz, Bildrate, Geschwindigkeitszuwachs und Effizienz. Zwei GPUs erreichten 19,63 Bildern pro Sekunde, während eine weitere Skalierung auf vier nur einen bescheidenen Anstieg auf 22,13 Bildern pro Sekunde produzierte.

Bei 19,63 Bildern pro Sekunde wurde jeder 12-Frame-Block in 0,611 Sekunden generiert. Im Vergleich dazu benötigten die konkurrierenden Systeme etwa 2–5 Stunden, um die gleiche dreiminütige Sequenz zu generieren.

Qualitative Tests zeigten ähnliche Unterschiede: Im Vollkörper-Test, der unten gezeigt wird, wurde eine schwere Verschlechterung bei One-to-All beobachtet; Flickern wurde von UniAnimate-DiT und SCAIL erzeugt; und später wurde Farb- oder Hintergrund-Drift mit Wan-Animate und EverAnimate deutlich:

Testergebnisse zum Vergleich der Vollkörper-Animation über drei Minuten. Frames wurden alle 20 Sekunden abgetastet, wobei rote Anmerkungen die Langzeitverschlechterung in konkurrierenden Methoden hervorheben. Die Basismodelle benötigten etwa 2–5 Stunden, um die Sequenz zu generieren, im Vergleich zu etwa vier Minuten für LiveAnimate. Bitte besuchen Sie die Quelle für eine bessere Auflösung.

LiveAnimate behielt das Aussehen des Subjekts und der umgebenden Szene während der gesamten dreiminütigen Sequenz bei. Im weniger anspruchsvollen Oberkörper-Test, der unten gezeigt wird, wurde eine vergleichbare Langzeitstabilität von EverAnimate und LiveAnimate erreicht (obwohl nur LiveAnimate eine Echtzeit-Generierung bot):

Testergebnisse zum Vergleich der Oberkörper-Animation über drei Minuten. Frames, die alle 20 Sekunden abgetastet wurden, zeigen, dass LiveAnimate die Identität, Kleidung und dunkle Hintergrundszene konsistenter als die konkurrierenden Methoden beibehält.

Die Autoren schließen:

‘Auf dem dreiminütigen Benchmark hält LiveAnimate fast konstante wahrgenommene Qualität und Identität bei 19,63 Bildern pro Sekunde auf zwei H100-GPUs, mit Speicher und Latenz, die unabhängig von der Stream-Dauer sind, während Offline-Basismodelle sichtbar verschlechtern oder Stunden Rechenzeit erfordern.

‘Diese Ergebnisse bringen billionenskalige Video-Diffusionsmodelle in die Reichweite interaktiver Anwendungen wie Live-Streaming, Telepräsenz und virtuelle Avatare.’

Conclusion

Es ist ermutigend zu sehen, dass ein generatives Framework einen neuen Ansatz für die anhaltenden Probleme von Gedächtnis und Identität, die generative Videos plagen, verfolgt. Es gibt bereits viele generative Frameworks, die auf feste Bilder verweisen können, die vom Benutzer bereitgestellt werden, ohne dass das Referenzbild in das wesentliche Bild-zu-Video-Inhalt “kleben” muss.

Es löst jedoch nur einige der Probleme bei der Generierung eines einzelnen Video-Clips, wie z. B. die Beibehaltung der Identität (einschließlich Kleidung und Haarstil) einer Person, die den Rahmen wieder betritt oder vorübergehend verdeckt wird und dann erneut sichtbar wird. Bisher hat nur der umfangreiche und vorübergehende LoRA-Ansatz Fortschritte bei diesen Problemen gemacht, wenn auch begrenzt und vorläufig.

Für Video und tatsächlich für die gesamte aktuelle KI-Revolution ist die Entwicklung von effektivem persistentem Gedächtnis ein kritischer, existenzieller Punkt – einer, der den Unterschied zwischen dem Beginn der AGI oder einem dritten KI-Winter bestimmen wird.

*  Ist dies noch ein ‘Gotcha’? Die aktuelle Denkweise ist, dass kleinere, spezialisierte Modelle möglicherweise irgendwann lokal, mietfrei, laufen, während höhere Bedürfnisse durch einen wettbewerbsfähigen und hoffentlich balkanisierten GPU-Verleihmarkt bedient werden. Dies geht davon aus, dass die Grenzunternehmen es nicht schaffen, die Konkurrenz EEE zu machen und dass erhebliche GPU-Rechenleistung unabhängig davon verfügbar bleibt. Auf dieser Grundlage betrachte ich keine übermäßigen GPU-Anforderungen mehr als einen Nachteil, sondern hoffe, dass der Zugang zunehmend demokratischer wird und dass spätere Optimierungen die anfänglichen Ressourcenanforderungen verringern.

^† AI-generiert und von mir überprüft.

^†† Für Langvideo-Tests wurden SCAIL und UniAnimate-DiT mit dem gleichen trainingsfreien Schieberegler-Verfahren erweitert, da keines von beiden native Langform-Generierung unterstützt. EverAnimate und One-to-All wurden unter Verwendung ihrer eigenen Langvideo-Generierungsmethoden ausgewertet.

Erstveröffentlichung am Donnerstag, den 13. August 2026