KI-Video perfektioniert das Katzen-Selfie

KI-Video-Generatoren liefern oft Ergebnisse, die nahe dran sind, aber nicht ganz das gewünschte Ergebnis liefern. Doch ein neues Hochleistungs-Update macht allen Unterschied.

Generative Video-Systeme haben oft Schwierigkeiten, kreative oder wilde Videos zu erstellen und erfüllen oft nicht die Erwartungen der Benutzer an ihre Text-Prompts.

Ein Teil des Grundes dafür ist Verflechtung – die Tatsache, dass Vision/Sprachmodelle Kompromisse bei der Trainingszeit auf ihren Quelldaten eingehen müssen. Zu wenig Training und die Konzepte sind flexibel, aber nicht vollständig ausgebildet – zu viel Training und die Konzepte sind genau, aber nicht mehr flexibel genug, um in neue Kombinationen eingebaut zu werden.

Man kann sich das vorstellen, indem man das unten eingebettete Video ansieht. Auf der linken Seite ist die Art von Kompromiss zu sehen, den viele KI-Systeme in Reaktion auf eine anspruchsvolle Prompt (die Prompt ist oben im Video in allen vier Beispielen) liefern, die eine bestimmte Kombination von Elementen verlangt, die zu fantastisch ist, um ein reales Trainingsbeispiel zu sein. Auf der rechten Seite ist ein KI-Ausgabe zu sehen, das der Prompt besser entspricht:

Click zum Abspielen (kein Audio). Auf der rechten Seite sehen wir ‘faktorisiertes’ WAN 2.2, das den Prompten wirklich erfüllt, im Vergleich zu den vagen Interpretationen von ‘Vanilla’-Wan 2.2. auf der linken Seite. Bitte beachten Sie die Quellvideo-Dateien für eine bessere Auflösung und viele mehr Beispiele, obwohl die kuratierten Versionen, die hier zu sehen sind, nicht auf der Projekt-Website existieren und für diesen Artikel zusammengestellt wurden. Quelle

Es ist offensichtlich, dass die Beispiele auf der rechten Seite den ursprünglichen Text-Prompt viel besser erfüllen als die auf der linken Seite.

Interessanterweise sind beide Architekturen im Wesentlichen identisch – die beliebte und sehr leistungsfähige Wan 2.2, eine chinesische Veröffentlichung, die in diesem Jahr in den Open-Source- und Hobbyist-Communities an Boden gewonnen hat.

Der Unterschied besteht darin, dass die zweite generative Pipeline faktorisiert ist, was in diesem Fall bedeutet, dass ein großes Sprachmodell (LLM) verwendet wurde, um den ersten (Seed-)Frame des Videos neu zu interpretieren, damit es für das System einfacher wird, das zu liefern, was der Benutzer verlangt.

Diese “visuelle Verankerung” beinhaltet das Einspritzen eines aus diesem LLM-erhöhten Prompt erstellten Bildes in die generative Pipeline als “Startframe” und das Verwenden eines LoRA-Interpretationsmodells, um den “Eindringling”-Frame in den Video-Erstellungsprozess zu integrieren.

Die Ergebnisse sind in Bezug auf die Prompt-Treue ziemlich bemerkenswert, insbesondere für eine Lösung, die eher elegant erscheint:

Click zum Abspielen (kein Audio). Weitere Beispiele für ‘faktorisierte’ Video-Generierungen, die wirklich dem Skript folgen. Bitte beachten Sie die Quellvideo-Dateien für eine bessere Auflösung und viele mehr Beispiele, obwohl die kuratierten Versionen, die hier zu sehen sind, nicht auf der Projekt-Website existieren und für diesen Artikel zusammengestellt wurden.

Diese Lösung kommt in Form des neuen Papiers Faktorisierte Video-Generierung: Entkopplung von Szenenkonstruktion und zeitlicher Synthese in Text-zu-Video-Diffusionsmodellen und seiner video-reichen begleitenden Projekt-Website.

Während viele aktuelle Systeme versuchen, die Prompt-Genauigkeit durch die Verwendung von Sprachmodellen zur Umschreibung von vagen oder unvollständigen Texten zu verbessern, argumentiert die neue Arbeit, dass diese Strategie immer noch zum Scheitern führt, wenn die interne Szenen-Darstellung des Modells fehlerhaft ist.

Even mit einer detaillierten umgeschriebenen Prompt, erzeugen Text-zu-Video-Modelle oft falsche Schlüsselelemente oder generieren unvereinbare Anfangszustände, die die Logik der Animation brechen. Solange der erste Frame nicht dem Prompt entspricht, kann das resultierende Video nicht wiederhergestellt werden, unabhängig davon, wie gut das Bewegungsmodell ist.

Das Papier besagt*:

‘[Text-zu-Video]-Modelle erzeugen häufig verteilungsverschobene Frames, erzielen aber dennoch [Bewertungspunkte], die mit denen von I2V-Modellen vergleichbar sind, was darauf hindeutet, dass ihre Bewegungsmodellierung auch bei schlechter Szenen-Treue noch vernünftig natürlich ist.

‘[Bild-zu-Video]-Modelle zeigen das komplementäre Verhalten, starke [Bewertungspunkte] von genauen Anfangsszenen und schwächerer zeitlicher Kohärenz, während I2V+Text beide Aspekte ausgleicht.

‘Dieser Kontrast legt nahe, dass ein struktureller Mismatch in aktuellen T2V-Modellen vorliegt: Szenen-Verankerung und zeitliche Synthese profitieren von unterschiedlichen induktiven Vorurteilen, doch existing Architekturen versuchen, beides gleichzeitig innerhalb eines einzigen Modells zu lernen.’

Eine diagnostische Vergleichsuntersuchung von Generierungsmodi ergab, dass Modelle ohne explizite Szenen-Verankerung gut auf Bewegung abschnitten, aber oft auf Szenen-Layout Kompromisse eingingen, während bildbedingte Ansätze das Gegenteil zeigten:

Vergleich von Video-Generierungsmodi auf zwei Datensätzen, der zeigt, dass I2V+Text die beste Frame-Qualität (FID) und zeitliche Kohärenz (FVD) erreicht, was den Vorteil der Trennung von Szenen-Konstruktion und Bewegung hervorhebt. Quelle

Diese Ergebnisse deuten darauf hin, dass ein struktureller Fehler vorliegt, bei dem aktuelle Modelle versuchen, Szenen-Layout und Animation in einem einzigen Schritt zu lernen, obwohl die beiden Aufgaben unterschiedliche Arten von induktiven Vorurteilen erfordern und besser getrennt behandelt werden sollten.

Vielleicht ist das Interessanteste, dass diese “Trick” potenziell auf lokale Installationen von Modellen wie Wan 2.1 und 2.2 und ähnlichen Video-Diffusionsmodellen wie Hunyuan Video angewendet werden kann. Anekdotisch, wenn man die Qualität von Hobbyist-Ausgaben mit kommerziellen generativen Portalen wie Kling und Runway vergleicht, verbessern die meisten großen API-Anbieter ihre Open-Source-Angebote wie WAN mit LoRAs und – es scheint – mit Tricks dieser Art. Daher könnte dieser spezifische Ansatz eine Aufholjagd für die FOSS-Gruppe darstellen.

Tests, die für die Methode durchgeführt wurden, zeigen, dass dieser einfache und modulare Ansatz einen neuen Stand der Technik auf dem T2V-CompBench-Benchmark bietet, wobei alle getesteten Modelle signifikant verbessert werden. Die Autoren bemerken in ihrem Schluss, dass ihr System die Treue radikal verbessert, aber nicht (und ist auch nicht dazu bestimmt) Identitäts-Drift zu adressieren, was derzeit das Hauptproblem der generativen KI-Forschung ist.

Die neue Arbeit stammt von vier Forschern der Ecole Polytechnique Fédérale de Lausanne (EPFL) in der Schweiz.

Methode und Daten

Die zentrale Aussage der neuen Technik ist, dass Text-zu-Video-(T2V)-Diffusionsmodelle “verankert” werden müssen, um Startframes, die dem gewünschten Text-Prompt wirklich entsprechen.

Um sicherzustellen, dass das Modell den Startframe respektiert, unterbricht die neue Methode den Standard-Diffusionsprozess durch das Einspritzen eines sauberen Latenten aus dem Anker-Bild bei Zeitschritt Null, wodurch einer der üblichen verrauschten Eingaben ersetzt wird. Diese ungewöhnliche Eingabe verwirrt das Modell zunächst, aber mit minimaler LoRA-Feinabstimmung lernt es, den eingespritzten Frame als festen visuellen Anker und nicht als Teil der Rausch-Trajektorie zu behandeln:

Zweistufige Methode zur Verankerung von Text-zu-Video-Generation mit einem visuellen Anker: Links, wird das Modell mit einer leichten LoRA feinabgestimmt, um einen eingespritzten sauberen Latenten als festen Szenen-Constraint zu behandeln. Rechts, wird der Prompt in eine erste Frame-Beschreibung aufgeteilt, die zum Generieren des Anker-Bildes verwendet wird, das die Video-Generation leitet.

Bei der Inferenz wird die Methode den Prompt so umgeschrieben, dass er nur den ersten Frame beschreibt, wobei ein LLM verwendet wird, um einen plausiblen Anfangszustand der Szene zu extrahieren, der auf Layout und Erscheinungsbild fokussiert ist.

Dieser umgeschriebene Prompt wird an einen Bild-Generator übergeben, um ein Kandidaten-Anker-Bild zu erzeugen (das optional vom Benutzer verfeinert werden kann). Das ausgewählte Bild wird in ein Latentes kodiert und in den Diffusionsprozess eingespritzt, indem der erste Zeitschritt ersetzt wird, was es dem Modell ermöglicht, den Rest des Videos zu generieren, indem es an dem initialen Szenen-Frame verankert bleibt – ein Prozess, der ohne Änderungen an der zugrunde liegenden Architektur funktioniert.

Der Prozess wurde getestet, indem LoRAs für Wan2.2-14B, Wan2.1-1B und CogVideo1.5-5B erstellt wurden. Die LoRA-Trainings wurden bei einem Rang von 256 durchgeführt, auf 5000 zufällig ausgewählten Clips aus der UltraVideo-Sammlung.

Die Trainingszeit betrug 6000 Schritte und erforderte 48 GPU-Stunden^† für Wan-1B und CogVideo-5B und 96 GPU-Stunden für Wan-14B. Die Autoren bemerken, dass Wan-5B native Text-only- und Text-Bild-Konditionierung unterstützt (die in diesem Fall auf die älteren Frameworks aufgepfropft werden), und daher keine Feinabstimmung erforderte.

Tests

In den Experimenten, die für den Prozess durchgeführt wurden, wurde jeder Text-Prompt zunächst mit Qwen2.5-7B-Instruct verfeinert, das Ergebnis wurde dann verwendet, um eine detaillierte “Seed-Bild”-Beschreibung zu generieren, die eine Beschreibung der gesamten Szene enthielt. Dieser wurde dann an QwenImage übergeben, das mit der Aufgabe betraut wurde, das “Magie-Bild” zu generieren, das in den Diffusionsprozess eingespritzt werden sollte.

Die Benchmarks, die zur Bewertung des Systems verwendet wurden, umfassten den bereits erwähnten T2V-CompBench, um die kompositionelle Verständnis durch Bewertung zu testen, wie gut Modelle Objekte, Attribute und Aktionen in einer kohärenten Szene erhalten; und VBench 2.0, um die breitere Vernunft und Konsistenz über 18 Metriken zu bewerten, die in Kreativität, gesunder Menschenverstand, Steuerbarkeit, menschliche Treue und Physik unterteilt sind:

Über alle sieben Bewertungskategorien von T2V-CompBench hinweg übertraf die faktorisierte T2V-Methode sowohl die Standard- als auch die aufgesampelten T2V-Baselines für jedes getestete Modell, wobei Gewinne von bis zu 53,25% erreicht wurden.

In Bezug auf diese erste Runde von Tests bemerken die Autoren*:

‘[Über] alle Modelle hinweg verbessert das Hinzufügen eines Anker-Bildes konsistent die kompositionellen Leistungen. Alle kleineren faktorisierten Modelle (CogVideo 5B, Wan 5B und Wan 1B) übertrafen das größere Wan 14B T2V-Modell.

‘Unser faktorisiertes Wan 5B übertraf auch die kommerzielle PixVerse-V3-Baseline, die das beste auf dem Benchmark gemeldete Modell ist. Dies zeigt, dass visuelle Verankerung die Szenen- und Aktionen-Verständnis auch in kleineren Kapazitätsmodellen erheblich verbessert.

‘Innerhalb jeder Modellfamilie übertraf die faktorisierte Version das ursprüngliche Modell. Bemerkenswerterweise erreichte unsere leichte Anker-LoRA auf WAN 14B eine Leistung, die mit der seines vorgebildeten I2V 14B-Variants (0,661 vs. 0,666) vergleichbar war, obwohl keine vollständige Neuausbildung erforderlich war.’

Als nächstes kam die VBench2.0-Runde:

Die faktorisierte T2V-Ansatz verbesserte konsistent die VBench 2.0-Leistung über Komposition, gesunden Menschenverstand, Steuerbarkeit und Physik hinweg, wobei einige Gewinne über 60% erreichten.

Über alle Architekturen hinweg verbesserte die faktorisierte Methode die Punktzahlen in jeder VBench-Kategorie außer menschlicher Treue, die leicht abnahm, auch bei Prompt-Aufsamplung. Wan 5B übertraf das größere Wan 14B, was die früheren T2V-CompBench-Ergebnisse bestätigte, dass visuelle Verankerung mehr als Skalierbarkeit beitrug.

Während die Gewinne auf VBench konsistent waren, waren sie kleiner als die auf T2V-CompBench, und die Autoren führen dies auf die strengere binäre Bewertungsregel von VBench zurück.

Für die qualitativen Tests liefert das Papier statische Bilder, aber wir verweisen den Leser auf die in diesem Artikel eingebetteten Zusammensetzungen, um eine klarere Vorstellung zu erhalten, mit der Einschränkung, dass die Quellvideos zahlreicher und vielfältiger sind und eine höhere Auflösung und Detailtiefe aufweisen. Finden Sie sie hier. In Bezug auf qualitative Ergebnisse bemerkt das Papier:

‘Verankerte Videos zeigen konsistent genauere Szenen-Komposition, stärkere Objekt-Attribut-Bindung und klarere zeitliche Fortschritte.’

Die faktorisierte Methode blieb auch dann stabil, wenn die Anzahl der Diffusions-Schritte von 50 auf 15 reduziert wurde, was fast keinen Leistungsverlust auf dem T2V-CompBench-Benchmark zeigte. Im Gegensatz dazu verschlechterten sich die textbasierten und aufgesampelten Baselines scharf unter den gleichen Bedingungen.

Obwohl die Reduzierung der Schritte theoretisch die Geschwindigkeit verdreifachen könnte, wurde die vollständige Generierungs-Pipeline nur um 2,1x schneller in der Praxis, aufgrund der festen Kosten für die Anker-Bild-Generierung. Dennoch zeigten die Ergebnisse, dass Verankerung nicht nur die Stichproben-Qualität verbesserte, sondern auch den Diffusionsprozess stabilisierte, was eine schnellere und effizientere Generierung ohne Genauigkeitsverlust ermöglichte.

Die Projekt-Website bietet Beispiele für aufgesampelte vs. neue Methode-Generierungen, von denen wir einige (niedrigere Auflösung) bearbeitete Beispiele hier anbieten:

Click zum Abspielen (kein Audio). Aufgesampelte Startquellen vs. der Ansatz der Autoren.

Die Autoren schließen:

‘Unsere Ergebnisse deuten darauf hin, dass verbesserte Verankerung, und nicht allein eine erhöhte Kapazität, von entscheidender Bedeutung sein kann. Jüngste Fortschritte in der T2V-Diffusion haben sich stark auf die Erhöhung der Modellgröße und der Trainingsdaten verlassen, doch selbst große Modelle haben oft Schwierigkeiten, eine kohärente Anfangsszene allein aus Text zu inferieren.

‘Dies steht im Gegensatz zu Bild-Diffusion, bei der Skalierung relativ einfach ist; in Video-Modellen muss jede architektonische Verbesserung über eine zusätzliche zeitliche Dimension operieren, was die Skalierung wesentlich ressourcenintensiver macht.

‘Unsere Ergebnisse zeigen, dass verbesserte Verankerung die Skalierung durch die Ansprache einer anderen Flaschenhalses ergänzen kann: die Festlegung der korrekten Szene, bevor die Bewegungssynthese beginnt.

‘Indem wir die Video-Generierung in Szenen-Konstruktion und zeitliche Modellierung faktorisieren, mildern wir mehrere häufige Fehlermodi, ohne dass wesentlich größere Modelle erforderlich sind. Wir betrachten dies als ein komplementäres Designprinzip, das zukünftige Architekturen zu einer zuverlässigeren und strukturierteren Video-Synthese führen kann.’

Schlussfolgerung

Obwohl die Probleme der Verflechtung sehr real sind und möglicherweise spezielle Lösungen erfordern (wie verbesserte Kuratierung und Verteilungsbewertungen vor dem Training), war es ein Augenöffner, zu beobachten, wie Faktorisierung mehrere hartnäckige und “feststeckende” Konzept-Prompt-Orchestrierungen in viel genauere Darstellungen “entfesselt” – mit nur einer moderaten Schicht von LoRA-Konditionierung und der Intervention eines bemerkenswert verbesserten Start-/Seed-Bildes.

Die Kluft an Ressourcen zwischen lokaler Hobbyist-Inferenz und kommerziellen Lösungen mag nicht so enorm sein, wie angenommen, da fast alle Anbieter versuchen, ihre erheblichen GPU-Ressourcen-Ausgaben für Verbraucher zu rationalisieren.

Anekdotisch scheint eine sehr große Zahl der aktuellen generativen Video-Anbieter markenbehaftete und allgemein “aufgemotzte” Versionen chinesischer Open-Source-Modelle zu verwenden. Die Haupt-“Graben” dieser “Mittelsmänner”-Systeme scheint zu sein, dass sie sich die Mühe gemacht haben, LoRAs zu trainieren oder – auf größerem Kosten und etwas größerem Gewinn – tatsächlich eine vollständige Feinabstimmung der Modellgewichte durchgeführt haben^††.

Erkenntnisse dieser Art könnten dazu beitragen, diese Lücke weiter zu schließen, in einem Release-Szenario, in dem die Chinesen entschlossen sind (nicht unbedingt aus altruistischen oder idealistischen Gründen), die generative KI zu demokratisieren, während westliche Geschäftsinteressen vielleicht vorziehen, dass die Erhöhung der Modellgröße und die Regulierungen letztendlich die besten Modelle hinter APIs und mehreren Schichten von Inhalt-Filtern verstecken.

* Autoren-Betonungen, nicht meine.

^† Das Papier gibt nicht an, welche GPU gewählt oder wie viele verwendet wurden.

^†† Obwohl der LoRA-Weg wahrscheinlicher ist, sowohl für den wirtschaftlichen Gebrauch als auch, weil die vollständigen Gewichte und nicht die quantisierten Gewichte nicht immer verfügbar sind.

Erstveröffentlichung am Freitag, den 19. Dezember 2025