Auf dem Weg zur totalen Kontrolle in der AI-Video-Generierung

Video-Grundmodell wie Hunyuan und Wan 2.1 sind zwar leistungsfähig, bieten den Benutzern jedoch nicht die Art von granularer Kontrolle, die die Film- und Fernsehproduktion (insbesondere die VFX-Produktion) erfordert.

In professionellen visuellen Effekt-Studio werden Open-Source-Modelle wie diese, zusammen mit früheren bildbasierten (und nicht videobasierten) Modellen wie Stable Diffusion, Kandinsky und Flux, typischerweise zusammen mit einer Reihe von unterstützenden Tools verwendet, die ihre Rohausgabe anpassen, um spezifische kreative Anforderungen zu erfüllen. Wenn ein Regisseur sagt: “Das sieht großartig aus, aber können wir es ein bisschen [n] machen?”, kann man nicht antworten, dass das Modell nicht präzise genug ist, um solche Anforderungen zu erfüllen.

Stattdessen wird ein AI-VFX-Team eine Reihe traditioneller CGI– und kompositorischer Techniken verwenden, die mit benutzerdefinierten Verfahren und Workflows kombiniert werden, die im Laufe der Zeit entwickelt wurden, um die Grenzen der Video-Synthese ein wenig weiter zu pushen.

Ein Video-Grundmodell ist also ähnlich wie eine Standardinstallation eines Web-Browsers wie Chrome; es kann viel aus der Box heraus, aber wenn man es anpassen möchte, um den eigenen Bedürfnissen zu entsprechen, anstatt umgekehrt, benötigt man einige Plugins.

Kontrolle-Freaks

In der Welt der diffusionsbasierten Bildsynthese ist das wichtigste solche Drittanbietersystem ControlNet.

ControlNet ist eine Technik, um strukturierte Kontrolle zu diffusionsbasierten generativen Modellen hinzuzufügen, die es Benutzern ermöglicht, Bild- oder Video-Generierung mit zusätzlichen Eingaben wie Kantenkarten, Tiefenkarten oder Poseninformationen zu steuern.

ControlNets verschiedene Methoden ermöglichen es, Tiefenbilder in Bilder (obere Reihe), semantische Segmentierung in Bilder (untere linke Ecke) und Posen-gesteuerte Bildgenerierung von Menschen und Tieren (untere linke Ecke) zu generieren.

Anstatt sich ausschließlich auf Text-Prompts zu verlassen, führt ControlNet separate neuronale Netzwerkzweige oder Adapter ein, die diese Bedingungssignale verarbeiten, während die generativen Fähigkeiten des Basis-Modells erhalten bleiben.

Dies ermöglicht fein abgestimmte Ausgaben, die den Benutzerspezifikationen näher kommen, was es besonders nützlich in Anwendungen macht, in denen präzise Komposition, Struktur oder Bewegungskontrolle erforderlich ist:

Mit einer Leit-Pose können verschiedene genaue Ausgabetypen über ControlNet erhalten werden. Quelle: https://arxiv.org/pdf/2302.05543

Es gibt jedoch einige Nachteile bei adapterbasierten Frameworks dieser Art.

Erstens werden Adapter unabhängig trainiert, was zu Branch-Konflikten führt, wenn mehrere Adapter kombiniert werden, was die Generierungsqualität verschlechtern kann.

Zweitens führen sie zu Parameter-Redundanz, was extra Rechenleistung und Speicher für jeden Adapter erfordert, was das Skalieren ineffizient macht.

Drittens produzieren Adapter oft suboptimale Ergebnisse im Vergleich zu Modellen, die vollständig fein abgestimmt sind für die multikonditionale Generierung. Diese Probleme machen adapterbasierte Methoden weniger effektiv für Aufgaben, die eine nahtlose Integration mehrerer Kontrollsignale erfordern.

Ideal wäre es, wenn die Fähigkeiten von ControlNet native in das Modell trainiert würden, auf eine modulare Weise, die es ermöglichen würde, später und viel erwartete offensichtliche Innovationen wie simultane Video-/Audio-Generierung oder native Lip-Sync-Fähigkeiten (für externes Audio) zu integrieren.

Wie es derzeit steht, stellt jedes zusätzliche Stück Funktionalität entweder eine Post-Produktions-Aufgabe oder ein nicht-natives Verfahren dar, das die eng gebundenen und empfindlichen Gewichte des jeweiligen Grundmodells navigieren muss.

FullDiT

In diese Pattsituation kommt ein neues Angebot aus China, das ein System vorschlägt, in dem ControlNet-ähnliche Maßnahmen direkt in ein generatives Video-Modell während des Trainings eingebaut werden, anstatt als Nachgedanke behandelt zu werden.

Aus dem neuen Papier: Der FullDiT-Ansatz kann Identitäts-Übertragung, Tiefen-Kartierung und Kamera-Bewegung in eine native Generierung einbeziehen und kann jede Kombination davon auf einmal aufrufen. Quelle: https://arxiv.org/pdf/2503.19907

Der neue Ansatz, der FullDiT genannt wird, integriert mehrere Bedingungen wie Identitäts-Übertragung, Tiefen-Kartierung und Kamera-Bewegung in ein trainiertes generatives Video-Modell, für das die Autoren ein Prototyp-Modell und begleitende Video-Clips auf einer Projekt-Website erstellt haben.

In dem folgenden Beispiel sehen wir Generierungen, die Kamera-Bewegung, Identitäts-Informationen und Text-Informationen (d. h. Benutzer-Text-Prompts) einbeziehen:

Bitte anklicken, um abzuspielen.Beispiele für ControlNet-ähnliche Benutzer-Überlagerungen mit nur einem nativen trainierten Grundmodell. Quelle: https://fulldit.github.io/

Es sollte beachtet werden, dass die Autoren ihr experimentelles trainiertes Modell nicht als funktionsfähiges Grundmodell vorschlagen, sondern eher als Beweis des Konzepts für native Text-zu-Video- (T2V) und Bild-zu-Video- (I2V) Modelle, die Benutzern mehr Kontrolle bieten als nur ein Bild-Prompt oder ein Text-Prompt.

Da es noch keine ähnlichen Modelle dieser Art gibt, erstellten die Forscher ein neues Benchmark-Set namens FullBench, für die Bewertung von Multi-Task-Videos, und behaupten, dass sie den aktuellen Stand der Technik in den wie-für-wie-Tests, die sie entwickelt haben, gegenüber früheren Ansätzen erreicht haben. Allerdings ist die Objektivität von FullBench, da es von den Autoren selbst entwickelt wurde, ungetestet, und ihre Datenmenge von 1.400 Fällen kann für weiterreichende Schlussfolgerungen zu begrenzt sein.

Vielleicht ist der interessanteste Aspekt der Architektur, die das Papier vorstellt, ihr Potenzial, neue Arten von Kontrolle zu integrieren. Die Autoren stellen fest:

‘In dieser Arbeit erforschen wir nur Kontrollbedingungen der Kamera, Identitäten und Tiefeninformationen. Wir haben andere Bedingungen und Modalitäten wie Audio, Sprache, Punktwolken, Objekt-Begrenzungsboxen, optischen Fluss usw. nicht weiter untersucht. Obwohl die Konstruktion von FullDiT es ermöglicht, andere Modalitäten mit minimalen Architektur-Modifikationen nahtlos zu integrieren, bleibt es eine wichtige Frage, wie man bestehende Modelle schnell und kosteneffizient an neue Bedingungen und Modalitäten anpassen kann.’

Obwohl die Forscher FullDiT als einen Schritt nach vorne in der Multi-Task-Video-Generierung präsentieren, sollte beachtet werden, dass diese neue Arbeit auf bestehenden Architekturen aufbaut, anstatt ein grundlegend neues Paradigma einzuführen.

Nonetheless, FullDiT steht derzeit (soweit ich weiß) allein als Video-Grundmodell mit ‘harteingebauten’ ControlNet-ähnlichen Einrichtungen – und es ist gut zu sehen, dass die vorgeschlagene Architektur auch späteren Innovationen Platz bietet.

Bitte anklicken, um abzuspielen. Beispiele für benutzerkontrollierte Kamera-Bewegungen, von der Projekt-Website.

Das neue Papier trägt den Titel FullDiT: Multi-Task-Video-Generierungs-Grundmodell mit voller Aufmerksamkeit und stammt von neun Forschern aus Kuaishou Technology und der Chinesischen Universität von Hongkong. Die Projekt-Website ist hier und die neue Benchmark-Daten sind hier bei Hugging Face.

Methode

Die Autoren behaupten, dass FullDiTs vereinigtes Aufmerksamkeitsmechanismus ein stärkeres cross-modales Repräsentationslernen ermöglicht, indem es sowohl räumliche als auch zeitliche Beziehungen über Bedingungen hinweg erfasst:

Laut dem neuen Papier integriert FullDiT mehrere Eingabebedingungen durch vollständige Selbst-Aufmerksamkeit, indem es sie in eine vereinigte Sequenz umwandelt. Im Gegensatz dazu verwenden adapterbasierte Modelle (links) separate Module für jede Eingabe, was zu Redundanz, Konflikten und schwächerer Leistung führt.

Im Gegensatz zu adapterbasierten Einrichtungen, die jeden Eingabestrom separat verarbeiten, vermeidet diese gemeinsame Aufmerksamkeitsstruktur Zweig-Konflikte und reduziert den Parameter-Überkopplung. Sie behaupten auch, dass die Architektur auf neue Eingabtypen skalieren kann, ohne eine größere Neukonstruktion zu erfordern – und dass das Modell-Schema Anzeichen dafür zeigt, dass es sich auf Bedingungskombinationen verallgemeinern kann, die während des Trainings nicht gesehen wurden, wie z. B. die Verbindung von Kamera-Bewegung mit Charakter-Identität.

Bitte anklicken, um abzuspielen. Beispiele für Identitäts-Generierung von der Projekt-Website.

In FullDiTs Architektur werden alle Bedingungseingaben – wie Text, Kamera-Bewegung, Identität und Tiefeninformationen – zunächst in ein vereinigtes Token-Format umgewandelt. Diese Token werden dann zu einer einzigen langen Sequenz verkettet, die durch einen Stapel von Transformer-Schichten mit vollständiger Selbst-Aufmerksamkeit verarbeitet wird. Dieser Ansatz folgt früheren Arbeiten wie Open-Sora Plan und Movie Gen.

Dieses Design ermöglicht es dem Modell, zeitliche und räumliche Beziehungen gemeinsam über alle Bedingungen hinweg zu lernen. Jeder Transformer-Block operiert über die gesamte Sequenz, ermöglicht dynamische Interaktionen zwischen Modalitäten, ohne auf separate Module für jede Eingabe angewiesen zu sein – und, wie wir bereits erwähnt haben, ist die Architektur so konzipiert, dass sie erweiterbar ist, was es viel einfacher macht, zusätzliche Kontrollsignale in der Zukunft zu integrieren, ohne größere strukturelle Änderungen vorzunehmen.

Die Macht der Drei

FullDiT wandelt jedes Kontrollsignal in ein standardisiertes Token-Format um, so dass alle Bedingungen in einem vereinigten Aufmerksamkeitsrahmen verarbeitet werden können. Für Kamera-Bewegung kodiert das Modell eine Sequenz von extrinsischen Parametern – wie Position und Ausrichtung – für jeden Frame. Diese Parameter sind zeitgestempelt und in Embedding-Vektoren projiziert, die die zeitliche Natur des Signals widerspiegeln.

Identitäts-Informationen werden anders behandelt, da sie inhärent räumlich und nicht zeitlich sind. Das Modell verwendet Identitäts-Karten, die angeben, welche Charaktere in welchen Teilen jedes Frames vorhanden sind. Diese Karten werden in Patches unterteilt, wobei jeder Patch in ein Embedding projiziert wird, das räumliche Identitäts-Hinweise aufnimmt, was es dem Modell ermöglicht, bestimmte Bereiche des Frames mit bestimmten Entitäten zu verknüpfen.

Tiefen-Informationen sind ein raum-zeitliches Signal, und das Modell behandelt es, indem es Tiefen-Videos in 3D-Patches unterteilt, die sowohl Raum als auch Zeit umfassen. Diese Patches werden dann in einer Weise eingebettet, die ihre Struktur über Frames hinweg erhält.

Sobald diese Bedingungstoken (Kamera, Identität und Tiefen-Informationen) in ein vereinigtes Token-Format umgewandelt sind, können sie von FullDiT mithilfe von vollständiger Selbst-Aufmerksamkeit verarbeitet werden. Diese gemeinsame Repräsentation ermöglicht es dem Modell, Interaktionen über Modalitäten und über die Zeit hinweg zu lernen, ohne auf isolierte Verarbeitungsströme angewiesen zu sein.

Daten und Tests

FullDiTs Trainingsansatz basierte auf selektiv annotierten Datensätzen, die auf jede Bedingungsart zugeschnitten waren, anstatt alle Bedingungen gleichzeitig zu erfordern.

Für textuelle Bedingungen folgte die Initiative dem strukturierten Beschriftungsansatz, der im MiraData-Projekt beschrieben wird.

Video-Sammlung und Annotations-Pipeline aus dem MiraData-Projekt. Quelle: https://arxiv.org/pdf/2407.06358

Für Kamera-Bewegung war die RealEstate10k-Datenbank die Haupt-Datenquelle, aufgrund ihrer hochwertigen Ground-Truth-Annotierungen von Kamera-Parametern.

Die Autoren stellten jedoch fest, dass das Training ausschließlich auf statischen Szenen-Kamera-Datensätzen wie RealEstate10k tendenziell die dynamischen Objekt- und menschlichen Bewegungen in den generierten Videos reduzierte. Um dies zu kompensieren, führten sie eine zusätzliche Feinabstimmung mit internen Datensätzen durch, die dynamischere Kamera-Bewegungen enthielten.

Identitäts-Annotierungen wurden mit der Pipeline erstellt, die für das ConceptMaster-Projekt entwickelt wurde, was eine effiziente Filterung und Extraktion von feingranularen Identitäts-Informationen ermöglichte.

Das ConceptMaster-Framework ist darauf ausgelegt, Identitäts-Entkopplungsprobleme zu lösen, während es die Konzept-Treue in benutzerdefinierten Videos bewahrt. Quelle: https://arxiv.org/pdf/2501.04698

Tiefen-Annotierungen wurden aus der Panda-70M-Datenbank mit Depth Anything erhalten.

Optimierung durch Daten-Ordnung

Die Autoren implementierten auch einen progressiven Trainingsplan, indem sie schwierigere Bedingungen früher im Training einführten, um sicherzustellen, dass das Modell robuste Repräsentationen erwarb, bevor einfacherere Aufgaben hinzugefügt wurden. Die Trainings-Reihenfolge verlief von Text zu Kamera-Bedingungen, dann Identitäten und schließlich Tiefen, wobei einfacherere Aufgaben im Allgemeinen später und mit weniger Beispielen eingeführt wurden.

Die Autoren betonen den Wert der Reihenfolge der Arbeitslast auf diese Weise:

‘Während der Vorbereitungsphase stellten wir fest, dass schwierigere Aufgaben eine längere Trainingszeit erfordern und früher im Lernprozess eingeführt werden sollten. Diese schwierigen Aufgaben beinhalten komplexe Daten-Verteilungen, die sich erheblich von der Ausgabe-Video-Sequenz unterscheiden, was erfordert, dass das Modell über ausreichende Kapazität verfügt, um sie genau zu erfassen und darzustellen.

‘Umgekehrt kann die Einführung einfacherer Aufgaben zu früh dazu führen, dass das Modell sie zuerst lernt, da sie sofortige Optimierungs-Rückmeldungen liefern, was die Konvergenz schwierigerer Aufgaben behindert.’

Eine Abbildung der Daten-Trainings-Reihenfolge, die die Forscher angenommen haben, mit roter Farbe, die eine größere Datenmenge anzeigt.

Nach der anfänglichen Vorbereitung wurde eine abschließende Feinabstimmungs-Phase durchgeführt, um die visuelle Qualität und die Bewegungsdynamik des Modells zu verbessern. Danach folgte die Ausbildung dem Standard-Verfahren eines diffusionsbasierten Frameworks*:

Das Modell lernte, Rauschen zu vorhersagen und zu entfernen, unter Verwendung der eingebetteten Bedingungstoken als Führung.

Um FullDiT effektiv zu bewerten und einen fairen Vergleich mit bestehenden Methoden zu ermöglichen, und in Abwesenheit der Verfügbarkeit eines anderen geeigneten Benchmarks, führten die Autoren FullBench ein, eine kuratierte Benchmark-Suite, die aus 1.400 unterschiedlichen Testfällen besteht.

Ein Daten-Explorer-Beispiel für den neuen FullBench-Benchmark. Quelle: https://huggingface.co/datasets/KwaiVGI/FullBench

Jeder Daten-Punkt lieferte Ground-Truth-Annotierungen für verschiedene Bedingungssignale, einschließlich Kamera-Bewegung, Identität und Tiefen.

Metriken

Die Autoren bewerteten FullDiT mithilfe von zehn Metriken, die fünf Hauptaspekte der Leistung abdecken: Text-Alignment, Kamera-Kontrolle, Identitäts-Ähnlichkeit, Tiefen-Genauigkeit und allgemeine Video-Qualität.

Text-Alignment wurde mit CLIP-Ähnlichkeit gemessen, während Kamera-Kontrolle durch Rotations-Fehler (RotErr), Translations-Fehler (TransErr) und Kamera-Bewegungs-Konsistenz (CamMC) bewertet wurde, indem der Ansatz von CamI2V (im CameraCtrl-Projekt) verwendet wurde.

Identitäts-Ähnlichkeit wurde mit DINO-I und CLIP-I bewertet, und Tiefen-Genauigkeit wurde mit Mittlerem Absoluten Fehler (MAE) quantifiziert.

Video-Qualität wurde mit drei Metriken aus MiraData beurteilt: Frame-ebene CLIP-Ähnlichkeit für Glätte; optischen Fluss-basierte Bewegungs-Entfernung für Dynamik; und LAION-Ästhetik-Scores für visuelle Attraktivität.

Training

Die Autoren trainierten FullDiT mit einem internen (nicht offengelegten) Text-zu-Video-Diffusions-Modell, das etwa eine Milliarde Parameter enthielt. Sie wählten absichtlich eine moderate Parameter-Größe, um Fairness in Vergleichen mit früheren Methoden zu gewährleisten und Reproduzierbarkeit zu ermöglichen.

Da die Trainings-Videos in Länge und Auflösung variierten, standardisierten die Autoren jeden Batch durch das Ändern der Größe und das Paddern von Videos auf eine gemeinsame Auflösung, das Sammeln von 77 Frames pro Sequenz und das Anwenden von Aufmerksamkeit und Verlust-Masken, um die Trainings-Effektivität zu optimieren.

Der Adam-Optimizer wurde mit einer Lernrate von 1×10⁻⁵ über einen Cluster von 64 NVIDIA H800-GPUs verwendet, für eine kombinierte Gesamtmenge von 5.120 GB VRAM (im Vergleich dazu ist 24 GB auf einem RTX 3090 in der Enthusiasten-Synthese-Gemeinschaft immer noch ein luxuriöser Standard).

Das Modell wurde für etwa 32.000 Schritte trainiert, wobei bis zu drei Identitäten pro Video, zusammen mit 20 Frames von Kamera-Bedingungen und 21 Frames von Tiefen-Bedingungen, jeweils gleichmäßig aus den gesamten 77 Frames ausgewählt wurden.

Bei der Inferenz generierte das Modell Videos in einer Auflösung von 384×672 Pixeln (etwa fünf Sekunden bei 15 Frames pro Sekunde) mit 50 Diffusions-Inferenz-Schritten und einer Klassifikator-freien Führungs-Skala von fünf.

Frühere Methoden

Für die Kamera-zu-Video-Bewertung verglichen die Autoren FullDiT mit MotionCtrl, CameraCtrl und CamI2V, wobei alle Modelle mit dem RealEstate10k-Datensatz trainiert wurden, um Konsistenz und Fairness zu gewährleisten.

Bei der identitäts-bedingten Generierung wurde das Modell gegen das 1-Milliarden-Parameter-Modell ConceptMaster getestet, unter Verwendung der gleichen Trainings-Daten und -Architektur.

Für Tiefen-zu-Video-Aufgaben wurden Vergleiche mit Ctrl-Adapter und ControlVideo durchgeführt.

Quantitative Ergebnisse für die einzelne Aufgabe der Video-Generierung. FullDiT wurde mit MotionCtrl, CameraCtrl und CamI2V für Kamera-zu-Video-Generierung verglichen; ConceptMaster (1-Milliarden-Parameter-Version) für Identitäts-zu-Video; und Ctrl-Adapter und ControlVideo für Tiefen-zu-Video. Alle Modelle wurden mit ihren Standard-Einstellungen ausgewertet. Für Konsistenz wurden 16 Frames gleichmäßig aus jedem Verfahren ausgewählt, was der Ausgabelänge früherer Modelle entspricht.

Die Ergebnisse zeigen, dass FullDiT, trotz der gleichzeitigen Verarbeitung mehrerer Bedingungssignale, den aktuellen Stand der Technik in Metriken im Zusammenhang mit Text, Kamera-Bewegung, Identität und Tiefen-Kontrolle erreicht hat.

In den allgemeinen Qualitäts-Metriken übertraf das System im Allgemeinen andere Methoden, obwohl seine Glätte leicht niedriger war als die von ConceptMaster. Hier kommentieren die Autoren:

‘Die Glätte von FullDiT ist leicht niedriger als die von ConceptMaster, da die Berechnung der Glätte auf der CLIP-Ähnlichkeit zwischen benachbarten Frames basiert. Da FullDiT im Vergleich zu ConceptMaster eine deutlich größere Dynamik aufweist, wird die Glätte-Metrik durch die großen Variationen zwischen benachbarten Frames beeinflusst.

‘Für den Ästhetik-Score favorisiert das Bewertungs-Modell Bilder im Malstil, und ControlVideo generiert typischerweise Videos in diesem Stil, was zu einem hohen Score in der Ästhetik führt.’

Im Hinblick auf den qualitativen Vergleich ist es vielleicht besser, auf die Beispiel-Videos auf der FullDiT-Projekt-Website zu verweisen, da die PDF-Beispiele unvermeidlich statisch sind (und auch zu groß, um sie hier vollständig zu reproduzieren).

Der erste Abschnitt der qualitativen Ergebnisse im PDF. Bitte verweisen Sie auf das Quellen-Papier für die zusätzlichen Beispiele, die zu umfangreich sind, um sie hier zu reproduzieren.

Die Autoren kommentieren:

‘FullDiT zeigt eine überlegene Identitäts-Erhaltung und generiert Videos mit besserer Dynamik und visueller Qualität im Vergleich zu [ConceptMaster]. Da ConceptMaster und FullDiT auf dem gleichen Backbone trainiert wurden, unterstreicht dies die Effektivität der Bedingungs-Injektion mit voller Aufmerksamkeit.

‘…Die [anderen] Ergebnisse demonstrieren die überlegene Kontrollierbarkeit und Generierungs-Qualität von FullDiT im Vergleich zu bestehenden Tiefen-zu-Video- und Kamera-zu-Video-Methoden.’

Ein Abschnitt der PDF-Beispiele für FullDiTs Ausgabe mit mehreren Signalen. Bitte verweisen Sie auf das Quellen-Papier und die Projekt-Website für zusätzliche Beispiele.

Schlussfolgerung

Obwohl FullDiT ein spannender Schritt in Richtung eines umfassenderen Video-Grundmodells ist, muss man sich fragen, ob die Nachfrage nach ControlNet-ähnlichen Einrichtungen jemals die Implementierung solcher Funktionen im großen Maßstab rechtfertigen wird, zumindest für FOSS-Projekte, die Schwierigkeiten haben würden, die enorme Menge an GPU-Rechenleistung zu erhalten, die erforderlich wäre, ohne kommerzielle Unterstützung.

Die Haupt-Herausforderung besteht darin, dass die Verwendung von Systemen wie Tiefen und Pose im Allgemeinen eine nicht-triviale Vertrautheit mit relativ komplexen Benutzeroberflächen wie ComfyUI erfordert. Es scheint daher, dass ein funktionsfähiges FOSS-Modell dieser Art am wahrscheinlichsten von einem Ensemble kleinerer VFX-Unternehmen entwickelt wird, die nicht über das Geld (oder den Willen, da solche Systeme schnell durch Modell-Updates veraltet werden) verfügen, um ein solches Modell hinter verschlossenen Türen zu kuratieren und zu trainieren.

Andererseits könnten API-getriebene ‘Miete-AI’-Systeme gut motiviert sein, einfacherere und benutzerfreundlichere interpretative Methoden für Modelle zu entwickeln, in die Hilfs-Kontrollsysteme direkt trainiert wurden.

Bitte anklicken, um abzuspielen. Tiefen- und Text-Kontrollen, die auf eine Video-Generierung mit FullDiT aufgezwungen werden.

* Die Autoren geben nicht an, welches bekannte Grundmodell (z. B. SDXL) verwendet wurde.

Erstveröffentlichung: Donnerstag, 27. März 2025