Warum können generative Video-Systeme keine vollständigen Filme erstellen?

Die Entwicklung und der Fortschritt von generativer KI-Video-Technologie haben viele Beobachter dazu veranlasst, vorherzusagen, dass maschinelles Lernen den Tod der Filmindustrie, wie wir sie kennen, bedeuten wird – stattdessen werden einzelne Ersteller in der Lage sein, Hollywood-ähnliche Blockbuster zu Hause zu erstellen, entweder auf lokalen oder cloudbasierten GPU-Systemen.

Ist dies möglich? Selbst wenn es möglich ist, ist es unmittelbar, wie viele glauben?

Dass Einzelpersonen letztendlich in der Lage sein werden, Filme zu erstellen, in der Form, die wir kennen, mit konsistenten Charakteren, Erzählkontinuität und voller Photorealität, ist durchaus möglich – und vielleicht sogar unvermeidlich.

Es gibt jedoch mehrere grundlegende Gründe, warum dies nicht mit Video-Systemen auf Basis von Latent-Diffusions-Modellen passieren wird.

Dieser letzte Punkt ist wichtig, weil zum aktuellen Zeitpunkt alle populären Text-zu-Video- (T2-) und Bild-zu-Video- (I2V-) Systeme, einschließlich Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (und, soweit wir feststellen können, die bevorstehende Video-Funktionalität von Adobe Firefly); unter vielen anderen fallen.

Wir betrachten hier die Aussicht auf wahre auteur-Vollproduktionen, erstellt von Einzelpersonen, mit konsistenten Charakteren, Kameraarbeit und visuellen Effekten, die mindestens dem aktuellen Stand der Technik in Hollywood entsprechen.

Lassen Sie uns einige der größten praktischen Hindernisse für die Herausforderungen betrachten.

1: Sie können keinen genauen Nachaufnahme-Schuss erstellen

Die Erzählungskonsistenz ist das größte dieser Hindernisse. Die Tatsache ist, dass kein derzeit verfügbares Video-Generierungssystem einen wirklich genauen ‘Nachaufnahme’-Schuss erstellen kann*.

Dies liegt daran, dass das Denoising-Diffusions-Modell im Herzen dieser Systeme auf zufälligem Rauschen basiert, und dieses Kernprinzip ist nicht geeignet, genau denselben Inhalt zweimal zu interpretieren (d. h. aus verschiedenen Perspektiven oder durch die Entwicklung des vorherigen Schusses in einen Nachaufnahme-Schuss, der die Konsistenz mit dem vorherigen Schuss aufrechterhält).

Wenn Text-Prompts verwendet werden, allein oder zusammen mit hochgeladenen ‘Seed’-Bildern (multimodale Eingabe), werden die Token aus dem Prompt semantisch geeignete Inhalte aus dem trainierten latenten Raum des Modells hervorrufen.

Es wird jedoch weiter behindert durch den ‘zufälligen Rauschen’-Faktor, es nicht auf dieselbe Weise zweimal tun.

Dies bedeutet, dass die Identitäten von Personen im Video tendenziell wechseln und Objekte und Umgebungen nicht mit dem ursprünglichen Schuss übereinstimmen.

Dies ist der Grund, warum virale Clips, die außergewöhnliche visuelle Effekte und Hollywood-ähnliche Ausgaben zeigen, tendenziell entweder einzelne Schüsse oder eine ‘Showcase-Montage’ der Fähigkeiten des Systems sind, bei der jeder Schuss unterschiedliche Charaktere und Umgebungen zeigt.

Auszüge aus einer generativen AI-Montage von Marco van Hylckama Vlieg – Quelle: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Die Implikation in diesen Sammlungen von ad hoc-Video-Generierungen (die im Falle kommerzieller Systeme möglicherweise irreführend sind) ist, dass das zugrunde liegende System in der Lage ist, kontinuierliche und konsistente Erzählungen zu erstellen.

Die Analogie, die hier ausgenutzt wird, ist ein Filmtrailer, der nur etwa eine oder zwei Minuten Filmmaterial enthält, aber dem Publikum einen Grund gibt, zu glauben, dass der gesamte Film existiert.

Die einzigen Systeme, die derzeit Erzählungskonsistenz in einem Diffusionsmodell bieten, sind diejenigen, die Stillbilder produzieren. Dazu gehören NVIDIAs ConsiStory und diverse Projekte in der wissenschaftlichen Literatur, wie TheaterGen, DreamStory und StoryDiffusion.

Zwei Beispiele für ‘statische’ Erzählungskontinuität, von aktuellen Modellen: Quellen: https://research.nvidia.com/labs/par/consistory/ und https://arxiv.org/pdf/2405.01434

Theoretisch könnte man ein besseres solches System verwenden (keines der oben genannten ist wirklich konsistent), um eine Reihe von Bild-zu-Video-Schüssen zu erstellen, die zu einer Sequenz zusammengefügt werden könnten.

Bei dem aktuellen Stand der Technik produziert dieser Ansatz jedoch keine plausiblen Nachaufnahme-Schüsse; und wir haben bereits eine Schicht der Komplexität hinzugefügt, indem wir von dem auteur-Traum abgewichen sind.

Wir können zusätzlich Low-Rank-Adaptations-Modelle (LoRA) verwenden, die speziell auf Charaktere, Dinge oder Umgebungen trainiert sind, um bessere Konsistenz über Schüsse hinweg zu gewährleisten.

Wenn jedoch ein Charakter in einem neuen Kostüm erscheinen soll, muss in der Regel ein neues LoRA trainiert werden, das den Charakter in dieser Kleidung darstellt (obwohl Subkonzepte wie ‘rotes Kleid’ in separate LoRAs trainiert werden können, zusammen mit geeigneten Bildern, sind sie nicht immer einfach zu handhaben).

Dies fügt erhebliche Komplexität hinzu, sogar in einer Eröffnungsszene eines Films, in der eine Person aus dem Bett steigt, einen Morgenmantel anzieht, gähnt, aus dem Schlafzimmerfenster schaut und ins Badezimmer geht, um sich die Zähne zu putzen.

Eine solche Szene, die etwa 4-8 Schüsse enthält, kann in einem Vormittag mit herkömmlichen Filmproduktionsverfahren gedreht werden; mit dem aktuellen Stand der Technik in generativer KI könnte dies Wochen der Arbeit, mehrere trainierte LoRAs (oder andere Hilfssysteme) und eine erhebliche Menge an Nachbearbeitung bedeuten.

Alternativ kann Video-zu-Video verwendet werden, bei dem alltägliche oder CGI-Footage durch Text-Prompts in alternative Interpretationen umgewandelt wird. Runway bietet ein solches System, zum Beispiel.

CGI (links) aus Blender, interpretiert in einem textgestützten Runway-Video-zu-Video-Experiment von Mathieu Visnjevec – Quelle: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Es gibt zwei Probleme hier: Sie müssen bereits das Kernmaterial erstellen, also machen Sie bereits den Film zweimal, auch wenn Sie ein synthetisches System wie UnReals MetaHuman verwenden.

Wenn Sie CGI-Modelle erstellen (wie im Clip oben) und diese in einer Video-zu-Bild-Transformation verwenden, kann ihre Konsistenz über Schüsse hinweg nicht garantiert werden.

Dies liegt daran, dass Video-Diffusionsmodelle das ‘große Bild’ nicht sehen – stattdessen erstellen sie ein neues Bild auf der Grundlage des vorherigen Bildes/s und berücksichtigen in einigen Fällen auch ein nahegelegenes zukünftiges Bild; aber, um den Prozess mit einem Schachspiel zu vergleichen, können sie nicht ‘zehn Züge im Voraus’ denken und können sich nicht an zehn Züge vorher erinnern.

Zweitens wird ein Diffusionsmodell immer noch Schwierigkeiten haben, ein konsistentes Aussehen über Schüsse hinweg aufrechtzuerhalten, selbst wenn Sie mehrere LoRAs für Charakter, Umgebung und Lichtstil einbeziehen, aus den Gründen, die am Anfang dieses Abschnitts genannt wurden.

2: Sie können einen Schuss nicht leicht bearbeiten

Wenn Sie einen Charakter darstellen, der mit herkömmlichen CGI-Methoden einen Straßenweg entlanggeht, und Sie entscheiden, dass Sie einen Aspekt des Schusses ändern möchten, können Sie das Modell anpassen und es erneut rendern.

Wenn es sich um eine reale Aufnahme handelt, setzen Sie einfach zurück und drehen es erneut, mit den entsprechenden Änderungen.

Wenn Sie jedoch einen gen-AI-Video-Schuss erstellen, den Sie lieben, aber einen Aspekt davon ändern möchten, können Sie dies nur durch mühsame Nachbearbeitungsmethoden erreichen, die in den letzten 30-40 Jahren entwickelt wurden: CGI, Rotoskopie, Modellierung und Matting – alles zeitaufwändige und teure Verfahren.

Die Art und Weise, wie Diffusionsmodelle funktionieren, ändert, wenn Sie einfach einen Aspekt eines Text-Prompts ändern (auch in einem multimodalen Prompt, bei dem Sie ein vollständiges Quellbild-Seed bereitstellen), wird mehrere Aspekte des generierten Ausgangs ändern, was zu einem Spiel von Prompting ‘Whack-a-Mole’ führt.

3: Sie können sich nicht auf die Gesetze der Physik verlassen

Traditionelle CGI-Methoden bieten eine Vielzahl von algorithmischen physikalischen Modellen, die Phänomene wie Flüssigkeitsdynamik, Gasbewegung, inverse Kinematik (die genaue Modellierung von menschlicher Bewegung), Stoffdynamik, Explosionen und diverse andere realweltliche Phänomene simulieren können.

Diffusionsbasierte Methoden haben jedoch, wie wir gesehen haben, kurze Erinnerungen und auch eine begrenzte Anzahl von Bewegungsprioris (Beispiele für solche Aktionen, die in den Trainingsdatensatz aufgenommen wurden), auf die sie zurückgreifen können.

In einer früheren Version der Startseite von OpenAI für das renommierte Sora-Generierungssystem räumte das Unternehmen ein, dass Sora in dieser Hinsicht Einschränkungen aufweist (obwohl dieser Text inzwischen entfernt wurde):

‘[Sora] kann Schwierigkeiten haben, die Physik einer komplexen Szene zu simulieren, und kann spezifische Fälle von Ursache und Wirkung nicht verstehen (z. B. kann ein Keks kein Zeichen zeigen, nachdem ein Charakter ihn gebissen hat).

‘Das Modell kann auch räumliche Details in einem Prompt, wie die Unterscheidung zwischen links und rechts, oder Schwierigkeiten mit präzisen Beschreibungen von Ereignissen, die sich über die Zeit erstrecken, wie spezifische Kamerabewegungen, haben.’

Die praktische Anwendung verschiedener API-basierter generativer Video-Systeme zeigt ähnliche Einschränkungen bei der Darstellung genauer Physik. Einige Bewegungsprior-Embeddings, die entweder in das generative Modell trainiert oder aus einer Quellvideo-Datei stammen, benötigen einige Zeit, um abgeschlossen zu werden (wie eine Person, die eine komplexe und nicht wiederholte Tanzsequenz in einem aufwändigen Kostüm ausführt) und, einmal wieder, wird das Diffusionsmodell durch seine myope Aufmerksamkeitsfenster wahrscheinlich den Inhalt (Gesichts-ID, Kostümdetails usw.) ändern, sobald die Bewegung abgeschlossen ist. LoRAs können dies jedoch in gewissem Maße mildern.

Es in Post bearbeiten

Es gibt andere Mängel bei der reinen ‘Einzelbenutzer’-KI-Video-Generierung, wie die Schwierigkeit, schnelle Bewegungen darzustellen, und das allgemeinere und dringendere Problem, zeitliche Konsistenz in der Ausgabe-Videos zu erzielen.

Darüber hinaus ist die Erstellung spezifischer Gesichtsausdrucksleistungen in generativer Video-Technologie weitgehend Glückssache, ebenso wie die Lippen-Synchronisation für Dialoge.

In beiden Fällen wird die Verwendung von Hilfssystemen wie LivePortrait und AnimateDiff in der VFX-Community sehr beliebt, da dies die Übertragung von mindestens breiten Gesichtsausdrücken und Lippen-Synchronisation auf bestehende generierte Ausgaben ermöglicht.

Ein Beispiel für die Übertragung von Ausdrücken (treibendes Video in der unteren linken Ecke) auf ein Zielvideo mit LivePortrait. Das Video ist von Generative Z TunisiaGenerative. Siehe die vollständige Version in besserer Qualität unter https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Weiterhin gibt es eine Vielzahl von komplexen Lösungen, die Tools wie die Stable-Diffusion-GUI ComfyUI und die professionelle Compositing- und Manipulationsanwendung Nuke sowie latente Raummanipulation einbeziehen, die es AI-VFX-Praktikern ermöglichen, eine größere Kontrolle über Gesichtsausdruck und Haltung zu erlangen.

Obwohl er beschreibt, dass der Prozess der Gesichtsanimation in ComfyUI ‘Folter’ ist, hat VFX-Experte Francisco Contreras ein solches Verfahren entwickelt, das die Aufprägung von Lippenphonemen und anderen Aspekten der Gesichts-/Kopfdarstellung ermöglicht.

Stable Diffusion, unterstützt durch einen Nuke-ComfyUI-Workflow, ermöglichte es VFX-Profi Francisco Contreras, ungewöhnliche Kontrolle über Gesichtsaspekte zu erlangen. Für das vollständige Video in besserer Auflösung besuchen Sie https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Schlussfolgerung

Keines von diesem ist vielversprechend für die Aussicht, dass ein einzelner Benutzer kohärente und photorealistische Blockbuster-ähnliche Vollfilme mit realistischem Dialog, Lippen-Synchronisation, Leistungen, Umgebungen und Kontinuität erstellen kann.

Darüber hinaus sind die hier beschriebenen Hindernisse, zumindest in Bezug auf diffusionsbasierte generative Video-Modelle, nicht unbedingt in nächster Zeit lösbar, trotz Forenkommentaren und Medienaufmerksamkeit, die dies behaupten. Die Einschränkungen scheinen inhärent zum Architekturdesign zu sein.

In der KI-Synthese-Forschung, wie in allen wissenschaftlichen Forschungen, blenden uns gelegentlich brillante Ideen mit ihrem Potenzial, nur um weitere Forschung zu entdecken, die ihre fundamentalen Einschränkungen aufdeckt.

In dem generativen/Synthese-Bereich ist dies bereits mit Generative Adversarial Networks (GANs) und Neuralen Radiance-Feldern (NeRF) passiert, die letztendlich sehr schwierig zu instrumentalisieren in leistungsfähige kommerzielle Systeme waren, trotz jahrelanger akademischer Forschung in diese Richtung. Diese Technologien treten jetzt am häufigsten als Hilfskomponenten in alternativen Architekturen auf.

So wie Filmstudios hoffen, dass das Training auf legitim lizenzierten Filmkatalogen VFX-Künstler eliminieren könnte, fügt KI tatsächlich Rollen zur Belegschaft hinzu.

Ob diffusionsbasierte Video-Systeme wirklich in narrativ konsistente und photorealistische Filmgeneratoren umgewandelt werden können oder ob das ganze Geschäft nur eine weitere alchemistische Verfolgung ist, sollte sich in den nächsten 12 Monaten zeigen.

Es kann sein, dass wir einen ganz neuen Ansatz benötigen; oder es kann sein, dass Gaussian Splatting (GSplat), das in den frühen 1990er Jahren entwickelt und kürzlich in der Bildsynthese auf dem Vormarsch ist, eine potenzielle Alternative zur diffusionsbasierten Video-Generierung darstellt.

Da GSplat 34 Jahre brauchte, um an die Öffentlichkeit zu gelangen, ist es möglich, dass ältere Kandidaten wie NeRF und GANs – und sogar latente Diffusionsmodelle – noch ihre Chance haben.

* Obwohl Kaibers AI-Storyboard-Funktion diese Art von Funktionalität bietet, sind die Ergebnisse, die ich gesehen habe, nicht produktionssicher.

Martin Anderson ist der ehemalige Leiter des wissenschaftlichen Forschungsinhalts bei metaphysic.ai. Erstveröffentlicht am Montag, den 23. September 2024.