Computer-Vision ist eines der aufregendsten und am besten erforschten Felder innerhalb der AI-Gemeinschaft heute, und trotz der schnellen Verbesserung der Computer-Vision-Modelle ist die Bildanimation immer noch eine Herausforderung, die Entwickler plagt. Selbst heute kämpfen Bildanimation-Frameworks darum, Stillbilder in ihre jeweiligen Video-Gegenstücke umzuwandeln, die natürliche Dynamik anzeigen und das ursprüngliche Aussehen der Bilder erhalten. Traditionell konzentrieren sich Bildanimation-Frameworks hauptsächlich auf die Animation von natürlichen Szenen mit domänenspezifischen Bewegungen wie Haar- oder Körperbewegungen oder stochastischen Dynamiken wie Flüssigkeiten und Wolken. Obwohl dieser Ansatz bis zu einem bestimmten Grad funktioniert, limitiert er die Anwendbarkeit dieser Animation-Frameworks auf generischer visueller Inhalte.

Darüber hinaus konzentrieren sich herkömmliche Bildanimation-Ansätze hauptsächlich auf die Synthese von oszillierenden und stochastischen Bewegungen oder auf die Anpassung an bestimmte Objektkategorien. Allerdings hat dieser Ansatz einen bemerkenswerten Fehler, da starke Annahmen auf diese Methoden aufgezwungen werden, die letztendlich ihre Anwendbarkeit insbesondere in allgemeinen Szenarien wie der offenen Bildanimation limitieren. In den letzten Jahren haben T2V- oder Text-zu-Video-Modelle bemerkenswerte Erfolge bei der Erzeugung lebendiger und vielfältiger Videos mit textuellen Prompts demonstriert, und diese Demonstration von T2V-Modellen bildet die Grundlage für das DynamiCrafter-Framework.

Das DynamiCrafter-Framework ist ein Versuch, die aktuellen Limitationen von Bildanimation-Modellen zu überwinden und ihre Anwendbarkeit auf generische Szenarien mit offenen Bildern zu erweitern. Das DynamiCrafter-Framework versucht, dynamischen Inhalt für offene Bildern zu synthetisieren und sie in animierte Videos umzuwandeln. Die Schlüsselidee hinter DynamiCrafter ist es, das Bild als Leitfaden in den generativen Prozess einzubinden, um die Bewegungspriorität der bereits existierenden Text-zu-Video-Diffusionsmodelle zu nutzen. Für ein gegebenes Bild implementiert das DynamiCrafter-Modell zunächst einen Query-Transformer, der das Bild in einen text-alignierten reichen Kontext-Representationsraum projiziert, wodurch das Video-Modell den Bildinhalt in einer kompatiblen Weise verdauen kann. Allerdings kämpft das DynamiCrafter-Modell immer noch darum, einige visuelle Details in den resultierenden Videos zu erhalten, ein Problem, das das DynamiCrafter-Modell überwindet, indem es das vollständige Bild dem Diffusionsmodell durch Konkatenation des Bildes mit den anfänglichen Rauschen zuführt, wodurch das Modell mit präziseren Bildinformationen supplementiert wird.

Dieser Artikel zielt darauf ab, das DynamiCrafter-Framework in die Tiefe zu beleuchten, und wir erkunden den Mechanismus, die Methodik, die Architektur des Frameworks sowie seinen Vergleich mit state-of-the-art-Bild- und Video-Generierungsframeworks. Also los geht’s.

DynamiCrafter: Animieren von Open-Domain-Bildern

Die Animation eines Stillbilds bietet oft ein ansprechendes visuelles Erlebnis für das Publikum, da es scheint, das Stillbild zum Leben zu erwecken. Im Laufe der Jahre haben zahlreiche Frameworks verschiedene Methoden zur Animation von Stillbildern erforscht. Die ersten Animation-Frameworks implementierten physikalische Simulationsansätze, die sich auf die Simulation der Bewegung von bestimmten Objekten konzentrierten. Allerdings waren diese Ansätze weder effektiv noch hatten sie Generalisierbarkeit. Um realistischere Bewegungen zu replizieren, entstanden referenzbasierte Methoden, die Bewegungs- oder Erscheinungsinformationen von Referenzsignalen wie Videos in den Synthese-Prozess übertrugen. Obwohl referenzbasierte Ansätze bessere Ergebnisse mit besserer zeitlicher Kohärenz im Vergleich zu simulationsbasierten Ansätzen lieferten, benötigten sie zusätzliche Leitfäden, die ihre praktischen Anwendungen limitierten.

In den letzten Jahren konzentrieren sich die meisten Animation-Frameworks hauptsächlich auf die Animation von natürlichen Szenen mit stochastischen, domänenspezifischen oder oszillierenden Bewegungen. Obwohl der Ansatz, der von diesen Frameworks implementiert wird, bis zu einem bestimmten Grad funktioniert, sind die Ergebnisse, die diese Frameworks liefern, nicht zufriedenstellend, mit erheblichem Raum für Verbesserung. Die bemerkenswerten Ergebnisse, die Text-zu-Video-Generierungsmodelle in den letzten Jahren erzielt haben, haben die Entwickler des DynamiCrafter-Frameworks inspiriert, die leistungsstarken generativen Fähigkeiten von Text-zu-Video-Modellen für die Bildanimation zu nutzen.

Die Schlüsselidee hinter dem DynamiCrafter-Framework ist es, ein konditionales Bild in den Video-Generierungsprozess von Text-zu-Video-Diffusionsmodellen einzubinden. Allerdings bleibt das ultimative Ziel der Bildanimation immer noch nicht trivial, da die Bildanimation die Erhaltung von Details sowie das Verständnis visueller Kontexte erfordert, die für die Erzeugung von Dynamik essentiell sind. Allerdings haben multi-modale steuerbare Video-Diffusionsmodelle wie VideoComposer versucht, die Video-Generierung mit visueller Leitfunktion von einem Bild zu ermöglichen. Allerdings sind diese Ansätze nicht für die Bildanimation geeignet, da sie entweder abrupte zeitliche Änderungen oder eine geringe visuelle Übereinstimmung mit dem Eingabebild aufgrund ihrer weniger umfassenden Bildinjektionsmechanismen verursachen. Um diese Hürde zu überwinden, schlägt das DynamiCrafter-Framework einen dualen Injektionsansatz vor, der aus visueller Detailleitfunktion und text-alignierter Kontextrepräsentation besteht. Der duale Injektionsansatz ermöglicht es dem DynamiCrafter-Framework, sicherzustellen, dass das Video-Diffusionsmodell detailgetreue dynamische Inhalte in einer komplementären Weise synthetisiert.

Für ein gegebenes Bild projiziert das DynamiCrafter-Framework zunächst das Bild in den text-alignierten Kontext-Representationsraum mithilfe eines speziell entwickelten Kontext-Lernalgorithmus. Um genauer zu sein, besteht der Kontext-Representationsraum aus einem lernbaren Query-Transformer, der seine Anpassung an die Diffusionsmodelle fördert, und einem vorgefertigten CLIP-Bild-Encoder, um text-alignierte Bildmerkmale zu extrahieren. Das Modell verwendet dann die reichen Kontextmerkmale mithilfe von Cross-Attention-Layern, und das Modell verwendet eine geschaltete Fusion, um diese Textmerkmale mit den Cross-Attention-Layern zu kombinieren. Allerdings handelt es sich bei diesem Ansatz um einen Kompromiss zwischen den erlernten Kontext-Representationsen und den text-alignierten visuellen Details, die eine semantische Verständnis des Bildkontexts ermöglichen und vernünftige und lebendige Dynamik synthetisieren. Darüber hinaus versucht das Framework, zusätzliche visuelle Details zu supplementieren, indem es das vollständige Bild mit dem anfänglichen Rauschen dem Diffusionsmodell zufügt. Als Ergebnis garantiert der duale Injektionsansatz, der vom DynamiCrafter-Framework implementiert wird, die visuelle Übereinstimmung sowie plausible dynamische Inhalte für das Eingabebild.

Weiterhin haben Diffusionsmodelle oder DMs bemerkenswerte Leistungen und generative Fähigkeiten bei der Text-zu-Bild-Generierung demonstriert. Um den Erfolg von T2I-Modellen auf die Video-Generierung zu übertragen, werden Video-Diffusionsmodelle oder VDMs vorgeschlagen, die eine space-time-factorisierte U-Net-Architektur im Pixel-Raum verwenden, um niedrigauflösende Videos zu modellieren. Die Übertragung der Erkenntnisse von T2I-Frameworks auf T2V-Frameworks hilft bei der Reduzierung der Trainingskosten. Obwohl VDM oder Video-Diffusionsmodelle die Fähigkeit haben, hochwertige Videos zu generieren, akzeptieren sie nur Text-Prompts als einzige semantische Leitfunktion, die möglicherweise nicht den wahren Absichten des Benutzers entspricht oder vage sein kann. Allerdings entsprechen die Ergebnisse der meisten VDM-Modelle selten dem Eingabebild und leiden unter dem Problem der unrealistischen zeitlichen Variation. Der DynamiCrafter-Ansatz basiert auf text-konditionierten Video-Diffusionsmodellen, die ihre reichen dynamischen Priors für die Animation von offenen Bildern nutzen. Er tut dies, indem er maßgeschneiderte Designs für besseres semantisches Verständnis und Übereinstimmung mit dem Eingabebild verwendet.

DynamiCrafter: Methode und Architektur

Für ein gegebenes Stillbild versucht das DynamiCrafter-Framework, das Bild in ein kurzes Video-Clip umzuwandeln. Der Video-Clip erbt den visuellen Inhalt vom Bild und zeigt natürliche Dynamik. Allerdings kann das Bild in einer beliebigen Position der resultierenden Frame-Folge erscheinen. Das Erscheinen eines Bildes in einer beliebigen Position ist eine besondere Art von Herausforderung, die bei der Bild-konditionierten Video-Generierung mit hohen visuellen Übereinstimmungsanforderungen beobachtet wird. Das DynamiCrafter-Framework überwindet diese Herausforderung, indem es die generativen Priors von vorgefertigten Video-Diffusionsmodellen nutzt.

Bild-Dynamik aus Video-Diffusions-Prior

Üblicherweise sind offene Text-zu-Video-Diffusionsmodelle bekannt dafür, dynamische visuelle Inhalte anzuzeigen, die auf Text-Beschreibungen konditioniert sind. Um ein Stillbild mit Text-zu-Video-Generierungs-Priors zu animieren, sollten die Frameworks zunächst die visuelle Information in den Video-Generierungsprozess in einer umfassenden Weise einbringen. Darüber hinaus sollte das T2V-Modell das Bild für Kontext-Verständnis verdauen, während es auch in der Lage sein sollte, die visuellen Details in den generierten Videos zu erhalten.

Text-alignierte Kontext-Representationsen

Um die Video-Generierung mit Bild-Kontext zu leiten, versucht das DynamiCrafter-Framework, das Bild in einen ausgerichteten Einbettungsraum zu projizieren, der es dem Video-Modell ermöglicht, die Bild-Information in einer kompatiblen Weise zu verwenden. Nachfolgend verwendet das DynamiCrafter-Framework den Bild-Encoder, um Bild-Merkmale aus dem Eingabebild zu extrahieren, da die Text-Einbettungen mit einem vorgefertigten CLIP-Text-Encoder erstellt werden. Allerdings repräsentieren die globalen semantischen Token vom CLIP-Bild-Encoder hauptsächlich den visuellen Inhalt auf der semantischen Ebene, wodurch sie nicht den vollen Umfang des Bildes erfassen. Das DynamiCrafter-Framework implementiert vollständige visuelle Token aus der letzten Schicht des CLIP-Encoders, um umfassendere Informationen zu extrahieren, da diese visuellen Token eine hohe Treue in konditionellen Bild-Generierungsaufgaben demonstrieren. Darüber hinaus verwendet das Framework Kontext- und Text-Einbettungen, um mit den U-Net-Zwischenmerkmalen mithilfe der dualen Cross-Attention-Layer zu interagieren. Die Gestaltung dieses Komponenten ermöglicht es dem Modell, Bild-Bedingungen in einer schichtabhängigen Weise zu absorbieren. Darüber hinaus ist es zu erwarten, dass die Bild-Merkmale die Erscheinung der Videos vorwiegend beeinflussen, da die Zwischenlayer der U-Net-Architektur mehr mit Objekt-Posen oder -Formen assoziiert sind.

Visuelle Detailleitfunktion

Das DynamiCrafter-Framework verwendet eine reich-informative Kontext-Representationsen, die es dem Video-Diffusionsmodell in seiner Architektur ermöglicht, Videos zu produzieren, die dem Eingabebild ähneln. Allerdings zeigt der generierte Inhalt einige Diskrepanzen aufgrund der begrenzten Fähigkeit des vorgefertigten CLIP-Encoders, die Eingabinformationen vollständig zu erhalten, da es darauf ausgelegt ist, Sprache und visuelle Merkmale auszurichten.

Um die visuelle Übereinstimmung zu verbessern, schlägt das DynamiCrafter-Framework vor, dem Video-Diffusionsmodell zusätzliche visuelle Details zu liefern, die aus dem Eingabebild extrahiert werden. Um dies zu erreichen, konkatentiert das DynamiCrafter-Modell das konditionale Bild mit pro-Frame-anfänglichem Rauschen und füttert sie dem Denoising-U-Net-Komponent als Leitfunktion.

Trainingsparadigma

Das DynamiCrafter-Framework integriert das konditionale Bild durch zwei komplementäre Streams, die eine wichtige Rolle bei der Detailleitfunktion und Kontrollsteuerung spielen. Um dies zu ermöglichen, verwendet das DynamiCrafter-Modell einen dreischrittigen Trainingsprozess

1. Im ersten Schritt trainiert das Modell das Bild-Kontext-Representations-Netzwerk.
2. Im zweiten Schritt passt das Modell das Bild-Kontext-Representations-Netzwerk an das Text-zu-Video-Modell an.
3. Im dritten und letzten Schritt feinjustiert das Modell das Bild-Kontext-Representations-Netzwerk gemeinsam mit der visuellen Detailleitfunktion.

Um Bild-Informationen für die Kompatibilität mit dem Text-zu-Video-Modell anzupassen, schlägt das DynamiCrafter-Framework vor, ein Kontext-Representations-Netzwerk P zu entwickeln, das darauf ausgelegt ist, text-alignierte visuelle Details aus dem gegebenen Bild zu erfassen. Da P viele Optimierungsschritte für die Konvergenz benötigt, beinhaltet der Ansatz des Frameworks die anfängliche Ausbildung des Kontext-Representations-Netzwerks mithilfe eines einfacheren Text-zu-Bild-Modells. Diese Strategie ermöglicht es dem Kontext-Representations-Netzwerk, sich auf das Lernen des Bild-Kontexts zu konzentrieren, bevor es mit dem Text-zu-Video-Modell durch gemeinsames Training mit P und den räumlichen Schichten des Text-zu-Video-Modells integriert wird.

Um die Kompatibilität mit dem Text-zu-Video-Modell zu gewährleisten, schlägt das DynamiCrafter-Framework vor, das Eingabebild mit pro-Frame-Rauschen zu verbinden und sowohl P als auch die räumlichen Schichten des Video-Diskriminationsmodells feinzujustieren. Diese Methode wird gewählt, um die Integrität der vorhandenen zeitlichen Erkenntnisse des Text-zu-Video-Modells zu bewahren, ohne die negativen Auswirkungen der dichten Bild-Verbindung, die die Leistung beeinträchtigen und von unserem Hauptziel abweichen könnten. Darüber hinaus verwendet das Framework eine Strategie, bei der ein Video-Frame zufällig als Bild-Bedingung ausgewählt wird, um zwei Ziele zu erreichen: (i) um zu verhindern, dass das Netzwerk eine vorhersehbare Muster entwickelt, die das verknüpfte Bild direkt mit einer bestimmten Frame-Position assoziiert, und (ii) um eine anpassungsfähigere Kontext-Representationsen zu fördern, indem verhindert wird, dass zu starre Informationen für einen bestimmten Frame bereitgestellt werden.

DynamiCrafter: Experimente und Ergebnisse

Das DynamiCrafter-Framework trainiert zunächst das Kontext-Representations-Netzwerk und die Bild-Cross-Attention-Layer auf Stable Diffusion. Das Framework ersetzt dann die Stable-Diffusion-Komponente mit VideoCrafter und justiert das Kontext-Representations-Netzwerk und die räumlichen Schichten für die Anpassung und mit Bild-Konkatenation. Bei der Inferenz verwendet das Framework den DDIM-Sampler mit multi-konditionalem Klassifizierungs-freiem Leitfunktion. Darüber hinaus verwendet das Framework, um die zeitliche Kohärenz und Qualität der in den temporalen und räumlichen Domänen synthetisierten Videos zu bewerten, die FVD oder Frechet-Video-Distanz sowie die KVD oder Kernel-Video-Distanz und bewertet die Zero-Shot-Leistung auf allen MSR-VTT- und UCF-101-Benchmarks. Um die wahrgenommene Übereinstimmung zwischen den generierten Ergebnissen und dem Eingabebild zu untersuchen, führt das Framework die PIC oder Perceptual-Input-Übereinstimmung ein und verwendet die Perceptual-Distanz-Metrik DreamSim als Distanz-Funktion.

Das folgende Bild zeigt den visuellen Vergleich des generierten animierten Inhalts mit verschiedenen Stilen und Inhalten.

Wie es zu beobachten ist, hält das DynamiCrafter-Framework die Eingabebild-Bedingung gut ein und generiert zeitlich kohärente Videos. Die folgende Tabelle enthält die Statistiken einer Benutzerstudie mit 49 Teilnehmern der Präferenzrate für zeitliche Kohärenz (T.C) und Bewegungsqualität (M.C) sowie der Auswahlrate für die visuelle Übereinstimmung mit dem Eingabebild (I.C). Wie es zu beobachten ist, kann das DynamiCrafter-Framework bestehende Methoden um einen erheblichen Betrag überbieten.

Das folgende Bild zeigt die Ergebnisse, die mit der dualen Injektionsmethode und dem Trainingsparadigma erzielt werden.

Final Thoughts

In diesem Artikel haben wir über DynamiCrafter gesprochen, einen Versuch, die aktuellen Limitationen von Bildanimation-Modellen zu überwinden und ihre Anwendbarkeit auf generische Szenarien mit offenen Bildern zu erweitern. Das DynamiCrafter-Framework versucht, dynamischen Inhalt für offene Bildern zu synthetisieren und sie in animierte Videos umzuwandeln. Die Schlüsselidee hinter DynamiCrafter ist es, das Bild als Leitfaden in den generativen Prozess einzubinden, um die Bewegungspriorität der bereits existierenden Text-zu-Video-Diffusionsmodelle zu nutzen. Für ein gegebenes Bild implementiert das DynamiCrafter-Modell zunächst einen Query-Transformer, der das Bild in einen text-alignierten reichen Kontext-Representationsraum projiziert, wodurch das Video-Modell den Bildinhalt in einer kompatiblen Weise verdauen kann. Allerdings kämpft das DynamiCrafter-Modell immer noch darum, einige visuelle Details in den resultierenden Videos zu erhalten, ein Problem, das das DynamiCrafter-Modell überwindet, indem es das vollständige Bild dem Diffusionsmodell durch Konkatenation des Bildes mit den anfänglichen Rauschen zuführt, wodurch das Modell mit präziseren Bildinformationen supplementiert wird.