Aktuelle Frameworks, die Text-zu-Video- oder T2V-Generation versuchen, nutzen Diffusionsmodelle, um Stabilität in ihrem Trainingsprozess hinzuzufügen, und das Video-Diffusionsmodell, einer der Pioniere in den Text-zu-Video-Generation-Frameworks, erweitert eine 2D-Bild-Diffusionsarchitektur, um Video-Daten aufzunehmen, und trainiert das Modell auf Video und Bild gemeinsam von Grund auf. Aufbauend auf diesem und um ein leistungsstarkes vorge trainiertes Bildgenerator-Modell wie Stable Diffusion zu implementieren, blasen aktuelle Arbeiten ihre 2D-Architektur auf, indem sie temporale Schichten zwischen die vorge trainierten 2D-Schichten einfügen, und feinjustieren das neue Modell auf nicht gesehene große Datensätze. Trotz ihrer Vorgehensweise stehen Text-zu-Video-Diffusionsmodelle vor einer erheblichen Herausforderung, da die Mehrdeutigkeit allein verwendeter Textbeschreibungen zur Generierung des Video-Samples oft dazu führt, dass das Text-zu-Video-Modell eine schwächere Kontrolle über die Generierung hat. Um diese Einschränkung zu überwinden, bieten einige Modelle eine verbesserte Steuerung, während andere mit präzisen Signalen arbeiten, um die Szene oder menschliche Bewegungen in den synthetisierten Videos genau zu steuern. Andererseits gibt es einige Text-zu-Video-Frameworks, die Bilder als Steuersignal für den Video-Generator verwenden, was entweder zu einer genauen Modellierung der zeitlichen Beziehungen oder zu hoher Videoqualität führt.

Es wäre sicher zu sagen, dass Steuerbarkeit eine entscheidende Rolle bei Bild- und Video-Generierungsaufgaben spielt, da sie es Benutzern ermöglicht, den Inhalt zu erstellen, den sie wünschen. Allerdings vernachlässigen bestehende Frameworks oft die präzise Kontrolle der Kameraposition, die als kinematographische Sprache dient, um tiefergehende narrative Nuancen dem Modell besser zu vermitteln. Um die aktuellen Steuerbarkeitseinschränkungen zu überwinden, werden wir in diesem Artikel über CameraCtrl sprechen, einer neuen Idee, die versucht, genaue Kamerapositionskontrolle für Text-zu-Video-Modelle zu ermöglichen. Nachdem die Kamera-Trajektorie genau parameterisiert wurde, trainiert das Modell ein Plug-and-Play-Kamera-Modul auf einem Text-zu-Video-Modell und lässt die anderen Komponenten unberührt. Darüber hinaus führt das CameraCtrl-Modell auch eine umfassende Studie über die Auswirkungen verschiedener Datensätze durch und legt nahe, dass Videos mit ähnlichem Aussehen und vielfältiger Kameraverteilung die Gesamtkontrolle und Generalisierungsfähigkeit des Modells verbessern können. Experimente, die durchgeführt wurden, um die Leistung des CameraCtrl-Modells auf realen Aufgaben zu analysieren, zeigen die Effizienz des Frameworks bei der Erreichung präziser und domänenadaptiver Kamerakontrolle, was den Weg für die Verfolgung von maßgeschneiderten und dynamischen Video-Generierung aus Kameraposition und textuellen Eingaben ebnet.

Dieser Artikel zielt darauf ab, das CameraCtrl-Framework ausführlich zu behandeln, und wir erforschen den Mechanismus, die Methodik, die Architektur des Frameworks sowie seinen Vergleich mit State-of-the-Art-Frameworks. Also los geht’s.

CameraCtrl: Kamerakontrolle für T2V-Generation

Die jüngste Entwicklung und der Fortschritt von Diffusionsmodellen haben die textgesteuerte Video-Generierung in den letzten Jahren erheblich vorangetrieben und die Content-Design-Workflows revolutioniert. Steuerbarkeit spielt eine bedeutende Rolle bei praktischen Video-Generierungsanwendungen, da sie es Benutzern ermöglicht, die generierten Ergebnisse nach ihren Bedürfnissen und Anforderungen anzupassen. Mit hoher Steuerbarkeit kann das Modell die Realistik, Qualität und Benutzerfreundlichkeit der generierten Videos verbessern, und während Text- und Bild-Eingaben häufig von Modellen verwendet werden, um die Gesamtkontrolle zu verbessern, fehlt es ihnen oft an präziser Kontrolle über Bewegung und Inhalt. Um diese Einschränkung zu überwinden, haben einige Frameworks vorgeschlagen, Steuersignale wie Pose-Skelett, optischen Fluss und andere multimodale Signale zu nutzen, um eine genauere Kontrolle zu ermöglichen, die Video-Generierung zu steuern. Eine weitere Einschränkung, mit der bestehende Frameworks konfrontiert sind, ist, dass sie über keine präzise Kontrolle über die Anregung oder Anpassung von Kamerapositionen in der Video-Generierung verfügen, da die Fähigkeit, die Kamera zu steuern, entscheidend ist, da sie nicht nur die Realistik der generierten Videos verbessert, sondern auch durch die Ermöglichung von angepassten Blickwinkeln die Benutzerbeteiligung erhöht, ein Feature, das in der Spieleentwicklung, erweiterten Realität und virtuellen Realität unerlässlich ist. Darüber hinaus ermöglicht die geschickte Steuerung von Kamerabewegungen es den Erstellern, Charakterbeziehungen hervorzuheben, Emotionen zu betonen und die Aufmerksamkeit des Zielpublikums zu lenken, was in der Film- und Werbeindustrie von großer Bedeutung ist.

Um diese Einschränkungen zu überwinden, bietet das CameraCtrl-Framework eine lernbare und präzise Plug-and-Play-Kamera-Modul mit der Fähigkeit, die Blickwinkel der Kamera für die Video-Generierung zu steuern. Allerdings ist die Integration einer benutzerdefinierten Kamera in eine bestehende Text-zu-Video-Modell-Pipeline eine Aufgabe, die leichter gesagt als getan ist, was das CameraCtrl-Framework dazu zwingt, nach Wegen zu suchen, wie die Kamera effektiv in die Modellarchitektur integriert werden kann. In diesem Zusammenhang wählt das CameraCtrl-Framework Plücker-Embeddings als primäre Form der Kameraparameter, und der Grund für die Wahl von Plücker-Embeddings liegt in ihrer Fähigkeit, geometrische Beschreibungen der Kamerapositionsinformationen zu codieren. Darüber hinaus, um die Generalisierbarkeit und Anwendbarkeit des CameraCtrl-Modells nach dem Training zu gewährleisten, führt das Modell ein Kamerakontrollmodell ein, das nur Plücker-Embeddings als Eingabe akzeptiert. Um sicherzustellen, dass das Kamerakontrollmodell effektiv trainiert wird, führt das Framework und seine Entwickler eine umfassende Studie durch, um zu untersuchen, wie unterschiedliche Trainingsdaten das Framework von synthetischen zu realistischen Daten beeinflussen. Die experimentellen Ergebnisse zeigen, dass die Implementierung von Daten mit vielfältiger Kamerapositionsverteilung und ähnlichem Aussehen wie dem ursprünglichen Basis-Modell den besten Kompromiss zwischen Steuerbarkeit und Generalisierbarkeit erreicht. Die Entwickler des CameraCtrl-Frameworks haben das Modell auf dem AnimateDiff-Framework implementiert, wodurch eine präzise Kontrolle in der Video-Generierung über verschiedene personalisierte ermöglicht wird, was seine Vielseitigkeit und Nützlichkeit in einer Vielzahl von Video-Erstellungskontexten demonstriert.

Das AnimateDiff-Framework nutzt den effizienten LoRA-Feinabstimmungsansatz, um die Gewichte des Modells für verschiedene Arten von Aufnahmen zu erhalten. Das Direct-a-Video-Framework schlägt vor, einen Kamera-Embedder zu implementieren, um die Pose der Kameras während des Video-Generierungsprozesses zu steuern, aber es konditioniert nur auf drei Kameraparameter, was die Steuerfähigkeit der Kamera auf die grundlegendsten Arten beschränkt. Andererseits entwerfen Frameworks wie MotionCtrl einen Bewegungscontroller, der mehr als drei Eingabeparameter akzeptiert und in der Lage ist, Videos mit komplexeren Kamerapositionen zu produzieren. Allerdings behindert die Notwendigkeit, Teile der generierten Videos feinzujustieren, die Generalisierbarkeit des Modells. Darüber hinaus integrieren einige Frameworks zusätzliche strukturelle Steuersignale wie Tiefenbilder in den Prozess, um die Steuerbarkeit für Bild- und Textgenerierung zu verbessern. Typischerweise füttert das Modell diese Steuersignale in einen zusätzlichen Encoder ein und injiziert die Signale dann in einen Generator mithilfe verschiedener Operationen.

CameraCtrl: Modellarchitektur

Bevor wir uns die Architektur und das Trainingsparadigma für den Kamera-Encoder ansehen können, ist es wichtig, dass wir verschiedene Kameradarstellungen verstehen. Typischerweise bezieht sich eine Kameraposition auf intrinsische und extrinsische Parameter, und eine der einfachsten Auswahlmöglichkeiten, um einen Video-Generator auf die Kameraposition zu konditionieren, besteht darin, die rohen Werte der Kameraparameter direkt in den Generator einzuspeisen. Allerdings kann die Implementierung eines solchen Ansatzes die genaue Kamerakontrolle nicht verbessern, und das aus mehreren Gründen. Erstens ist die Rotationsmatrix durch Orthogonalität eingeschränkt, während der Translationsvektor typischerweise unbeschränkt in der Größe ist, was zu einem Missverhältnis im Lernprozess führen kann, das die Konsistenz der Kontrolle beeinträchtigen kann. Zweitens kann die Verwendung von rohen Kameraparametern direkt es dem Modell erschweren, diese Werte mit Bildpixeln in Verbindung zu bringen, was zu einer verringerten Kontrolle über visuelle Details führt. Um diese Einschränkungen zu vermeiden, wählt das CameraCtrl-Framework Plücker-Embeddings als Darstellung für die Kameraposition, da die Plücker-Embeddings geometrische Beschreibungen jedes Pixels des Video-Frames haben und eine detailliertere Beschreibung der Kamerapositionsinformationen liefern können.

Kamerakontrolle in Video-Generatoren

Da das Modell die Trajektore der Kamera in eine Plücker-Embeddings-Folge, d. h. räumliche Karten, parameterisiert, hat das Modell die Wahl, einen Encoder-Modell zu verwenden, um die Kameramerkmale zu extrahieren, und dann die Kameramerkmale in Video-Generatoren zu fusionieren. Ähnlich wie der Text-zu-Bild-Adapter, führt das CameraCtrl-Modell einen Kamera-Encoder ein, der speziell für Videos konzipiert ist. Der Kamera-Encoder enthält ein temporales Aufmerksamkeitsmodell nach jedem konvolutiven Block, was es ihm ermöglicht, die temporalen Beziehungen der Kamerapositionen im gesamten Video-Clip zu erfassen. Wie in der folgenden Abbildung demonstriert, akzeptiert der Kamera-Encoder nur Plücker-Embeddings-Eingaben und liefert multiscale-Merkmale. Nachdem die multiscale-Kameramerkmale erhalten wurden, zielt das CameraCtrl-Modell darauf ab, diese Merkmale in die U-Net-Architektur des Text-zu-Video-Modells nahtlos zu integrieren und bestimmt die Schichten, die zur effektiven Einbindung der Kamerainformationen verwendet werden sollten. Darüber hinaus, da die meisten bestehenden Frameworks eine U-Net-ähnliche Architektur aufweisen, die sowohl temporale als auch räumliche Aufmerksamkeitsschichten enthält, injiziert das CameraCtrl-Modell die Kameradarstellungen in den temporalen Aufmerksamkeitsblock, eine Entscheidung, die durch die Fähigkeit der temporalen Aufmerksamkeitsschichten gestützt wird, temporale Beziehungen zu erfassen, was der inhärenten kausalen und sequenziellen Natur einer Kameratrajektore mit den räumlichen Aufmerksamkeitsschichten entspricht, die die einzelnen Frames abbilden.

Lernen von Kameraverteilungen

Das Training des Kamera-Encoder-Modells innerhalb des CameraCtrl-Frameworks auf einem Video-Generator erfordert eine große Menge gut beschrifteter und annotierter Videos, wobei das Modell in der Lage ist, die Kameratrajektore mithilfe des Structure-from-Motion- oder SfM-Ansatzes zu erhalten. Das CameraCtrl-Framework versucht, den Datensatz mit Aussehen, das dem Trainingsdatensatz des Basis-Text-zu-Video-Modells nahe kommt, auszuwählen, und eine Kamerapositionsverteilung so weit wie möglich zu haben. Beispiele in dem Datensatz, der mithilfe von virtuellen Motoren generiert wird, zeigen eine vielfältige Kameraverteilung, da die Entwickler die Flexibilität haben, die Kameraparameter während der Renderphase zu steuern, obwohl es unter einer Verteilungslücke zu Datensätzen mit realen Beispielen leidet. Wenn mit Datensätzen mit realen Beispielen gearbeitet wird, ist die Verteilung der Kamera normalerweise schmal, und in solchen Fällen muss das Framework einen Ausgleich zwischen der Vielfalt zwischen verschiedenen Kameratrajektoren und der Komplexität der einzelnen Kameratrajektore finden. Die Komplexität der einzelnen Kameratrajektore stellt sicher, dass das Modell lernt, komplexe Trajektore während des Trainingsprozesses zu steuern, während die Vielfalt zwischen den Kameratrajektoren sicherstellt, dass das Modell nicht auf bestimmte feste Muster übertrifft. Darüber hinaus, um den Trainingsprozess des Kamera-Encoders zu überwachen, schlägt das CameraCtrl-Framework die Kamera-Alignierungsmetrik vor, um die Steuerqualität der Kamera zu messen, indem der Fehler zwischen der Kameratrajektore der generierten Beispiele und den Eingabe-Kamera-Bedingungen quantifiziert wird.

CameraCtrl: Experimente und Ergebnisse

Das CameraCtrl-Framework implementiert das AnimateDiff-Modell als sein Basis-Text-zu-Video-Modell, und ein wichtiger Grund dafür ist, dass die Trainingsstrategie des AnimateDiff-Modells es seinem Bewegungsmodul ermöglicht, sich mit Text-zu-Bild-Basis-Modellen oder Text-zu-Bild-LoRAs zu integrieren, um Video-Generierung über verschiedene Genres und Domänen zu ermöglichen. Das Modell verwendet den Adam-Optimizer, um das Modell mit einer konstanten Lernrate von 1e-4 zu trainieren. Darüber hinaus, um sicherzustellen, dass das Modell die Video-Generierungsfähigkeiten des ursprünglichen Text-zu-Video-Modells nicht negativ beeinträchtigt, nutzt das CameraCtrl-Framework die FID- oder Frechet-Inception-Distanz-Metrik, um die Erscheinungsqualität des Videos zu bewerten, und vergleicht die Qualität des generierten Videos vor und nach der Einbindung des Kamera-Moduls.

Um seine Leistung zu bewerten, wird das CameraCtrl-Framework gegen zwei bestehende Kamerakontroll-Frameworks, MotionCtrl und AnimateDiff, ausgewertet. Allerdings ist der Vergleich zwischen CameraCtrl und AnimateDiff auf drei grundlegende Trajektoren beschränkt, da das AnimateDiff-Framework nur Unterstützung für acht grundlegende Kameratrajektoren bietet. Andererseits wird für den Vergleich mit MotionCtrl das Framework über tausend zufällige Kameratrajektoren aus einem bestehenden Datensatz ausgewählt, generiert Videos mithilfe dieser Trajektoren und bewertet sie mithilfe der TransErr- und RotErr-Metriken.

Wie zu beobachten ist, übertrifft das CameraCtrl-Framework das AnimateDiff-Framework in der grundlegenden Trajektore und liefert bessere Ergebnisse im Vergleich zu dem MotionCtrl-Framework auf der komplexen Trajektore-Metrik.

Darüber hinaus zeigt die folgende Abbildung den Effekt der Kamera-Encoder-Architektur auf die Gesamtkualität der generierten Beispiele. Zeile a bis Zeile d stellen die Ergebnisse dar, die mit dem Kamera-Encoder in der Architektur generiert wurden: ControlNet, ControlNet mit temporalem Aufmerksamkeitsmodell, T2I-Adapter und T2I-Adapter mit temporalem Aufmerksamkeitsmodell.

In der folgenden Abbildung zeigen die ersten beiden die Videos, die mithilfe einer Kombination des SparseCtrl-Frameworks-RGB-Encoders und der im CameraCtrl-Framework verwendeten Methode generiert wurden.

Letzte Gedanken

In diesem Artikel haben wir über CameraCtrl gesprochen, einer neuen Idee, die versucht, genaue Kamerapositionskontrolle für Text-zu-Video-Modelle zu ermöglichen. Nachdem die Kamera-Trajektorie genau parameterisiert wurde, trainiert das Modell ein Plug-and-Play-Kamera-Modul auf einem Text-zu-Video-Modell und lässt die anderen Komponenten unberührt. Darüber hinaus führt das CameraCtrl-Modell auch eine umfassende Studie über die Auswirkungen verschiedener Datensätze durch und legt nahe, dass Videos mit ähnlichem Aussehen und vielfältiger Kameraverteilung die Gesamtkontrolle und Generalisierungsfähigkeit des Modells verbessern können. Experimente, die durchgeführt wurden, um die Leistung des CameraCtrl-Modells auf realen Aufgaben zu analysieren, zeigen die Effizienz des Frameworks bei der Erreichung präziser und domänenadaptiver Kamerakontrolle, was den Weg für die Verfolgung von maßgeschneiderten und dynamischen Video-Generierung aus Kameraposition und textuellen Eingaben ebnet.