Generative KI ist seit einiger Zeit eine treibende Kraft in der KI-Gemeinschaft, und die Fortschritte im Bereich der generativen Bildmodellierung, insbesondere durch den Einsatz von Diffusionsmodellen, haben dazu geführt, dass generative Video-Modelle sowohl in der Forschung als auch in realen Anwendungen erheblich verbessert wurden. Üblicherweise werden generative Video-Modelle entweder von Grund auf trainiert oder teilweise oder vollständig feinabgestimmt von vorgefertigten Bildmodellen mit zusätzlichen temporalen Schichten auf einer Mischung aus Bild- und Video-Datensätzen.

Als Fortsetzung der Fortschritte im Bereich der generativen Video-Modelle werden wir in diesem Artikel über das Stabile Video-Diffusions-Modell sprechen, ein latentes Video-Diffusions-Modell, das in der Lage ist, hochauflösende, state-of-the-art-Bilder und Texte in Videos umzuwandeln. Wir werden besprechen, wie latente Diffusions-Modelle, die für die Synthese von 2D-Bildern trainiert wurden, die Fähigkeiten und Effizienz von generativen Video-Modellen durch die Hinzufügung von temporalen Schichten und die Feinabstimmung der Modelle auf kleinen Datensätzen mit hochwertigen Videos verbessert haben. Wir werden uns tiefer mit der Architektur und der Funktionsweise des Stabilen Video-Diffusions-Modells auseinandersetzen und seine Leistung anhand verschiedener Metriken bewerten und mit aktuellen State-of-the-Art-Frameworks für Video-Generierung vergleichen. Lassen Sie uns beginnen.

Stabile Video-Diffusions-Modelle und generative Video-Modelle: Eine Einführung

Dank seiner fast unbegrenzten Möglichkeiten ist die generative KI seit einiger Zeit das Hauptthema der Forschung für KI- und ML-Praktiker, und die letzten Jahre haben rasante Fortschritte sowohl in Bezug auf Effizienz als auch Leistung von generativen Bildmodellen gebracht. Die Erkenntnisse aus den generativen Bildmodellen haben es Forschern und Entwicklern ermöglicht, Fortschritte im Bereich der generativen Video-Modelle zu machen, was zu verbesserter Praktikabilität und realen Anwendungen geführt hat. Allerdings konzentriert sich die meisten Forschung, die versucht, die Fähigkeiten von generativen Video-Modellen zu verbessern, hauptsächlich auf die genaue Anordnung von temporalen und räumlichen Schichten, wobei wenig Aufmerksamkeit darauf gelegt wird, den Einfluss der Auswahl der richtigen Daten auf die Ergebnisse dieser generativen Modelle zu untersuchen.

Dank der Fortschritte, die durch generative Bildmodelle gemacht wurden, haben Forscher beobachtet, dass der Einfluss der Trainingsdatenverteilung auf die Leistung von generativen Modellen tatsächlich erheblich und unbestritten ist. Darüber hinaus haben Forscher auch beobachtet, dass das Vortrainieren eines generativen Bildmodells auf einem großen und vielfältigen Datensatz, gefolgt von einer Feinabstimmung auf einem kleineren Datensatz mit besserer Qualität, oft zu einer erheblichen Verbesserung der Leistung führt. Traditionell implementieren generative Video-Modelle die Erkenntnisse, die aus erfolgreichen generativen Bildmodellen gewonnen wurden, und Forscher haben noch nicht studiert, wie sich die Daten und Trainingsstrategien auf die Ergebnisse auswirken. Das Stabile Video-Diffusions-Modell ist ein Versuch, die Fähigkeiten von generativen Video-Modellen zu verbessern, indem es in bisher unerforschte Gebiete mit besonderem Fokus auf die Auswahl von Daten eindringt.

Aktuelle generative Video-Modelle basieren auf Diffusionsmodellen und Text- oder Bild-Konditionierungsansätzen, um mehrere konsistente Video- oder Bildrahmen zu synthetisieren. Diffusionsmodelle sind bekannt für ihre Fähigkeit, zu lernen, wie man ein Sample aus einer Normalverteilung allmählich entrauscht, indem sie einen iterativen Verfeinerungsprozess implementieren, und sie haben wünschenswerte Ergebnisse bei der Synthese von hochauflösenden Videos und Text-Bildern erzielt. Unter Verwendung desselben Prinzips in seinem Kern trainiert das Stabile Video-Diffusions-Modell ein latentes Video-Diffusions-Modell auf seinem Video-Datensatz zusammen mit der Verwendung von Generative Adversarial Networks oder GANs und sogar autoregressiven Modellen bis zu einem gewissen Grad.

Das Stabile Video-Diffusions-Modell verfolgt eine einzigartige Strategie, die noch nie von einem generativen Video-Modell implementiert wurde, da es auf latenten Video-Diffusions-Baselines mit einer festen Architektur und einer festen Trainingsstrategie setzt, gefolgt von einer Bewertung des Einflusses der Datenkuratierung. Das Stabile Video-Diffusions-Modell zielt darauf ab, folgende Beiträge im Bereich der generativen Video-Modellierung zu leisten.

1. Ein systematisches und effektives Datenkuratierungs-Workflow vorzustellen, um eine große Sammlung von unkuratierten Video-Proben in einen hochwertigen Datensatz umzuwandeln, der dann von den generativen Video-Modellen verwendet wird.
2. State-of-the-Art-Bild-zu-Video- und Text-zu-Video-Modelle zu trainieren, die die bestehenden Frameworks übertreffen.
3. Domänen-spezifische Experimente durchzuführen, um das 3D-Verständnis und die starke Vorhersage des Modells zu untersuchen.

Nun implementiert das Stabile Video-Diffusions-Modell die Erkenntnisse aus latenten Video-Diffusions-Modellen und Datenkuratierungstechniken in seinem Kern.

Latente Video-Diffusions-Modelle

Latente Video-Diffusions-Modelle oder Video-LDMs folgen dem Ansatz, das primäre generative Modell in einem latenten Raum mit reduzierter Rechenkomplexität zu trainieren, und die meisten Video-LDMs implementieren ein vorgefertigtes Text-zu-Bild-Modell, das mit der Hinzufügung von temporalen Mischschichten in der Vortrainingsarchitektur gekoppelt ist. Als Ergebnis trainieren die meisten Video-LDMs entweder nur die temporalen Schichten oder überspringen den Trainingsprozess ganz im Gegensatz zum Stabilen Video-Diffusions-Modell, das das gesamte Framework feinabstimmmt. Darüber hinaus konditioniert das Stabile Video-Diffusions-Modell sich direkt auf einen Text-Prompt, um Text-zu-Video-Daten zu synthetisieren, und die Ergebnisse zeigen, dass das resultierende Framework leicht in ein Multi-View-Synthese- oder ein Bild-zu-Video-Modell feinabgestimmt werden kann.

Datenkuratierung

Datenkuratierung ist eine wesentliche Komponente nicht nur des Stabilen Video-Diffusions-Modells, sondern auch für generative Modelle im Allgemeinen, da es wichtig ist, große Modelle auf großen Datensätzen vorzutrainieren, um die Leistung über verschiedene Aufgaben hinweg zu verbessern, einschließlich Sprachmodellierung oder diskriminativer Text-zu-Bild-Generierung und vielem mehr. Datenkuratierung wurde erfolgreich auf generativen Bildmodellen durch die Nutzung der Fähigkeiten von effizienten Sprach-Bild-Darstellungen implementiert, obwohl solche Diskussionen noch nie auf die Entwicklung von generativen Video-Modellen fokussiert wurden. Es gibt mehrere Hürden, die Entwickler bei der Kuratierung von Daten für generative Video-Modelle überwinden müssen, und um diese Herausforderungen zu bewältigen, implementiert das Stabile Video-Diffusions-Modell eine dreistufige Trainingsstrategie, die zu verbesserten Ergebnissen und einer signifikanten Leistungssteigerung führt.

Datenkuratierung für hochwertige Video-Synthese

Wie in der vorherigen Sektion besprochen, implementiert das Stabile Video-Diffusions-Modell eine dreistufige Trainingsstrategie, die zu verbesserten Ergebnissen und einer signifikanten Leistungssteigerung führt. Stage I ist ein Bild-Vortrainings-Schritt, der ein 2D-Text-zu-Bild-Diffusions-Modell verwendet. Stage II ist für Video-Vortrainierung, bei der das Framework auf einer großen Menge von Video-Daten trainiert wird. Schließlich haben wir Stage III für Video-Feinabstimmung, bei der das Modell auf einem kleinen Teil von hochwertigen und hochauflösenden Videos verfeinert wird.

Allerdings ist es vor der Implementierung dieser drei Schritte durch das Stabile Video-Diffusions-Modell wichtig, die Daten zu verarbeiten und zu annotieren, da dies die Grundlage für Stage II oder die Video-Vortrainingsphase bildet und eine entscheidende Rolle bei der optimalen Ausgabe spielt. Um die maximale Effizienz zu gewährleisten, implementiert das Framework zunächst eine kaskadierte Cut-Erkennungspipeline bei drei verschiedenen FPS- oder Frames-Per-Second-Ebenen, und die Notwendigkeit dieser Pipeline wird in der folgenden Abbildung demonstriert.

Als nächstes annotiert das Stabile Video-Diffusions-Modell jeden Video-Clip mit drei verschiedenen synthetischen Beschriftungsmethoden. Die folgende Tabelle vergleicht die im Stabile-Diffusions-Framework verwendeten Datensätze vor und nach dem Filterprozess.

Stage I: Bild-Vortrainierung

Der erste Schritt in der dreistufigen Pipeline, die im Stabilen Video-Diffusions-Modell implementiert ist, ist die Bild-Vortrainierung, und um dies zu erreichen, wird das anfängliche Stabile Video-Diffusions-Modell-Framework gegen ein vorgefertigtes Bild-Diffusions-Modell, nämlich das Stabile Diffusion 2.1-Modell, abgestimmt, das es mit stärkeren visuellen Darstellungen ausstattet.

Stage II: Video-Vortrainierung

Der zweite Schritt ist die Video-Vortrainierungsphase, und sie basiert auf den Erkenntnissen, dass die Verwendung von Datenkuratierung in multimodalen generativen Bildmodellen oft zu besseren Ergebnissen und verbesserter Effizienz führt, zusammen mit leistungsfähiger diskriminativer Bildgenerierung. Allerdings mangelt es an ähnlich leistungsfähigen vorgefertigten Darstellungen, um unerwünschte Proben für generative Video-Modelle auszufiltern, so dass das Stabile Video-Diffusions-Modell auf menschliche Präferenzen als Eingabesignale für die Erstellung eines geeigneten Datensatzes zurückgreift, der für die Vortrainierung des Frameworks verwendet wird. Die folgende Abbildung demonstriert den positiven Effekt der Vortrainierung des Frameworks auf einem kuratierten Datensatz, der die Gesamtleistung für die Video-Vortrainierung auf kleineren Datensätzen verbessert.

Um spezifischer zu sein, verwendet das Framework verschiedene Methoden, um Teilmengen von Latenten Video-Diffusionen zu kuratieren, und berücksichtigt die Rangliste von LVD-Modellen, die auf diesen Datensätzen trainiert wurden. Darüber hinaus findet das Stabile Video-Diffusions-Framework auch heraus, dass die Verwendung von kuratierten Datensätzen für die Trainierung des Frameworks hilft, die Leistung des Frameworks und der Diffusionsmodelle im Allgemeinen zu verbessern. Darüber hinaus funktioniert die Datenkuratierungsstrategie auch auf größeren, relevanten und praktischen Datensätzen. Die folgende Abbildung demonstriert den positiven Effekt der Vortrainierung des Frameworks auf einem kuratierten Datensatz, der die Gesamtleistung für die Video-Vortrainierung auf kleineren Datensätzen verbessert.

Stage III: Hochwertige Feinabstimmung

Bis Stage II konzentriert sich das Stabile Video-Diffusions-Framework auf die Verbesserung der Leistung vor der Video-Vortrainierung, und in der dritten Phase legt das Framework seinen Schwerpunkt auf die Optimierung oder weitere Verbesserung der Leistung des Frameworks nach der hochwertigen Video-Feinabstimmung und wie der Übergang von Stage II zu Stage III im Framework erreicht wird. In Stage III greift das Framework auf Trainingsmethoden zurück, die von latenten Bild-Diffusions-Modellen übernommen wurden, und erhöht die Auflösung der Trainingsbeispiele. Um die Wirksamkeit dieses Ansatzes zu analysieren, vergleicht das Framework dies mit drei identischen Modellen, die sich nur in der Initialisierung unterscheiden. Das erste identische Modell hat seine Gewichte initialisiert, und der Video-Trainingsprozess wird übersprungen, während die beiden verbleibenden identischen Modelle mit den Gewichten initialisiert werden, die von anderen latenten Video-Modellen übernommen wurden.

Ergebnisse und Erkenntnisse

Es ist Zeit, sich anzusehen, wie das Stabile Video-Diffusions-Framework in realen Aufgaben abschneidet und wie es im Vergleich zu den aktuellen State-of-the-Art-Frameworks abschneidet. Das Stabile Video-Diffusions-Framework verwendet zunächst den optimalen Datenansatz, um ein Basis-Modell zu trainieren, und führt dann eine Feinabstimmung durch, um mehrere State-of-the-Art-Modelle zu generieren, von denen jedes ein bestimmtes Ziel verfolgt.

Das obige Bild stellt die hochauflösenden Bild-zu-Video-Proben dar, die vom Framework generiert wurden, während die folgende Abbildung die Fähigkeit des Frameworks demonstriert, hochwertige Text-zu-Video-Proben zu generieren.

Vor-Trainiertes Basis-Modell

Wie bereits besprochen, basiert das Stabile Video-Diffusions-Modell auf dem Stabile-Diffusion-2.1-Framework, und auf der Grundlage jüngster Erkenntnisse war es für die Entwickler wichtig, den Rauschplan und die Rauschstärke zu erhöhen, um Bilder mit besserer Auflösung zu erhalten, wenn sie Bild-Diffusions-Modelle trainierten. Dank dieses Ansatzes lernt das Stabile Video-Diffusions-Basis-Modell leistungsfähige Bewegungs-Darstellungen und übertrifft in der Folge die Baseline-Modelle für Text-zu-Video-Generierung in einer Zero-Shot-Einstellung, und die Ergebnisse werden in der folgenden Tabelle angezeigt.

Bild-Interpolation und Multi-View-Generierung

Das Stabile Video-Diffusions-Framework feinabstimmte das Bild-zu-Video-Modell auf Multi-View-Datensätzen, um mehrere neue Ansichten eines Objekts zu erhalten, und dieses Modell wird als SVD-MV oder Stabile-Video-Diffusion-Multi-View-Modell bezeichnet. Das ursprüngliche SVD-Modell wird mit Hilfe von zwei Datensätzen feinabgestimmt, sodass das Framework ein einzelnes Bild als Eingabe erhält und eine Sequenz von Multi-View-Bildern als Ausgabe zurückgibt.

Wie in den folgenden Bildern zu sehen ist, liefert das Stabile Video-Diffusions-Multi-View-Framework eine hohe Leistung, die mit den State-of-the-Art-Scratch-Multi-View-Frameworks vergleichbar ist, und die Ergebnisse sind ein deutlicher Beweis für die Fähigkeit von SVD-MV, die Erkenntnisse aus dem ursprünglichen SVD-Framework für die Multi-View-Bildgenerierung zu nutzen. Darüber hinaus zeigen die Ergebnisse auch, dass das Laufen des Modells für eine relativ kleine Anzahl von Iterationen hilft, optimale Ergebnisse zu liefern, wie es bei den meisten Modellen der Fall ist, die von dem SVD-Framework feinabgestimmt werden.

In der obigen Abbildung sind die Metriken auf der linken Seite angegeben, und wie zu sehen ist, übertrifft das Stabile Video-Diffusions-Multi-View-Framework das Scratch-MV- und SD2.1-Multi-View-Framework um einen ansehnlichen Betrag. Die zweite Abbildung demonstriert den Effekt der Anzahl der Trainingsiterationen auf die Gesamtleistung des Frameworks in Bezug auf den Clip-Score, und die SVD-MV-Frameworks liefern nachhaltige Ergebnisse.

Letzte Gedanken

In diesem Artikel haben wir über Stabile Video-Diffusion gesprochen, ein latentes Video-Diffusions-Modell, das in der Lage ist, hochauflösende, state-of-the-art-Bilder und Texte in Videos umzuwandeln. Das Stabile Video-Diffusions-Modell verfolgt eine einzigartige Strategie, die noch nie von einem generativen Video-Modell implementiert wurde, da es auf latenten Video-Diffusions-Baselines mit einer festen Architektur und einer festen Trainingsstrategie setzt, gefolgt von einer Bewertung des Einflusses der Datenkuratierung.

Wir haben besprochen, wie latente Diffusions-Modelle, die für die Synthese von 2D-Bildern trainiert wurden, die Fähigkeiten und Effizienz von generativen Video-Modellen durch die Hinzufügung von temporalen Schichten und die Feinabstimmung der Modelle auf kleinen Datensätzen mit hochwertigen Videos verbessert haben. Um die Vortrainingsdaten zu sammeln, führt das Framework eine Skalierungsstudie durch und folgt systematischen Datensammlungspraktiken, und letztendlich schlägt es eine Methode vor, um eine große Menge von Video-Daten zu kuratieren und rauschige Videos in Eingabedaten umzuwandeln, die für generative Video-Modelle geeignet sind.

Darüber hinaus verwendet das Stabile Video-Diffusions-Framework drei verschiedene Video-Modell-Trainingsstufen, die unabhängig analysiert werden, um ihren Einfluss auf die Leistung des Frameworks zu bewerten. Das Framework gibt letztendlich eine Video-Darstellung aus, die leistungsfähig genug ist, um die Modelle für die optimale Video-Synthese feinabzustimmen, und die Ergebnisse sind mit den State-of-the-Art-Video-Generierungs-Modellen vergleichbar, die bereits in Verwendung sind.