L’IA générative a été un facteur moteur dans la communauté de l’IA depuis un certain temps maintenant, et les progrès réalisés dans le domaine de la modélisation d’images génératives, en particulier avec l’utilisation de modèles de diffusion, ont aidé les modèles de vidéos génératives à progresser de manière significative, non seulement dans la recherche, mais également en termes d’applications réelles. Conventuellement, les modèles de vidéos génératives sont soit formés à partir de zéro, soit partiellement ou complètement affinés à partir de modèles d’images pré-entraînés avec des couches temporelles supplémentaires, sur un mélange de jeux de données d’images et de vidéos.

En poursuivant les progrès dans les modèles de vidéos génératives, dans cet article, nous allons parler du Modèle de Diffusion Vidéo Stable, un modèle de diffusion vidéo latent capable de générer des contenus de haute résolution, d’état de l’art, d’images à vidéos et de texte à vidéos. Nous allons parler de la façon dont les modèles de diffusion latents formés pour la synthèse d’images 2D ont amélioré les capacités et l’efficacité des modèles de vidéos génératives en ajoutant des couches temporelles et en affinant les modèles sur de petits jeux de données consistant en des vidéos de haute qualité. Nous allons avoir une plongée plus profonde dans l’architecture et le fonctionnement du Modèle de Diffusion Vidéo Stable, et évaluer ses performances sur diverses métriques et les comparer avec les cadres actuels de l’état de l’art pour la génération de vidéos. Alors, commençons.

Modèle de Diffusion Vidéo Stable et Modèles de Vidéos Génératives : Une Introduction

Grâce à son potentiel presque illimité, l’IA générative a été le sujet principal de recherche pour les praticiens de l’IA et du ML depuis un certain temps maintenant, et les dernières années ont vu des progrès rapides à la fois en termes d’efficacité et de performance des modèles d’images génératives. Les connaissances acquises sur les modèles d’images génératives ont permis aux chercheurs et aux développeurs de faire progresser les modèles de vidéos génératives, ce qui a abouti à une meilleure praticité et à des applications réelles. Cependant, la plupart des recherches visant à améliorer les capacités des modèles de vidéos génératives se concentrent principalement sur l’arrangement exact des couches temporelles et spatiales, avec peu d’attention portée à l’étude de l’influence de la sélection des données sur le résultat de ces modèles génératifs.

Grâce aux progrès réalisés par les modèles d’images génératives, les chercheurs ont observé que l’impact de la distribution des données d’entraînement sur les performances des modèles génératifs est en effet important et indiscutable. De plus, les chercheurs ont également observé que la pré-formation d’un modèle d’image générative sur un grand et diversifié jeu de données, suivie d’une affination sur un petit jeu de données de meilleure qualité, aboutit souvent à une amélioration significative des performances. Traditionnellement, les modèles de vidéos génératives mettent en œuvre les connaissances acquises sur les modèles d’images génératives réussis, et les chercheurs n’ont pas encore étudié l’effet des données et des stratégies d’entraînement. Le Modèle de Diffusion Vidéo Stable est une tentative pour améliorer les capacités des modèles de vidéos génératives en explorant des territoires inconnus jusqu’à présent, avec une attention particulière portée à la sélection des données.

Les modèles de vidéos génératives récents reposent sur les modèles de diffusion, et les approches de conditionnement de texte ou d’image pour synthétiser plusieurs cadres de vidéo ou d’image cohérents. Les modèles de diffusion sont connus pour leur capacité à apprendre à débruirer progressivement un échantillon à partir d’une distribution normale en mettant en œuvre un processus d’affinement itératif, et ils ont donné des résultats souhaitables sur la synthèse d’images et de vidéos de haute résolution. En utilisant le même principe à son cœur, le Modèle de Diffusion Vidéo Stable forme un modèle de diffusion vidéo latent sur son jeu de données vidéo, ainsi que l’utilisation de réseaux antagonistes génératifs ou de modèles autorégressifs dans une certaine mesure.

Le Modèle de Diffusion Vidéo Stable suit une stratégie unique jamais mise en œuvre par aucun modèle de vidéo générative, car il repose sur des lignes de base de diffusion vidéo latente avec une architecture fixe et une stratégie d’entraînement fixe, suivie de l’évaluation de l’effet de la curation des données. Le Modèle de Diffusion Vidéo Stable vise à apporter les contributions suivantes dans le domaine de la modélisation de vidéos génératives.

1. Présenter un flux de travail de curation de données systématique et efficace pour transformer une grande collection d’échantillons de vidéos non curés en un jeu de données de haute qualité qui sera ensuite utilisé par les modèles de vidéos génératives.
2. Former des modèles d’images à vidéos et de texte à vidéos de pointe qui surpassent les cadres existants.
3. Effectuer des expériences spécifiques au domaine pour sonder la compréhension 3D et la forte priorité du mouvement du modèle.

Maintenant, le Modèle de Diffusion Vidéo Stable met en œuvre les connaissances acquises sur les Modèles de Diffusion Vidéo Latents et les techniques de curation de données au cœur de sa fondation.

Modèles de Diffusion Vidéo Latents

Les Modèles de Diffusion Vidéo Latents ou VDL suivent l’approche de formation du modèle génératif principal dans un espace latent avec une complexité computationnelle réduite, et la plupart des VDL mettent en œuvre un modèle d’image à texte pré-formé couplé avec l’ajout de couches de mélange temporel dans l’architecture de pré-formation. En conséquence, la plupart des Modèles de Diffusion Vidéo Latents ne forment que les couches temporelles, ou sautent le processus de formation, contrairement au Modèle de Diffusion Vidéo Stable qui affine l’ensemble du cadre. De plus, pour la synthèse de données de texte à vidéo, le Modèle de Diffusion Vidéo Stable se conditionne directement sur une invite de texte, et les résultats indiquent que le cadre résultant peut être affiné en un modèle de synthèse multi-vue ou en un modèle d’image à vidéo facilement.

Curation de Données

La curation de données est un composant essentiel non seulement du Modèle de Diffusion Vidéo Stable, mais également des modèles génératifs dans leur ensemble, car il est essentiel de pré-former de grands modèles sur des jeux de données à grande échelle pour améliorer les performances sur diverses tâches, y compris la modélisation de langage, la génération discriminative de texte à image, et bien plus encore. La curation de données a été mise en œuvre avec succès sur les modèles d’images génératives en exploitant les capacités de représentations d’images et de langage efficaces, bien que de telles discussions n’aient jamais été axées sur le développement de modèles de vidéos génératives. Il existe plusieurs obstacles que les développeurs rencontrent lors de la curation de données pour les modèles de vidéos génératives, et pour relever ces défis, le Modèle de Diffusion Vidéo Stable met en œuvre une stratégie d’entraînement en trois étapes, ce qui aboutit à des résultats améliorés et à une augmentation significative des performances.

Curation de Données pour la Synthèse Vidéo de Haute Qualité

Comme discuté dans la section précédente, le Modèle de Diffusion Vidéo Stable met en œuvre une stratégie d’entraînement en trois étapes, ce qui aboutit à des résultats améliorés et à une augmentation significative des performances. La première étape est une étape de pré-formation d’images qui utilise un modèle de diffusion d’images à texte 2D. La deuxième étape est la pré-formation de vidéos dans laquelle le cadre se forme sur une grande quantité de données vidéo. Enfin, nous avons la troisième étape pour la fine-tuning de vidéos dans laquelle le modèle est affiné sur un petit sous-ensemble de vidéos de haute qualité et de haute résolution.

Cependant, avant que le Modèle de Diffusion Vidéo Stable ne mette en œuvre ces trois étapes, il est essentiel de traiter et d’annoter les données, car cela sert de base à la deuxième étape ou à l’étape de pré-formation de vidéos, et joue un rôle crucial pour assurer la sortie optimale. Pour assurer une efficacité maximale, le cadre met d’abord en œuvre un pipeline de détection de coupure en cascade à trois niveaux de FPS ou de trames par seconde différents, et le besoin de ce pipeline est démontré dans l’image suivante.

Ensuite, le Modèle de Diffusion Vidéo Stable annoté chaque clip vidéo à l’aide de trois méthodes de captionnage synthétiques différentes. Le tableau suivant compare les jeux de données utilisés dans le cadre du Stable Diffusion avant et après le processus de filtration.

Étape I : Pré-Formation d’Images

La première étape du pipeline en trois étapes mis en œuvre dans le Modèle de Diffusion Vidéo Stable est la pré-formation d’images, et pour atteindre cela, le cadre initial du Modèle de Diffusion Vidéo Stable est ancré contre un modèle de diffusion d’images pré-formé, à savoir le modèle Stable Diffusion 2.1, qui l’équipe de représentations visuelles plus solides.

Étape II : Pré-Formation de Vidéos

La deuxième étape est l’étape de pré-formation de vidéos, et elle se fonde sur les constatations que l’utilisation de la curation de données dans les modèles d’images génératives multimodales aboutit souvent à de meilleurs résultats et à une efficacité accrue, ainsi qu’à une génération d’images discriminatives puissante. Cependant, en raison du manque de représentations puissantes et prêtes à l’emploi pour filtrer les échantillons indésirables pour les modèles de vidéos génératives, le Modèle de Diffusion Vidéo Stable repose sur les préférences humaines en tant que signaux d’entrée pour la création d’un jeu de données approprié utilisé pour la pré-formation du cadre. La figure suivante démontre l’effet positif de la pré-formation du cadre sur un jeu de données curé qui aide à améliorer les performances globales pour la pré-formation de vidéos sur des petits jeux de données.

Plus précisément, le cadre utilise différentes méthodes pour curer des sous-ensembles de diffusion vidéo latente, et prend en compte le classement des modèles LVD formés sur ces jeux de données. De plus, le cadre du Modèle de Diffusion Vidéo Stable constate également que l’utilisation de jeux de données curés pour la formation des cadres aide à améliorer les performances du cadre, et les modèles de diffusion en général. De plus, la stratégie de curation de données fonctionne également sur des jeux de données plus grands, plus pertinents et plus pratiques. La figure suivante démontre l’effet positif de la pré-formation du cadre sur un jeu de données curé qui aide à améliorer les performances globales pour la pré-formation de vidéos sur des petits jeux de données.

Étape III : Fine-Tuning de Haute Qualité

Jusqu’à l’étape II, le cadre du Modèle de Diffusion Vidéo Stable se concentre sur l’amélioration des performances avant la pré-formation de vidéos, et à la troisième étape, le cadre met l’accent sur l’optimisation ou l’amélioration supplémentaire des performances du cadre après la fine-tuning de vidéos de haute qualité, et sur la façon dont la transition de l’étape II à l’étape III est réalisée dans le cadre. À l’étape III, le cadre s’appuie sur des techniques d’entraînement empruntées aux modèles de diffusion d’images latents, et augmente la résolution des exemples d’entraînement. Pour analyser l’efficacité de cette approche, le cadre la compare à trois modèles identiques qui ne diffèrent que par leur initialisation. Le premier modèle identique a ses poids initialisés, et le processus de formation de vidéos est ignoré, tandis que les deux autres modèles identiques sont initialisés avec les poids empruntés à d’autres modèles de vidéos latents.

Résultats et Constatations

Il est temps de voir comment le cadre du Modèle de Diffusion Vidéo Stable se comporte sur des tâches réelles, et comment il se compare aux cadres actuels de l’état de l’art. Le cadre du Modèle de Diffusion Vidéo Stable utilise d’abord l’approche de données optimales pour former un modèle de base, puis effectue une fine-tuning pour générer plusieurs modèles de pointe, chacun effectuant une tâche spécifique.

L’image ci-dessus représente les échantillons d’images à vidéos de haute résolution générés par le cadre, tandis que la figure suivante démontre la capacité du cadre à générer des échantillons de texte à vidéos de haute qualité.

Modèle de Base Pré-Formé

Comme discuté précédemment, le Modèle de Diffusion Vidéo Stable est construit sur le cadre du Stable Diffusion 2.1, et sur la base de constatations récentes, il était crucial pour les développeurs d’adopter l’horaire de bruit et d’augmenter le bruit pour obtenir des images avec une meilleure résolution lors de la formation de modèles de diffusion d’images. Grâce à cette approche, le Modèle de Diffusion Vidéo Stable apprend des représentations de mouvement puissantes, et dans le processus, il surpasse les modèles de base pour la génération de vidéos à partir de texte dans un cadre de tir à zéro, et les résultats sont affichés dans le tableau suivant.

Interpolation de Trames et Génération Multi-Vue

Le cadre du Modèle de Diffusion Vidéo Stable affine le modèle d’images à vidéos sur des jeux de données multi-vues pour obtenir plusieurs vues nouvelles d’un objet, et ce modèle est connu sous le nom de SVD-MV ou Modèle de Diffusion Vidéo Stable-Multi-Vue. Le modèle SVD d’origine est affiné à l’aide de deux jeux de données d’une manière telle que le cadre entre une image unique et retourne une séquence d’images multi-vues comme sortie.

Comme on peut le voir dans les images suivantes, le cadre du Modèle de Diffusion Vidéo Stable-Multi-Vue offre des performances élevées comparables aux cadres de l’état de l’art Scratch Multi-Vue, et les résultats sont une démonstration claire de la capacité de la SVD-MV à tirer parti des connaissances acquises à partir du cadre SVD d’origine pour la génération d’images multi-vues. De plus, les résultats indiquent également que l’exécution du modèle pendant un nombre d’itérations relativement faible aide à fournir des résultats optimaux, comme c’est le cas pour la plupart des modèles affinés à partir du cadre SVD.

Dans la figure ci-dessus, les métriques sont indiquées sur le côté gauche et comme on peut le voir, le cadre du Modèle de Diffusion Vidéo Stable-Multi-Vue surpasse le cadre Scratch-MV et le cadre SD2.1 Multi-Vue d’une marge convenable. La deuxième image démontre l’effet du nombre d’itérations d’entraînement sur les performances globales du cadre en termes de score Clip, et les cadres SVD-MV fournissent des résultats durables.

Pensées Finales

Dans cet article, nous avons parlé du Modèle de Diffusion Vidéo Stable, un modèle de diffusion vidéo latent capable de générer des contenus de haute résolution, d’état de l’art, d’images à vidéos et de texte à vidéos. Le Modèle de Diffusion Vidéo Stable suit une stratégie unique jamais mise en œuvre par aucun modèle de vidéo générative, car il repose sur des lignes de base de diffusion vidéo latente avec une architecture fixe et une stratégie d’entraînement fixe, suivie de l’évaluation de l’effet de la curation des données.

Nous avons parlé de la façon dont les modèles de diffusion latents formés pour la synthèse d’images 2D ont amélioré les capacités et l’efficacité des modèles de vidéos génératives en ajoutant des couches temporelles et en affinant les modèles sur des petits jeux de données consistant en des vidéos de haute qualité. Pour rassembler les données de pré-formation, le cadre effectue une étude d’échelle et suit des pratiques de collecte de données systématiques, et propose finalement une méthode pour curer une grande quantité de données vidéo et les convertir en données d’entrée adaptées aux modèles de vidéos génératives.

De plus, le cadre du Modèle de Diffusion Vidéo Stable emploie trois étapes distinctes de formation de modèles de vidéos qui sont analysées de manière indépendante pour évaluer leur impact sur les performances du cadre. Le cadre produit finalement une représentation vidéo suffisamment puissante pour affiner les modèles pour une synthèse vidéo optimale, et les résultats sont comparables aux modèles de génération de vidéos de l’état de l’art déjà en cours d’utilisation.