La vision par ordinateur est l’un des domaines les plus passionnants et les plus étudiés au sein de la communauté de l’IA aujourd’hui, et malgré l’amélioration rapide des modèles de vision par ordinateur, un défi de longue date qui trouble toujours les développeurs est l’animation d’images. Même aujourd’hui, les cadres d’animation d’images luttent pour convertir les images fixes en leurs contreparties vidéo respectives qui affichent des dynamiques naturelles tout en préservant l’apparence originale des images. Traditionnellement, les cadres d’animation d’images se concentrent principalement sur l’animation de scènes naturelles avec des mouvements spécifiques au domaine ou des dynamiques stochastiques comme les fluides et les nuages. Bien que cette approche fonctionne dans une certaine mesure, elle limite l’applicabilité de ces cadres d’animation à un contenu visuel plus générique.

En outre, les approches d’animation d’images conventionnelles se concentrent principalement sur la synthèse de mouvements oscillants et stochastiques, ou sur la personnalisation pour des catégories d’objets spécifiques. Cependant, un défaut notable de cette approche est les fortes hypothèses qui sont imposées à ces méthodes qui limitent en fin de compte leur applicabilité, en particulier dans des scénarios généraux comme l’animation d’images à domaine ouvert. Au cours des dernières années, les modèles Texte à Vidéo ou T2V ont démontré un succès remarquable dans la génération de vidéos vivantes et diverses à l’aide de prompts textuels, et c’est cette démonstration des modèles T2V qui constitue la base du cadre DynamiCrafter.

Le cadre DynamiCrafter est une tentative pour surmonter les limitations actuelles des modèles d’animation d’images et étendre leur applicabilité à des scénarios génériques impliquant des images à domaine ouvert. Le cadre DynamiCrafter tente de synthétiser du contenu dynamique pour des images à domaine ouvert, en les convertissant en vidéos animées. L’idée clé derrière DynamiCrafter est d’incorporer l’image comme guide dans le processus génératif dans une tentative d’utiliser le mouvement prioritaire des modèles de diffusion de texte à vidéo existants. Pour une image donnée, le modèle DynamiCrafter implémente d’abord un transformateur de requête qui projette l’image dans un espace de représentation de contexte riche et aligné sur le texte, facilitant ainsi la digestion du contenu de l’image par le modèle de vidéo de manière compatible. Cependant, le modèle DynamiCrafter lutte encore pour préserver certains détails visuels dans les vidéos résultantes, un problème que le modèle DynamiCrafter surmonte en alimentant l’image complète au modèle de diffusion en la concaténant avec les bruits initiaux, supplementant ainsi le modèle avec des informations d’image plus précises.

Cet article vise à couvrir en profondeur le cadre DynamiCrafter, et nous explorons le mécanisme, la méthodologie, l’architecture du cadre ainsi que sa comparaison avec les cadres d’images et de vidéos de génération d’état de l’art. Alors, commençons.

DynamiCrafter : Animation d’images à domaine ouvert

Animer une image fixe offre souvent une expérience visuelle engageante pour le public, car elle semble ramener l’image fixe à la vie. Au fil des ans, de nombreux cadres ont exploré diverses méthodes d’animation d’images fixes. Les premiers cadres d’animation ont mis en œuvre des approches basées sur la simulation physique qui se concentraient sur la simulation du mouvement d’objets spécifiques. Cependant, en raison de la modélisation indépendante de chaque catégorie d’objets, ces approches n’étaient ni efficaces ni généralisables. Pour répliquer des mouvements plus réalistes, des méthodes basées sur des références ont émergé qui transféraient des informations de mouvement ou d’apparence à partir de signaux de référence tels que des vidéos vers le processus de synthèse. Bien que les approches basées sur des références aient donné de meilleurs résultats avec une meilleure cohérence temporelle par rapport aux approches basées sur la simulation, elles nécessitaient une guidance supplémentaire qui limitait leurs applications pratiques.

Ces dernières années, la majorité des cadres d’animation se concentrent principalement sur l’animation de scènes naturelles avec des mouvements stochastiques, spécifiques au domaine ou oscillants. Bien que l’approche mise en œuvre par ces cadres fonctionne dans une certaine mesure, les résultats qu’ils génèrent ne sont pas satisfaisants, avec une marge de manœuvre considérable pour l’amélioration. Les résultats remarquables obtenus par les modèles de génération de texte à vidéo au cours des dernières années ont inspiré les développeurs du cadre DynamiCrafter à exploiter les puissantes capacités de génération des modèles de texte à vidéo pour l’animation d’images.

La base fondamentale du cadre DynamiCrafter est d’incorporer une image conditionnelle dans une tentative de gouverner le processus de génération de vidéo des modèles de diffusion de texte à vidéo. Cependant, l’objectif ultime de l’animation d’images reste non trivial, car l’animation d’images nécessite la préservation des détails ainsi que la compréhension des contextes visuels essentiels pour créer des dynamiques. Cependant, des modèles de diffusion de vidéo multimodaux et contrôlables comme VideoComposer ont tenté d’activer la génération de vidéos avec une guidance visuelle à partir d’une image. Cependant, ces approches ne sont pas adaptées à l’animation d’images, car elles entraînent soit des changements temporels abrupts, soit une faible conformité visuelle à l’image d’entrée en raison de leurs mécanismes d’injection d’images moins complets. Pour contrer cet obstacle, le cadre DynamiCrafter propose une approche d’injection à double flux, consistant en une guidance de détails visuels et une représentation de contexte alignée sur le texte. L’approche d’injection à double flux permet au cadre DynamiCrafter de garantir que le modèle de diffusion de vidéo synthétise un contenu dynamique préservant les détails d’une manière complémentaire.

Pour une image donnée, le cadre DynamiCrafter projette d’abord l’image dans l’espace de représentation de contexte aligné sur le texte à l’aide d’un réseau d’apprentissage de contexte spécialement conçu. Plus précisément, l’espace de représentation de contexte se compose d’un transformateur de requête apprenable pour promouvoir davantage son adaptation aux modèles de diffusion, et d’un encodeur d’image CLIP pré-entraîné pour extraire des fonctionnalités d’image alignées sur le texte. Le modèle utilise ensuite les fonctionnalités de contexte riches à l’aide de couches d’attention croisée, et le modèle utilise une fusion à grille pour combiner ces fonctionnalités de texte avec les couches d’attention croisée. Cependant, cette approche échange les représentations de contexte apprises avec des détails visuels alignés sur le texte qui facilitent la compréhension sémantique du contexte d’image, permettant ainsi des dynamiques raisonnables et vivantes à être synthétisées. De plus, dans une tentative de supplémenter des détails visuels supplémentaires, le cadre concatène l’image complète avec le bruit initial au modèle de diffusion. En conséquence, l’approche d’injection à double flux mise en œuvre par le cadre DynamiCrafter garantit la conformité visuelle ainsi que le contenu dynamique plausible pour l’image d’entrée.

En poursuivant, les modèles de diffusion ou DM ont démontré des performances remarquables et des capacités de génération dans la génération d’images à partir de texte ou T2I. Pour répliquer le succès des modèles T2I à la génération de vidéos, les modèles de diffusion de vidéo ou VDM sont proposés qui utilisent une architecture U-New factorisée dans l’espace pour modéliser des vidéos à basse résolution. Le transfert des connaissances des cadres T2I aux cadres T2V aidera à réduire les coûts de formation. Bien que les modèles VDM puissent générer des vidéos de haute qualité, ils n’acceptent que des prompts textuels comme guidance sémantique unique qui peut ne pas refléter les véritables intentions de l’utilisateur ou peut être vague. Cependant, les résultats de la majorité des modèles VDM adhèrent rarement à l’image d’entrée et souffrent du problème de variation temporelle irréaliste. L’approche DynamiCrafter est basée sur des modèles de diffusion de vidéo conditionnés par du texte qui exploitent leur riche priorité dynamique pour animer des images à domaine ouvert. Elle le fait en incorporant des conceptions personnalisées pour une meilleure compréhension sémantique et une conformité à l’image d’entrée.

DynamiCrafter : Méthode et Architecture

Pour une image fixe donnée, le cadre DynamiCrafter tente d’animer l’image en vidéo, c’est-à-dire produire une courte séquence de trames vidéo. La séquence de trames vidéo hérite du contenu visuel de l’image et présente des dynamiques naturelles. Cependant, il est possible que l’image puisse apparaître à un emplacement arbitraire de la séquence de trames résultante. L’apparition d’une image à un emplacement arbitraire est un défi spécial observé dans les tâches de génération de vidéos conditionnées par une image avec des exigences de conformité visuelle élevées. Le cadre DynamiCrafter surmonte ce défi en utilisant les priorités génératives des modèles de diffusion de vidéo pré-entraînés.

Dynamique d’images à partir de priorités de diffusion de vidéo

Généralement, les modèles de diffusion de texte à vidéo à domaine ouvert sont connus pour afficher un contenu visuel dynamique conditionné par des descriptions de texte. Pour animer une image fixe avec des priorités génératives de texte à vidéo, les cadres doivent d’abord injecter les informations visuelles dans le processus de génération de vidéo de manière complète. De plus, pour la synthèse dynamique, le modèle T2V doit digérer l’image pour la compréhension du contexte, tout en étant capable de préserver les détails visuels dans les vidéos générées.

Représentation de contexte alignée sur le texte

Pour guider la génération de vidéos avec le contexte d’image, le cadre DynamiCrafter tente de projeter l’image dans un espace d’incrustation aligné, permettant ainsi au modèle de vidéo d’utiliser les informations d’image d’une manière compatible. Ensuite, le cadre DynamiCrafter utilise l’encodeur d’image pour extraire des fonctionnalités d’image à partir de l’image d’entrée, puisque les incrustations de texte sont générées à l’aide d’un encodeur de texte CLIP pré-entraîné. Maintenant, bien que les jetons sémantiques globaux de l’encodeur d’image CLIP soient alignés avec les légendes d’image, ils représentent principalement le contenu visuel au niveau sémantique, ne parvenant ainsi pas à capturer la pleine étendue de l’image. Le cadre DynamiCrafter met en œuvre des jetons visuels complets à partir de la dernière couche de l’encodeur CLIP pour extraire des informations plus complètes, car ces jetons visuels démontrent une grande fidélité dans les tâches de génération d’images conditionnelles. De plus, le cadre utilise des incrustations de contexte et de texte pour interagir avec les fonctionnalités intermédiaires de U-Net à l’aide de couches d’attention croisée doubles. La conception de ce composant facilite la capacité du modèle à absorber les conditions d’image d’une manière dépendante de la couche. De plus, puisque les couches intermédiaires de l’architecture U-Net sont associées davantage à des poses ou à des formes d’objets, il est prévu que les fonctionnalités d’image influencent principalement l’apparence des vidéos, surtout depuis que les deux couches extrêmes sont plus liées à l’apparence.

Guidance de détails visuels

Le cadre DynamiCrafter utilise une représentation de contexte riche en informations qui permet au modèle de diffusion de vidéo dans son architecture de produire des vidéos qui ressemblent étroitement à l’image d’entrée. Cependant, comme le montre l’image suivante, le contenu généré peut présenter certaines discordances en raison de la capacité limitée de l’encodeur CLIP pré-entraîné à préserver les informations d’entrée complètement, car il a été conçu pour aligner les fonctionnalités de langage et visuelles.

Pour améliorer la conformité visuelle, le cadre DynamiCrafter propose de fournir au modèle de diffusion de vidéo des détails visuels supplémentaires extraits de l’image d’entrée. Pour ce faire, le modèle DynamiCrafter concatène l’image conditionnelle avec le bruit initial par cadre et les alimente au composant U-Net de débruitage en tant que guidance.

Paradigme de formation

Le cadre DynamiCrafter intègre l’image conditionnelle à travers deux flux complémentaires qui jouent un rôle important dans la guidance de détails et le contrôle de contexte. Pour faciliter cela, le modèle DynamiCrafter utilise un processus de formation en trois étapes

1. Dans la première étape, le modèle forme le réseau de représentation de contexte d’image.
2. Dans la deuxième étape, le modèle adapte le réseau de représentation de contexte d’image au modèle de texte à vidéo.
3. Dans la troisième et dernière étape, le modèle affine le réseau de représentation de contexte d’image conjointement avec le composant de guidance de détails visuels.

Pour adapter les informations d’image pour la compatibilité avec le modèle de texte à vidéo ou T2V, le cadre DynamiCrafter suggère de développer un réseau de représentation de contexte, P, conçu pour capturer des détails visuels alignés sur le texte à partir de l’image donnée. En reconnaissant que P nécessite de nombreuses étapes d’optimisation pour la convergence, l’approche du cadre implique d’abord de le former en utilisant un modèle de texte à image ou T2I plus simple. Cette stratégie permet au réseau de représentation de contexte de se concentrer sur l’apprentissage du contexte d’image avant de l’intégrer au modèle T2V par formation conjointe avec P et les couches spatiales, et non les couches temporelles, du modèle T2V.

Pour assurer la compatibilité T2V, le cadre DynamiCrafter fusionne l’image d’entrée avec le bruit par cadre, puis affine à la fois P et les couches spatiales du modèle de discrimination visuelle ou VDM. Cette méthode est choisie pour maintenir l’intégrité des connaissances temporelles existantes du modèle T2V sans les effets négatifs de la fusion d’images dense, qui pourrait compromettre les performances et diverger de notre objectif principal. De plus, le cadre emploie une stratégie de sélection aléatoire d’un cadre de vidéo comme condition d’image pour atteindre deux objectifs : (i) éviter que le réseau ne développe un modèle prévisible qui associe directement l’image fusionnée à un emplacement de cadre spécifique, et (ii) encourager une représentation de contexte plus adaptable en évitant de fournir des informations trop rigides pour un cadre particulier.

DynamiCrafter : Expériences et Résultats

Le cadre DynamiCrafter forme d’abord le réseau de représentation de contexte et les couches d’attention croisée d’image sur la diffusion stable. Le cadre remplace ensuite le composant de diffusion stable avec VideoCrafter et affine davantage le réseau de représentation de contexte et les couches spatiales pour l’adaptation, ainsi que la concaténation d’images. Lors de l’inférence, le cadre adopte l’échantillonneur DDIM avec une guidance à plusieurs conditions sans modèle. De plus, pour évaluer la cohérence temporelle et la qualité des vidéos synthétisées dans les domaines temporel et spatial, le cadre rapporte la distance de vidéo de Fréchet ou FVD, ainsi que la distance de vidéo à noyau ou KVD, et évalue les performances à zéro tir sur tous les méthodes des références MSR-VTT et UCF-101. Pour étudier la conformité perceptive entre les résultats générés et l’image d’entrée, le cadre introduit la conformité d’entrée perceptive ou PIC, et adopte la distance perceptive DreamSim comme fonction de distance.

La figure suivante montre la comparaison visuelle du contenu animé généré avec différents styles et contenus.

Comme on peut l’observer, parmi toutes les différentes méthodes, le cadre DynamiCrafter adhère bien à la condition d’image d’entrée et génère des vidéos temporellement cohérentes. Le tableau suivant contient les statistiques d’une étude utilisateur avec 49 participants du taux de préférence pour la cohérence temporelle ou T.C, et la qualité de mouvement ou M.C, ainsi que le taux de sélection pour la conformité visuelle à l’image d’entrée ou I.C. Comme on peut l’observer, le cadre DynamiCrafter parvient à surpasser les méthodes existantes d’une marge considérable.

La figure suivante montre les résultats obtenus à l’aide de la méthode d’injection à double flux et du paradigme de formation.

Pensées finales

Dans cet article, nous avons discuté du cadre DynamiCrafter, une tentative pour surmonter les limitations actuelles des modèles d’animation d’images et étendre leur applicabilité à des scénarios génériques impliquant des images à domaine ouvert. Le cadre DynamiCrafter tente de synthétiser du contenu dynamique pour des images à domaine ouvert, en les convertissant en vidéos animées. L’idée clé derrière DynamiCrafter est d’incorporer l’image comme guide dans le processus génératif dans une tentative d’utiliser le mouvement prioritaire des modèles de diffusion de texte à vidéo existants. Pour une image donnée, le modèle DynamiCrafter implémente d’abord un transformateur de requête qui projette l’image dans un espace de représentation de contexte riche et aligné sur le texte, facilitant ainsi la digestion du contenu de l’image par le modèle de vidéo de manière compatible. Cependant, le modèle DynamiCrafter lutte encore pour préserver certains détails visuels dans les vidéos résultantes, un problème que le modèle DynamiCrafter surmonte en alimentant l’image complète au modèle de diffusion en la concaténant avec les bruits initiaux, supplementant ainsi le modèle avec des informations d’image plus précises.