Générer de meilleures vidéos AI à partir de seulement deux images

L’interpolation de trames vidéo (VFI) est un problème ouvert dans la recherche sur les vidéos génératives. Le défi consiste à générer des trames intermédiaires entre deux trames existantes dans une séquence vidéo.

Cliquez pour jouer. Le cadre FILM, une collaboration entre Google et l’Université de Washington, a proposé une méthode d’interpolation de trames efficace qui reste populaire dans les sphères amateur et professionnelles. À gauche, on peut voir les deux trames distinctes superposées; au milieu, la ‘trame finale’; et à droite, la synthèse finale entre les trames. Sources: https://film-net.github.io/ et https://arxiv.org/pdf/2202.04901

De manière générale, cette technique remonte à plus d’un siècle et a été utilisée dans l’animation traditionnelle depuis lors. Dans ce contexte, les « trames clés » maîtresses seraient générées par un artiste d’animation principal, tandis que le travail de « tweening » des trames intermédiaires serait effectué par d’autres membres de l’équipe, comme une tâche plus subalterne.

Auparavant, avant l’émergence de l’IA générative, l’interpolation de trames a été utilisée dans des projets tels que Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), et Google’s Frame Interpolation for Large Motion (FILM – voir ci-dessus) pour augmenter la fréquence d’images d’une vidéo existante ou permettre des effets de ralenti artificiels. Cela est réalisé en divisant les trames existantes d’une séquence et en générant des trames intermédiaires estimées.

VFI est également utilisé dans le développement de meilleurs codecs vidéo, et plus généralement, dans les systèmes basés sur le flux optique (y compris les systèmes génératifs), qui utilisent des connaissances avancées sur les trames clés à venir pour optimiser et façonner le contenu interstitiel qui les précède.

Trames finales dans les systèmes de vidéos génératives

Les systèmes génératifs modernes tels que Luma et Kling permettent aux utilisateurs de spécifier une trame de début et une trame de fin, et peuvent effectuer cette tâche en analysant les points clés dans les deux images et en estimant une trajectoire entre les deux images.

Comme on peut le voir dans les exemples ci-dessous, fournir une ‘trame de fin’ permet mieux au système de vidéo générative (dans ce cas, Kling) de maintenir des aspects tels que l’identité, même si les résultats ne sont pas parfaits (particulièrement avec de grands mouvements).

Cliquez pour jouer. Kling est l’un des nombreux générateurs de vidéos, y compris Runway et Luma, qui permettent à l’utilisateur de spécifier une trame de fin. Dans la plupart des cas, un mouvement minimal conduira aux résultats les plus réalistes et les moins défectueux. Source: https://www.youtube.com/watch?v=8oylqODAaH8

Dans l’exemple ci-dessus, l’identité de la personne est cohérente entre les deux trames clés fournies par l’utilisateur, conduisant à une génération de vidéo relativement cohérente.

Lorsque seule la trame de début est fournie, la fenêtre d’attention du système génératif n’est généralement pas suffisamment grande pour « se souvenir » de l’apparence de la personne au début de la vidéo. Plutôt, l’identité est susceptible de changer un peu avec chaque trame, jusqu’à ce que toute ressemblance soit perdue. Dans l’exemple ci-dessous, une image de début a été téléchargée, et le mouvement de la personne a été guidé par une invite de texte:

Cliquez pour jouer. Avec aucune trame de fin, Kling n’a qu’un petit groupe de trames immédiatement précédentes pour guider la génération des trames suivantes. Dans les cas où un mouvement significatif est nécessaire, cette atrophie de l’identité devient grave.

Nous pouvons voir que la ressemblance de l’acteur n’est pas résistante aux instructions, puisque le système génératif ne sait pas à quoi il ressemblerait s’il souriait, et il ne sourit pas dans l’image de départ (la seule référence disponible).

La majorité des clips génératifs viraux sont soigneusement sélectionnés pour minimiser ces lacunes. Cependant, les progrès des systèmes de vidéos génératives temporellement cohérents peuvent dépendre de nouvelles avancées dans le secteur de la recherche en matière d’interpolation de trames, puisque la seule alternative possible est de dépendre de la CGI traditionnelle en tant que vidéo « guide » (et même dans ce cas, la cohérence de la texture et de l’éclairage est actuellement difficile à atteindre).

En outre, la nature lentement itérative de la dérivation d’une nouvelle trame à partir d’un petit groupe de trames récentes rend difficile l’obtention de mouvements importants et audacieux. Cela est dû au fait qu’un objet qui se déplace rapidement à travers une trame peut transiter d’un côté à l’autre en un seul cadre, contrairement aux mouvements plus graduels sur lesquels le système a probablement été formé.

De même, un changement de pose important et audacieux peut conduire non seulement à un décalage d’identité, mais également à des incongruités vivantes:

Cliquez pour jouer. Dans cet exemple de Luma, le mouvement demandé ne semble pas être bien représenté dans les données de formation.

Framer

Cela nous amène à un article récent intéressant de Chine, qui prétend avoir atteint un nouvel état de l’art dans l’interpolation de trames authentiques – et qui est le premier de son genre à offrir une interaction utilisateur basée sur le déplacement.

Framer permet à l’utilisateur de diriger le mouvement à l’aide d’une interface intuitive basée sur le déplacement, bien qu’il dispose également d’un mode « automatique ». Source: https://www.youtube.com/watch?v=4MPGKgn7jRc

Les applications centrées sur le déplacement sont devenues fréquentes dans la littérature récemment, car le secteur de la recherche tente de fournir des outils pour les systèmes génératifs qui ne sont pas basés sur les résultats grossiers obtenus par les invites de texte.

Le nouveau système, intitulé Framer, peut non seulement suivre le déplacement guidé par l’utilisateur, mais dispose également d’un mode « pilote automatique » plus conventionnel. Outre le tweening conventionnel, le système est capable de produire des simulations de time-lapse, ainsi que des morphing et des vues nouvelles de l’image d’entrée.

Trames interstitielles générées pour une simulation de time-lapse dans Framer. Source: https://arxiv.org/pdf/2410.18978

En ce qui concerne la production de vues nouvelles, Framer se croise un peu avec le territoire des Champs de rayonnement neuronaux (NeRF) – bien qu’il ne nécessite que deux images, alors que NeRF nécessite généralement six ou plus de vues d’entrée.

Dans les tests, Framer, qui repose sur le modèle de diffusion de vidéo stable de Stability.ai, a été capable de surpasser les approches rivales approximées, dans une étude utilisateur.

À l’heure de la rédaction, le code est prévu pour être publié sur GitHub. Des échantillons de vidéo (à partir desquels les images ci-dessus sont dérivées) sont disponibles sur le site du projet, et les chercheurs ont également publié une vidéo YouTube.

Le nouvel article est intitulé Framer: Interpolation de trames interactive, et provient de neuf chercheurs de l’Université de Zhejiang et du groupe Alibaba.

Méthode

Framer utilise l’interpolation basée sur les points clés dans l’une ou l’autre de ses deux modalités, dans lesquelles l’image d’entrée est évaluée pour la topologie de base, et des points « mobiles » sont attribués si nécessaire. En effet, ces points sont équivalents aux repères faciaux dans les systèmes basés sur l’identité, mais se généralisent à toute surface.

Les chercheurs ont affiné la diffusion de vidéo stable (SVD) sur le dataset OpenVid-1M, en ajoutant une capacité de synthèse de trame finale supplémentaire. Cela facilite un mécanisme de contrôle de trajectoire (en haut à droite dans l’image de schéma ci-dessous) qui peut évaluer un chemin vers la trame de fin (ou à partir de celle-ci).

Schéma pour Framer.

En ce qui concerne l’ajout de la condition de trame finale, les auteurs déclarent:

‘Pour préserver le savoir-faire visuel du SVD pré-entraîné autant que possible, nous suivons le paradigme de conditionnement du SVD et injectons les conditions de trame finale dans l’espace latent et l’espace sémantique, respectivement.

‘Plus précisément, nous concaténons la fonction de caractéristique latente VAE de la première [trame] avec la fonction latente bruyante de la première trame, comme dans le SVD. De plus, nous concaténons la fonction de caractéristique latente de la dernière trame, zn, avec la fonction latente bruyante de la trame de fin, en considérant que les conditions et les fonctions latentes bruyantes correspondantes sont alignées spatialement.

‘En outre, nous extrayons l’intégration d’image CLIP de la première et de la dernière trame séparément et les concaténons pour l’injection de fonction de cross-attention.’

Pour la fonctionnalité basée sur le déplacement, le module de trajectoire utilise le cadre CoTracker dirigé par Meta Ai, qui évalue de nombreuses trajectoires possibles à l’avance. Ces trajectoires sont réduites à entre 1 et 10 trajectoires possibles.

Les coordonnées de points obtenues sont ensuite transformées à l’aide d’une méthodologie inspirée des architectures DragNUWA et DragAnything. Cela obtient une carte de chaleur gaussienne, qui individualise les zones cibles pour le mouvement.

Par la suite, les données sont alimentées dans les mécanismes de conditionnement de ControlNet, un système de conformité auxiliaire conçu à l’origine pour Stable Diffusion, et adapté depuis à d’autres architectures.

Pour le mode « pilote automatique », la correspondance de fonction est initialement réalisée via SIFT, qui interprète une trajectoire qui peut ensuite être transmise à un mécanisme de mise à jour automatique inspiré de DragGAN et DragDiffusion.

Schéma pour l’estimation de la trajectoire de point dans Framer.

Données et tests

Pour l’ajustement fin de Framer, l’attention spatiale et les blocs résiduels ont été gelés, et seuls les couches d’attention temporelles et les blocs résiduels ont été affectés.

Le modèle a été formé pendant 10 000 itérations sous AdamW, à un taux d’apprentissage de 1e-4, et une taille de lot de 16. La formation a eu lieu sur 16 GPU NVIDIA A100.

Étant donné que les approches antérieures du problème ne proposent pas d’édition basée sur le déplacement, les chercheurs ont choisi de comparer le mode « pilote automatique » de Framer à la fonctionnalité standard des anciennes offres.

Les cadres testés pour la catégorie des systèmes de génération de vidéo basés sur la diffusion actuels étaient LDMVFI; Dynamic Crafter; et SVDKFI. Pour les systèmes de vidéo « traditionnels », les cadres rivaux étaient AMT; RIFE; FLAVR; et le FILM mentionné précédemment.

En plus de l’étude utilisateur, des tests ont été effectués sur les ensembles de données DAVIS et UCF101.

Les tests qualitatifs ne peuvent être évalués que par les facultés objectives de l’équipe de recherche et par les études utilisateurs. Cependant, l’article note que les métriques quantitatives traditionnelles sont largement inadaptées à la proposition en question:

‘[Reconstruction] Les métriques telles que PSNR, SSIM et LPIPS ne capturent pas avec précision la qualité des trames interpolées, car elles pénalisent d’autres résultats d’interpolation plausibles qui ne sont pas alignés sur les pixels avec la vidéo d’origine.

‘Alors que les métriques de génération telles que FID offrent une certaine amélioration, elles sont toujours insuffisantes car elles ne tiennent pas compte de la cohérence temporelle et évaluent les trames en isolation.’

En dépit de cela, les chercheurs ont effectué des tests qualitatifs avec plusieurs métriques populaires:

Résultats quantitatifs pour Framer par rapport aux systèmes rivaux.

Les auteurs notent que, malgré les désavantages, Framer obtient toujours le meilleur score FVD parmi les méthodes testées.

Ci-dessous se trouvent les résultats d’échantillonnage de l’article pour une comparaison qualitative:

Comparaison qualitative avec les approches antérieures. Veuillez vous référer à l’article pour une meilleure résolution, ainsi que des résultats vidéo à https://www.youtube.com/watch?v=4MPGKgn7jRc.

Les auteurs commentent:

‘[Notre] méthode produit des textures nettement plus claires et un mouvement naturel par rapport aux techniques d’interpolation existantes. Elle fonctionne particulièrement bien dans les scénarios avec des différences importantes entre les trames d’entrée, où les méthodes traditionnelles échouent souvent à interpoler le contenu avec précision.

‘Par rapport à d’autres méthodes basées sur la diffusion, telles que LDMVFI et SVDKFI, Framer démontre une meilleure adaptabilité aux cas difficiles et offre un meilleur contrôle.’

Pour l’étude utilisateur, les chercheurs ont réuni 20 participants, qui ont évalué 100 résultats de vidéo aléatoirement commandés à partir des différentes méthodes testées. Ainsi, 1000 évaluations ont été obtenues, en évaluant les offres les plus « réalistes »:

Résultats de l’étude utilisateur.

Comme on peut le voir sur le graphique ci-dessus, les utilisateurs ont nettement préféré les résultats de Framer.

La vidéo YouTube accompagnant le projet présente certaines des autres utilisations potentielles de Framer, notamment le morphing et l’interpolation de dessin animé – où le concept a commencé.

Conclusion

Il est difficile de surestimer l’importance de ce défi actuel pour la tâche de génération de vidéos basée sur l’IA. À ce jour, les anciennes solutions telles que FILM et EbSynth (non-IA) ont été utilisées, à la fois par les communautés amateur et professionnelles, pour le tweening entre les trames; mais ces solutions comportent des limitations notables.

En raison de la sélection déloyale des vidéos d’exemple officielles pour les nouveaux cadres T2V, il existe une large méconception publique selon laquelle les systèmes d’apprentissage automatique peuvent précisément déduire la géométrie en mouvement sans recourir à des mécanismes de guidage tels que les modèles de morphologie 3D (3DMM) ou d’autres approches auxiliaires, telles que LoRAs.

Pour être honnête, le tweening lui-même, même s’il pouvait être exécuté parfaitement, ne constitue qu’un « hack » ou une astuce pour ce problème. Néanmoins, puisqu’il est souvent plus facile de produire deux images de trame bien alignées que de guider via des invites de texte ou la gamme actuelle d’alternatives, il est bon de voir des progrès itératifs sur une version basée sur l’IA de cette ancienne méthode.

Publié pour la première fois mardi 29 octobre 2024