Édition de contenu vidéo cohérent avec des entrées guidées par texte

Alors que la communauté professionnelle des effets visuels est intriguée – et occasionnellement se sent un peu menacée – par les nouvelles innovations dans la synthèse d’images et de vidéos, le manque de continuité temporelle dans la plupart des projets d’édition de vidéos basés sur l’IA relègue beaucoup de ces efforts dans la sphère « psychédélique », avec des textures et des structures scintillantes et changeant rapidement, des effets incohérents et une technologie grossière qui rappelle l’ ère photochimique des effets visuels.

Si vous voulez changer quelque chose de très spécifique dans une vidéo qui ne relève pas du domaine des deepfakes (c’est-à-dire imposer une nouvelle identité sur des images existantes d’une personne), la plupart des solutions actuelles fonctionnent sous des limitations très sévères, en termes de précision requise pour les effets visuels de production de qualité.

Une exception est le travail en cours d’une association lâche d’universitaires de l’Institut de science Weizmann. En 2021, trois de ses chercheurs, en association avec Adobe, ont annoncé une nouvelle méthode pour décomposer la vidéo et superposer une carte interne cohérente – un atlas neural couché – dans une sortie composée, complète avec des canaux alpha et une sortie temporellement cohérente.

De l’article de 2021: une estimation de la traversée complète de la route dans la vidéo source est éditée via un réseau de neurones d’une manière qui traditionnellement aurait nécessité un rotoscopie et un match-moving extensifs. Puisque les éléments de l’arrière-plan et du premier plan sont gérés par des réseaux différents, les masques sont vraiment ‘automatiques’. Source: https://layered-neural-atlases.github.io/

Bien que cela relève quelque peu du domaine de l’ flux optique dans les pipelines VFX, l’atlas couché n’a pas d’équivalent direct dans les flux de travail CGI traditionnels, puisqu’il constitue essentiellement une « carte de texture temporelle » qui peut être produite et éditée via des méthodes logicielles traditionnelles. Dans la deuxième image de l’illustration ci-dessus, l’arrière-plan de la surface de la route est représenté (figurativement) sur toute la durée de la vidéo. La modification de cette image de base (troisième image de gauche dans l’illustration ci-dessus) produit un changement cohérent dans l’arrière-plan.

Les images de l’atlas « déplié » ci-dessus ne représentent que des cadres individuels interprétés; les changements cohérents dans n’importe quel cadre cible de la vidéo sont mappés vers le cadre d’origine, en conservant les occultations et les effets de scène nécessaires, tels que les ombres ou les reflets.

L’architecture de base utilise un perceptron multicouche (MLP) pour représenter les atlas dépliés, les canaux alpha et les mappages, tous lesquels sont optimisés en concert, et entièrement dans un espace 2D, ce qui élimine la nécessité de connaissances a priori sur la géométrie 3D, les cartes de profondeur et les accessoires CGI similaires.

L’atlas de référence d’objets individuels peut également être modifié de manière fiable:

Changement cohérent d’un objet en mouvement sous le cadre de 2021. Source: https://www.youtube.com/watch?v=aQhakPFC4oQ

En substance, le système de 2021 combine l’alignement de la géométrie, le match-moving, la cartographie, la ré-texturisation et le rotoscopie en un processus neural discret.

Text2Live

Les trois chercheurs originaux de l’article de 2021, ainsi que la recherche NVIDIA, sont parmi les contributeurs à une nouvelle innovation sur la technique qui combine la puissance des atlas couchés avec le type de technologie CLIP guidée par le texte qui est revenu à la une cette semaine avec la sortie du cadre DALL-E 2.

La nouvelle architecture, intitulée Text2Live, permet à un utilisateur final de créer des éditions localisées de contenu vidéo réel en fonction de invites de texte:

Deux exemples d’édition de premier plan. Pour une meilleure résolution et définition, consultez les vidéos originales à https://text2live.github.io/sm/pages/video_results_atlases.html

Text2Live offre une édition sémantique et fortement localisée sans l’utilisation d’un générateur pré-entraîné, en utilisant une base de données interne spécifique à la vidéo étant affectée.

Transformations d’arrière-plan et de premier plan (objet) sous Text2Live. Source: https://text2live.github.io/sm/pages/video_results_atlases.html

La technique n’exige pas de masques fournis par l’utilisateur, tels que ceux utilisés dans un flux de travail de rotoscopie ou de fond vert, mais plutôt estime des cartes de pertinence via une technique de démarrage basée sur des recherches de 2021 de l’École des sciences informatiques de l’Université de Tel-Aviv et de Facebook AI Research (FAIR).

Cartes de sortie générées via un modèle d’attention générique basé sur un transformateur.

Le nouveau document est intitulé Text2LIVE: Édition d’images et de vidéos guidée par le texte. L’équipe originale de 2021 est rejointe par Omer Bar-Tal de Weizmann et Yoni Kasten de la recherche NVIDIA.

Architecture

Text2Live se compose d’un générateur formé sur une seule image d’entrée et des invites de texte cibles. Un modèle CLIP pré-entraîné sur 400 millions de paires texte/image fournit du matériel visuel associé à partir duquel les transformations d’entrée utilisateur peuvent être interprétées.

Le générateur accepte une image d’entrée (cadre) et produit une couche cible RGBA contenant des informations de couleur et d’opacité. Cette couche est ensuite composée dans la vidéo d’origine avec des augmentations supplémentaires.

Le canal alpha de la couche RGBA générée fournit une fonction de composition interne sans recours aux pipelines traditionnels impliquant des logiciels basés sur des pixels tels qu’After Effects.

En formant sur des images internes pertinentes pour la vidéo ou l’image cible, Text2Live évite l’exigence soit d’ inverser l’image d’entrée dans l’espace latent d’un réseau antagoniste génératif (GAN), une pratique qui est actuellement loin d’être suffisamment précise pour les exigences d’édition de vidéos de production, ou d’utiliser un modèle de diffusion qui est plus précis et configurable, mais ne peut pas maintenir la fidélité à la vidéo cible.

Diverses éditions de transformation basées sur des invites de Text2Live.

Les approches antérieures ont utilisé soit des méthodes basées sur la propagation, soit des approches basées sur le flux optique. Puisque ces techniques sont, dans une certaine mesure, basées sur les cadres, aucune n’est capable de créer une apparence temporelle cohérente des changements dans la vidéo de sortie. Un atlas neural couché, en revanche, fournit un seul espace dans lequel aborder les changements, qui peuvent alors rester fidèles au changement engagé à mesure que la vidéo progresse.

Pas de ‘sizzling’ ou d’hallucinations aléatoires: Text2Live obtient une interprétation de l’invite de texte ‘jeep rouillé’, et l’applique une seule fois à l’atlas neural couché de la voiture dans la vidéo, au lieu de redémarrer la transformation pour chaque cadre interprété.

Flux de travail de la transformation cohérente de Text2Live d’un Jeep en une épave rouillée.

Text2Live est plus proche d’une percée dans la composition basée sur l’IA que dans l’espace fertile de l’image-texte qui a attiré tant d’attention cette semaine avec la deuxième génération du cadre DALL-E d’OpenAI (qui peut incorporer des images cibles dans le processus de transformation, mais reste limité dans sa capacité à intervenir directement dans une photo, en plus de la censure des données de formation source et de l’imposition de filtres conçus pour prévenir les abus des utilisateurs).

Plutôt, Text2Live permet à l’utilisateur final d’extraire un atlas et de l’éditer en une seule passe dans des environnements à pixels de haute contrôle tels que Photoshop (et de manière plus abstraite, des cadres de synthèse d’images tels que NeRF), avant de le réintégrer dans un environnement correctement orienté qui, néanmoins, ne repose pas sur l’estimation 3D ou les approches CGI basées sur l’arrière-plan.

En outre, Text2Live, selon les auteurs, est le premier cadre comparable à réaliser le masquage et la composition de manière entièrement automatique. Premièrement publié le 7 avril 2022.