Angle d’Anderson
Suppression d’objets dans les vidéos de manière plus efficace avec l’apprentissage automatique
Ajouter Unite.AI à vos sources préférées sur Google
De nouvelles recherches menées en Chine rapportent des résultats à la pointe de la technologie – ainsi qu’une amélioration impressionnante de l’efficacité – pour un nouveau système d’inpainting vidéo qui peut adroitement supprimer des objets des séquences.
Le harnais d’un deltaplane est peint par la nouvelle procédure. Voir la vidéo source pour une meilleure résolution et plus d’exemples. Source: https://www.youtube.com/watch?v=N–qC3T2wc4
La technique, appelée End-to-End framework for Flow-Guided video Inpainting (E2FGVI), est également capable de supprimer les filigranes et divers autres types d’occlusion des contenus vidéo.
E2FGVI calcule des prédictions pour le contenu qui se trouve derrière les occlusions, permettant la suppression même des filigranes les plus notables et les plus inaccessibles. Source: https://github.com/MCG-NKU/E2FGVI
(Pour voir plus d’exemples en meilleure résolution, consultez la vidéo)
Bien que le modèle présenté dans l’article publié ait été formé sur des vidéos de 432px x 240px (des tailles de saisie faibles, contraintes par l’espace disponible sur la carte graphique par rapport aux tailles de lot optimales et à d’autres facteurs), les auteurs ont depuis publié E2FGVI-HQ, qui peut gérer des vidéos à une résolution arbitraire.
Le code de la version actuelle est disponible sur GitHub, tandis que la version HQ, publiée le dimanche dernier, peut être téléchargée à partir de Google Drive et Baidu Disk.
L’enfant reste dans l’image.
E2FGVI peut traiter une vidéo 432×240 en 0,12 seconde par image sur une carte graphique Titan XP (12 Go de VRAM), et les auteurs rapportent que le système fonctionne quinze fois plus vite que les méthodes antérieures basées sur le flux optique.
Un joueur de tennis fait une sortie inattendue.
Testé sur des ensembles de données standard pour ce sous-secteur de la recherche sur la synthèse d’images, la nouvelle méthode a été en mesure de surpasser ses rivaux à la fois dans les évaluations qualitatives et quantitatives.
Tests contre les approches antérieures. Source: https://arxiv.org/pdf/2204.02663.pdf
L’article publié s’intitule Towards An End-to-End Framework for Flow-Guided Video Inpainting, et est une collaboration entre quatre chercheurs de l’Université de Nankai, ainsi qu’un chercheur de Hisilicon Technologies.
Qu’est-ce qui manque dans cette image
Outre ses applications évidentes pour les effets visuels, l’inpainting vidéo de haute qualité est sur le point de devenir une fonctionnalité déterminante des nouvelles technologies de synthèse et d’altération d’images basées sur l’IA.
Ceci est particulièrement le cas pour les applications de mode qui modifient le corps, et d’autres cadres qui cherchent à ‘maigrir’ ou à modifier autrement les scènes dans les images et les vidéos. Dans de tels cas, il est nécessaire de remplir de manière convaincante l’arrière-plan supplémentaire qui est exposé par la synthèse.
D’un article récent, un algorithme de ‘reshaping’ du corps est chargé de peindre l’arrière-plan nouvellement révélé lorsque le sujet est redimensionné. Ici, ce manque est représenté par le contour rouge que la personne (voir l’image de gauche) à la silhouette plus forte occupait précédemment. Basé sur le matériel source de https://arxiv.org/pdf/2203.10496.pdf
Flux optique cohérent
Le flux optique (OF) est devenu une technologie clé dans le développement de la suppression d’objets vidéo. Comme une carte, le flux optique fournit une carte unique d’une séquence temporelle. Souvent utilisé pour mesurer la vitesse dans les initiatives de vision par ordinateur, le flux optique peut également permettre un recoloriage temporellement cohérent, où la somme totale de la tâche peut être considérée en une seule passe, au lieu d’un style ‘par image’ à la Disney, qui conduit inévitablement à une discontinuité temporelle.
Les méthodes d’inpainting vidéo à ce jour se sont concentrées sur un processus en trois étapes: completion du flux, où la vidéo est essentiellement cartographiée en une entité discrète et exploitable; propagation de pixels, où les trous dans les vidéos ‘corrompues’ sont remplis en propageant des pixels dans les deux sens; et hallucination de contenu (invention de pixels qui est familière à la plupart d’entre nous grâce aux deepfakes et aux cadres de texte-à-image tels que la série DALL-E) où le contenu ‘manquant’ estimé est inventé et inséré dans la vidéo.
L’innovation centrale de E2FGVI est de combiner ces trois étapes en un système de bout en bout, éliminant ainsi la nécessité d’effectuer des opérations manuelles sur le contenu ou le processus.
L’article observe que la nécessité d’une intervention manuelle nécessite que les anciens processus n’utilisent pas de carte graphique, les rendant ainsi très chronophages. De l’article*:
‘En prenant DFVI comme exemple, compléter une vidéo avec une taille de 432 × 240 à partir de DAVIS, qui contient environ 70 images, nécessite environ 4 minutes, ce qui est inacceptable dans la plupart des applications du monde réel. De plus, outre les inconvénients mentionnés ci-dessus, l’utilisation d’un réseau d’inpainting d’images préformé à l’étape de l’hallucination de contenu ignore les relations de contenu entre les voisins temporels, conduisant à un contenu généré incohérent dans les vidéos.’
En unissant les trois étapes de l’inpainting vidéo, E2FGVI est capable de substituer la deuxième étape, la propagation de pixels, par la propagation de fonctionnalités. Dans les processus plus segmentés des travaux antérieurs, les fonctionnalités ne sont pas aussi largement disponibles, car chaque étape est relativement hermétique et le workflow n’est que semi-automatisé.
En outre, les chercheurs ont conçu un transformateur focal temporel pour l’étape d’hallucination de contenu, qui prend en compte non seulement les voisins directs des pixels dans l’image actuelle (c’est-à-dire ce qui se passe dans cette partie de l’image dans l’image précédente ou suivante), mais également les voisins éloignés qui sont à plusieurs images de distance et qui influenceront néanmoins l’effet cohérent de toute opération effectuée sur la vidéo dans son ensemble.
Architecture de E2FGVI.
La nouvelle section centrale basée sur les fonctionnalités du workflow est capable de tirer parti de processus et d’échantillonnages apprenables à plus grande échelle, tandis que le transformateur focal novateur du projet, selon les auteurs, étend la taille des fenêtres focales ‘de 2D à 3D’.
Tests et données
Pour tester E2FGVI, les chercheurs ont évalué le système contre deux ensembles de données populaires pour la suppression d’objets vidéo: YouTube-VOS, et DAVIS. YouTube-VOS comporte 3741 extraits de vidéo d’entraînement, 474 extraits de validation et 508 extraits de test, tandis que DAVIS comporte 60 extraits de vidéo d’entraînement et 90 extraits de test.
E2FGVI a été formé sur YouTube-VOS et évalué sur les deux ensembles de données. Lors de la formation, des masques d’objets (les zones vertes dans les images ci-dessus, et la vidéo YouTube accompagnante) ont été générés pour simuler la complétion de la vidéo.
Pour les métriques, les chercheurs ont adopté le rapport signal-bruit de pointe (PSNR), la similarité structurelle (SSIM), la distance de Fréchet d’Inception basée sur la vidéo (VFID) et l’erreur de déformation de flux – cette dernière pour mesurer la stabilité temporelle dans la vidéo affectée.
Les architectures antérieures contre lesquelles le système a été testé étaient VINet, DFVI, LGTSM, CAP, FGVC, STTN, et FuseFormer.
De la section des résultats quantitatifs de l’article. Les flèches vers le haut et vers le bas indiquent que des nombres plus élevés ou plus bas sont meilleurs, respectivement. E2FGVI atteint les meilleurs scores dans l’ensemble. Les méthodes sont évaluées selon FuseFormer, bien que DFVI, VINet et FGVC ne soient pas des systèmes de bout en bout, ce qui rend impossible l’estimation de leurs FLOPs.
En plus d’obtenir les meilleurs scores contre tous les systèmes concurrents, les chercheurs ont mené une étude qualitative utilisatrice, dans laquelle des vidéos transformées avec cinq méthodes représentatives ont été présentées individuellement à vingt volontaires, qui ont été invités à les noter en termes de qualité visuelle.
L’axe vertical représente le pourcentage de participants qui ont préféré la sortie E2FGVI en termes de qualité visuelle.
Les auteurs notent que, malgré la préférence unanime pour leur méthode, l’un des résultats, FGVC, ne reflète pas les résultats quantitatifs, et ils suggèrent que cela indique que E2FGVI pourrait, de manière spéculative, générer des ‘résultats visuellement plus agréables’.
En termes d’efficacité, les auteurs notent que leur système réduit considérablement les opérations à virgule flottante par seconde (FLOPs) et le temps d’inférence sur une seule carte graphique Titan sur l’ensemble de données DAVIS, et observent que les résultats montrent que E2FGVI fonctionne quinze fois plus vite que les méthodes basées sur le flux.
Ils commentent:
‘[E2FGVI] détient les FLOPs les plus bas par rapport à toutes les autres méthodes. Cela indique que la méthode proposée est très efficace pour l’inpainting vidéo.’
*Ma conversion des citations en ligne des auteurs en hyperliens.
Publié pour la première fois le 19 mai 2022.
Modifié le mardi 28 octobre 2025, pour supprimer l’incrustation vidéo défectueuse et modifier les références à la vidéo intégrée dans le corps de l’article.
