Effacer des objets et des personnes dans des vidéos avec l’IA

Non, si l’IA a son mot à dire, l’enfant ne reste pas dans l’image.

Supprimer des personnes et des objets dans des images et des vidéos est un axe populaire de la recherche en IA appliquée aux effets visuels (VFX). Les jeux de données et les architectures spécialisés se multiplient pour relever ce défi. Le dernier projet en date, issu de l’Institut du big data de l’université Fudan, en Chine, est EffectErase, un système de suppression d’objets vidéo qui tient compte de leurs effets. Selon les auteurs, il dépasse nettement les méthodes les plus avancées lors des tests :

Exemples d’EffectErase assemblés à partir des ressources du site du projet. Bien que nous fournissions le lien, ce site contient tant de vidéos haute résolution, non optimisées et lancées automatiquement qu’il risque de compromettre la stabilité de votre navigateur. La vidéo YouTube qui accompagne le travail constitue une référence plus accessible et plus complète ; elle est intégrée à la fin de cet article.  Source

Le nouveau travail a nécessité la création et la sélection d’un jeu de données en partie inédit, comprenant près de 350 scènes réelles originales ainsi que des scènes synthétisées. Des dépôts publics* ont également été utilisés. Les scènes ont été filmées avec du matériel dédié ou récupérées ailleurs, puis réadaptées à un flux de travail reposant sur Blender, l’environnement 3D open source.

Ce jeu hybride Video Object Removal (VOR) constitue la base de l’application EffectErase, elle-même construite sur le système de génération vidéo Wan2.1. Le système définit aussi deux nouveaux bancs d’essai associés : VOR Eval et VOR Wild, destinés respectivement aux échantillons avec et sans données de référence correctes (vérité terrain).

(L’article dispose d’un site de projet associé, mais celui-ci est surchargé de vidéos haute résolution et difficile à charger. Si vous rencontrez des difficultés pour le consulter, reportez-vous aux extraits que j’ai sélectionnés dans la vidéo intégrée ci-dessus.)

Comparaison des quantités contenues dans les jeux de données antérieurs similaires et dans le nouveau jeu. Source

Les chercheurs affirment que leur approche offre des performances de pointe, tant dans les métriques quantitatives que dans les résultats qualitatifs évalués par une étude auprès de personnes.

Ils soulignent que les travaux précédents n’ont pas toujours réussi à supprimer les effets associés aux objets, comme les ombres et les reflets. Leur jeu de données a été soigneusement constitué pour corriger cette lacune :

Exemples d’approches antérieures qui ne parviennent pas à traiter, au-delà de l’objet à supprimer, les indices secondaires comme les reflets et les ombres.

Le nouvel article s’intitule EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing et a été rédigé par quatre chercheurs de la faculté d’informatique et d’intelligence artificielle de l’université Fudan.

Méthode

Le jeu hybride VOR a été conçu pour couvrir un éventail de situations assez large pour prendre en compte toutes les conséquences de la suppression d’une personne ou d’un objet dans une vidéo :

Les paires d’images de VOR montrent que supprimer un objet exige de traiter non seulement le sujet visible, mais aussi les effets qu’il provoque. Les exemples couvrent l’occlusion, les ombres, les variations d’éclairage, les reflets et les déformations physiques. Chaque entrée avec l’objet présent est présentée à côté du fond propre correspondant après sa suppression. D’autres exemples figurent dans la vidéo YouTube intégrée à la fin de cet article.

Les auteurs distinguent cinq types représentatifs d’« interférences » à traiter : l’occlusion, notamment celle provoquée par différents types de verre ou de fumée ; les ombres ; l’éclairage (par exemple lorsque l’objet à supprimer crée ou modifie le trajet de la lumière) ; les reflets ; et la déformation (par exemple l’empreinte laissée par une personne dans un coussin, qui ne doit pas subsister après sa suppression).

Processus de constitution de VOR, qui combine des scènes synthétiques générées avec Blender et des prises de vues réelles. Les données synthétiques reposent sur des environnements 3D, des objets et des trajectoires de caméra sélectionnés ; les séquences réelles sont filmées dans diverses scènes, puis enrichies de mouvements Ken Burns. La segmentation avec SAM2 et les corrections manuelles produisent ensuite des triplets alignés associant vidéo de premier plan, vidéo d’arrière-plan et masque correspondant.

Pour les données réelles originales, les chercheurs ont utilisé des caméras fixes afin de filmer des scènes avec et sans objet, dans divers environnements, à différentes heures de la journée et par différents temps.

Pour les données synthétisées, plusieurs points de vue ont été rendus et des scènes comportant plusieurs objets ont été créées. Les mouvements de caméra étaient délibérément complexes et difficiles, comme ceux que l’on peut rencontrer dans des séquences réelles. Selon les chercheurs, cette approche est plus sophistiquée et demande davantage de travail que celle du jeu Remove Objects with Side Effects in Videos (ROSE), similaire à d’autres égards.

Pour diversifier les mouvements, l’effet Ken Burns a été appliqué aux paires de séquences filmées. Des panoramiques contrôlés, des zooms et de légers mouvements de caméra à main levée ont été ajoutés selon quatorze règles prédéfinies. Cinq motifs de mouvement ont été échantillonnés par paire, en conservant le recadrage à l’intérieur de l’image d’origine.

L’association d’objets synthétiques à plusieurs configurations de caméra a encore accru le volume et la diversité des données. Les masques ont été créés en plaçant manuellement des points de guidage sur des images clés, puis en propageant la segmentation avec Segment Anything 2 (SAM2). Les résultats ont été nettoyés et affinés afin de constituer des triplets validés de premier plan, d’arrière-plan et de masque pour l’entraînement.

La collection finale représente 145 heures de vidéo réparties sur 60 000 vidéos appariées, réelles et synthétiques, couvrant 366 catégories d’objets dans 443 scènes.

Le réseau EffectErase reçoit les données par l’intermédiaire d’un autoencodeur variationnel (VAE^†), tandis que Wan2.1 assure le débruitage dans l’espace latent. Sur cette base, EffectErase utilise trois composants : l’apprentissage conjoint de la suppression et de l’insertion, qui entraîne les deux tâches ensemble sur les mêmes régions ; le guidage régional adapté à la tâche (TARG), qui associe des jetons d’objet et de tâche à l’attention croisée pour modéliser les relations spatiales et temporelles entre les objets et leurs effets, et permettre de changer de tâche ; ainsi que la perte de cohérence des effets, qui aligne les régions des effets entre les tâches de suppression et d’insertion :

Schéma d’EffectErase. Pendant l’entraînement, les vidéos appariées sont encodées dans un espace latent commun, combinées avec du bruit et traitées par un transformeur de diffusion guidé par une attention croisée adaptée à la tâche. La perte de cohérence des effets aligne les régions de suppression et d’insertion afin que les deux tâches se concentrent sur la même zone.

Les processus de suppression et d’insertion sont entraînés ensemble à partir d’une même architecture de diffusion. Le modèle apprend ainsi à se concentrer sur les mêmes régions affectées et les mêmes indices structurels.

Les vidéos contenant des objets, celles ne montrant que l’arrière-plan et les masques sont d’abord encodés dans un espace latent. Du bruit est ensuite ajouté pour l’entraînement par diffusion, et le modèle apprend à retrouver des représentations propres sous un guidage spécifique à chaque tâche. Un adaptateur léger combine les caractéristiques bruitées avec les conditions de suppression ou d’insertion. Les deux tâches peuvent ainsi partager la supervision tout en restant contrôlables.

Le guidage régional adapté à la tâche crée un signal propre à la tâche en associant des jetons de langage à des caractéristiques visuelles extraites de l’objet au premier plan à l’aide de CLIP. Un jeton d’objet générique est remplacé par une représentation vectorielle issue du contenu réel de l’image. Cette représentation combinée est injectée dans le réseau de base par attention croisée. Le modèle peut ainsi suivre l’évolution de l’objet et de ses effets visuels dans l’espace et le temps, tout en alternant souplement entre suppression et insertion.

La perte de cohérence des effets oblige les processus de suppression et d’insertion à se concentrer sur les mêmes zones modifiées, car les deux tâches concernent le même objet et ses effets visuels. Les cartes d’attention de chaque branche sont combinées en cartes de région à valeurs continues, puis alignées sur une carte de différences calculée à partir des vidéos avec l’objet et des vidéos d’arrière-plan, afin de préserver les changements subtils d’éclairage ou d’ombres. Cette perte supplémentaire aide l’insertion à guider la suppression et maintient la cohérence des deux tâches.

Données et tests

Les chercheurs ont comparé leur approche à plusieurs méthodes de complétion d’image, de complétion vidéo et de suppression d’objets : OmniPaint ; ObjectClear ; VACE ; DiffuEraser ; ProPainter ; ROSE ; et MiniMax-Remover.

Wan2.1 a fait l’objet d’un ajustement fin avec LoRA^†† sur VOR à une résolution de 832×480 pixels. Pour l’entraînement, 81 images consécutives ont été échantillonnées aléatoirement. C’est la limite pratique de WAN, au-delà de laquelle des erreurs ont tendance à survenir. L’entraînement a duré 129 000 itérations avec une taille de lot de 8, sur huit GPU H100 disposant chacun de 80GB de VRAM. Le taux d’apprentissage a été fixé à 1×10² et le rang de LoRA à 256.

La collection synthétique ROSE-Benchmark a été le seul jeu de données externe testé. Les deux autres étaient VOR-Eval, correspondant au jeu VOR dans sa partition de test ; et VOR-Wild, un jeu de test regroupant 195 vidéos réelles récupérées sur Internet et mettant en scène des objets en mouvement.

Les métriques utilisées étaient le rapport signal-bruit de crête (PSNR), l’indice de similarité structurelle (SSIM), Learned Perceptual Image Patch Similarity (LPIPS) et la distance vidéo de Fréchet (FVD). Une étude auprès d’utilisateurs a également porté sur 195 vidéos générées à partir de VOR-Wild, en tenant compte des notes moyennes de 20 volontaires.

Les auteurs ont aussi conçu QScore, une métrique qui utilise le modèle multimodal Qwen-VL pour évaluer la qualité des vidéos après suppression des objets. Cette évaluation porte sur les artefacts restants ou sur les effets de l’environnement qui n’ont pas été supprimés, comme les ombres et les changements d’éclairage :

Comparaison quantitative sur les bancs d’essai ROSE et VOR. Les meilleurs résultats sont en gras et les deuxièmes meilleurs sont soulignés.

À propos de ces résultats, les auteurs indiquent :

‘[Les actuelles] méthodes de complétion d’image traitent les images individuellement avec des modèles 2D, sans modélisation temporelle. Elles ne parviennent donc pas à préserver la cohérence temporelle des vidéos.

Les [méthodes] récentes de complétion vidéo ne modélisent pas explicitement les effets secondaires des objets, ce qui produit des résultats de suppression peu naturels. Les [méthodes] existantes de suppression d’objets dans les vidéos ne modélisent pas les corrélations spatiales et temporelles entre l’objet et ses effets secondaires. Elles produisent donc souvent des artefacts et des traces résiduelles des objets supprimés.

‘Dans l’ensemble, EffectErase atteint des performances de pointe sur tous les jeux de données et toutes les métriques d’évaluation. Il obtient les meilleurs scores pour la métrique de qualité vidéo FVD, ce qui démontre une fluidité et une cohérence temporelles supérieures des vidéos générées.

‘Notre méthode obtient aussi le meilleur QScore et les meilleures évaluations des utilisateurs. Cela démontre davantage son efficacité pour produire des résultats de suppression visuellement convaincants.’

Pour l’évaluation qualitative, l’article fournit les résultats fixes présentés directement ci-dessous. Les résultats animés sont disponibles sur le site du projet et dans la présentation vidéo YouTube :

Comparaison qualitative sur VOR-Eval dans les cas d’occlusion, d’ombre, d’éclairage, de reflet et de déformation. Les méthodes de complétion peinent à supprimer les effets hors du masque, tandis que les modèles de suppression laissent souvent des artefacts visibles. EffectErase supprime plus proprement les objets visés et leurs effets associés. Consultez l’article original pour une meilleure résolution et le site du projet pour des exemples vidéo.

Nous renvoyons également le lecteur aux divers exemples associés sur le site du projet, dont un aperçu figure ci-dessous, ainsi qu’à la vidéo YouTube officielle intégrée à la fin de cet article :

Cliquez pour lancer la lecture. Un exemple de comparaison tiré du site du projet EffectErase. Consultez ce site pour une meilleure résolution, en tenant compte des avertissements précédents, et pour d’autres exemples.

Les auteurs commentent :

‘Les [méthodes] de complétion vidéo produisent souvent des artefacts dans les zones masquées et ne suppriment pas entièrement les effets secondaires causés par les objets retirés. Les approches antérieures, comme [ROSE] et [MinMax-Remover], suppriment bien les objets visés, mais peinent encore à traiter leurs effets secondaires, notamment dans les situations d’occlusion, d’ombre, d’éclairage, de reflet et de déformation.

‘À l’inverse, EffectErase supprime efficacement les objets visés et leurs effets associés, produisant des résultats propres, cohérents et de haute qualité.’

Enfin, les chercheurs observent que leur méthode peut aussi être adaptée à l’insertion plutôt qu’à la suppression, sans entraînement supplémentaire :

Résultats d’insertion d’objets dans des vidéos. EffectErase insère des objets en préservant le contenu de l’arrière-plan et en générant des effets dus aux objets, tels que des ombres et des reflets, cohérents d’une image à l’autre.

Les résultats vidéo de l’insertion sont visibles dans les exemples de la vidéo YouTube au moment correspondant. Cette vidéo est également intégrée, sans repère temporel, à la fin de l’article.

Conclusion

Un examen des projets similaires dans la littérature montre que beaucoup espèrent encore voir les modèles VFX généralistes intégrer cette fonction à une « boîte à outils » conçue pour divers effets, plutôt que pour cette seule tâche.

Toutefois, compte tenu des limites d’un outil qui essaie de tout faire, il semble raisonnable de supposer que des systèmes spécialisés comme EffectErase conserveront un avantage dans cette fonction sur des approches plus générales. Reste que l’écart pourrait finir par se réduire au point de ne plus justifier l’effort supplémentaire nécessaire à l’entraînement d’un modèle distinct.

* Face aux préoccupations croissantes sur la provenance de la propriété intellectuelle, on espérerait que toutes ces sources soient citées. Mais si les ressources disponibles du nouveau travail indiquent l’origine des modèles 3D, je n’ai pas pu trouver cette référence.

^† La référence fournie semble être un texte explicatif général de 2013, sans préciser le VAE utilisé.

^†† Cette description, tirée de l’article, est sémantiquement ambiguë : l’ajustement fin et LoRA sont des processus différents, aux exigences très différentes.

Première publication le samedi 21 mars 2026