Amélioration de la suppression de l’arrière-plan de l’IA sans coûteuse annotation humaine

De nouvelles recherches montrent que l’IA peut nettoyer les personnes des vidéos sans étiquetage humain coûteux, améliorant ainsi la qualité et la stabilité

La plupart d’entre nous ont déjà vécu l’expérience d’être « coupés » d’un arrière-plan grâce à des filtres simples d’altération ou d’occultation de l’arrière-plan sur les plateformes de visioconférence – et nous avons peut-être remarqué les limites de tels systèmes, qui sont formés sur les types de cas les plus fréquents susceptibles d’être trouvés dans une conférence vidéo, et qui ne sont généralement pas robustes face à des éléments « inattendus » – ou même à des objets prévisibles, tels que les doigts:

Un exemple typique d’un système d’extraction de premier plan formé par l’IA qui coupe trop du sujet source. Source

La solution la plus simple, et qui gagne en popularité face aux modèles de vision et de langage (VLM) qui ne sont pas spécifiquement formés pour de telles tâches, est de fine-tuner un modèle existant sur des données susceptibles d’être rencontrées par le système:

Deux jeux de données de grande qualité et extrêmement annotés sous-tendent les solutions proposées dans l’article de 2020 intitulé ‘Real-Time High-Resolution Background Matting’. Source

Cependant, de telles données doivent être annotées, à un certain coût et à un certain coût en temps, par des humains; et dans tous les cas, cela donne lieu à un outil très spécifique et non généralisé qui coûte beaucoup d’argent et ne peut généralement pas être utilisé pour une grande variété de tâches.

Néanmoins, développer des modèles « ciblés » de ce type est actuellement le moyen le plus court pour obtenir une inférence efficace dans divers domaines, et pas seulement dans la matrice de vidéo et d’image (c’est-à-dire la suppression de l’arrière-plan et la matrice de premier plan). À ce jour, la plupart des solutions non supervisées proposées ont plus ou moins simplement déplacé le problème.

Même maintenant, malgré la prolifération de filtres améliorés par l’IA sur des plateformes telles que Zoom, cette dernière recommande toujours un écran vert comme solution optimale pour la suppression de l’arrière-plan – une solution lourde et un peu « professionnelle » qui rendrait peut-être la plupart d’entre nous un peu gênés.

Coupez-le!

Récemment, l’intérêt a grandi pour l’utilisation de la famille Segment Anything (SAM) pour fournir une extraction automatisée et fine. Puisque SAM a été développé pour aider l’annotation plutôt que pour fournir des contours nets acceptables dans un pipeline d’effets visuels, ses limites par défaut ne sont pas adaptées pour relever le défi, sans aide:

Cliquez pour jouer, si nécessaire. Un exemple des contours rugueux créés par un modèle Segment Anything – idéal pour l’annotation, mais pas suffisamment bon pour le drop-out VFX. Source 

Une offre récente de Chine a proposé un moyen plus sophistiqué d’utiliser les modèles SAM pour obtenir des processus d’extraction supérieurs – en mariant un suiveur fondamental tel que SAM à un pont de proposition de région avec des têtes de matting dédiées. De cette façon, le système est capable d’affiner les détails des bords de manière itérative et de résoudre des bords difficiles, tels que les cheveux en mouvement:

Cliquez pour jouer, si nécessaire. À partir du site annexé qui soutient le nouvel article, un mélange de vidéos supplémentaires, démontrant la sophistication de la méthode des auteurs pour l’extraction. Source 

De manière cruciale, le nouveau système composite ne s’entraîne que sur des images, et non sur des vidéos, et ne nécessite aucune annotation humaine supplémentaire – l’obstacle traditionnel contre les progrès dans ce domaine, et dans divers autres domaines de l’IA.

Exemples de matting d’image et de vidéo fine obtenus avec la nouvelle méthode, avec des cas difficiles tels que les cheveux, la transparence et le mouvement présentés aux côtés de séquences in situ, où la méthode produit – selon les auteurs – des résultats plus propres et plus stables que les approches précédentes. Source

Avec trois modèles expérimentaux produits pour le travail, les auteurs affirment une nouvelle performance de pointe dans cette tâche, tout en conservant les capacités de généralisation plus élevées du modèle de base, ce qui signifie que la méthode produit un modèle polyvalent avec des capacités supplémentaires, plutôt qu’un outil cloisonné ciblé sur une seule tâche.

Les auteurs déclarent:

‘Des expériences complètes montrent que SAM2Matting atteint des performances de pointe (SOTA) sur le matting d’image et de vidéo, avec le matting de vidéo évalué de manière strictement zéro-partie.

‘Des résultats in situ étendus démontrent en outre sa forte généralisation aux scénarios du monde ouvert avec mouvement rapide, arrière-plans complexes et attaches d’objets (par exemple, un homme chevauchant un vélo).

‘De plus, nos composants de matting sont légers et efficaces, permettant à la variante SAM2.1-Tiny de fonctionner à 40 FPS sur une vidéo 1080p de 200 cadres en utilisant moins de 5 Go de mémoire GPU.’

L’nouvel article est intitulé SAM2Matting: Matting d’image et de vidéo généralisé, et provient de quatre auteurs issus de l’Université Fudan et de l’Université de finance et d’économie de Shanghai. Le travail a un référentiel GitHub, qui, au moment de la rédaction, a publié des points de contrôle de différentes variantes, du code d’inférence et d’une démo interactive, avec une publication du code d’entraînement promise. De plus, il existe un site de projet.

Méthode

La méthode des auteurs sépare le suivi de l’extraction de détails fins en utilisant un suiveur de segmentation d’objet vidéo (VOS) pour produire un masque grossier temporellement cohérent pour chaque trame, tandis qu’un pipeline de matting dédié affine les limites:

Vue d’ensemble du pipeline, où une invite flexible et une alimentation vidéo sont introduites dans un suiveur de segmentation d’objet vidéo pour produire un masque grossier, qui est affiné par un détecteur de région d’intérêt (ROI) et converti en une trimap avant qu’un prédicteur multi-échelle progressif ne génère la matrice finale à haute définition.

Un détecteur de région d’intérêt (ROI) identifie ensuite les régions avec des détails fins ou une semi-transparence, les convertissant en une trimap (un masque à trois régions divisant les zones avant-plan, arrière-plan et incertaines) qui guide l’affinement, après quoi un prédicteur alpha progressif génère la matrice finale à travers une cascade grossière à fine à plusieurs échelles

Les systèmes de matting classiques dérivent généralement les régions d’intérêt en utilisant des opérations morphologiques simples, ou en réutilisant directement le masque – des approches qui peuvent soit négliger les détails fins, soit inclure des zones qui ne nécessitent pas d’affinement:

Comparaison du traitement basé sur masque standard avec des trimaps de vérité terrain, montrant comment les opérations morphologiques simples produisent des limites grossières et uniformes qui manquent de structures fines telles que les cheveux et la transparence, entraînant une perte de détails dans la matrice finale.

Intérêt composé

Inversement, le détecteur de région d’intérêt proposé traite cette étape comme une tâche de classification pixel par pixel (c’est-à-dire en traitant chaque pixel individuel de l’image comme une décision distincte, et en lui attribuant une étiquette en fonction de son appartenance à une région critique de matting ou non) qui intègre le masque VOS, la trame actuelle et les caractéristiques d’image multi-échelles, pour isoler plus précisément les régions critiques de matting.

Dans la nouvelle approche, la ROI prédite est d’abord convertie en une pseudo-trimap qui sépare l’avant-plan et l’arrière-plan définitifs des régions incertaines, en utilisant le masque du suiveur pour attribuer des zones connues tout en marquant la ROI comme ambiguë, de sorte que le traitement ultérieur peut se concentrer explicitement sur les limites où les détails doivent être résolus.

L’affinement est ensuite traité par un prédicteur alpha progressif qui traite le matting comme un processus progressif, en passant les résultats intermédiaires des échelles grossières aux échelles plus fines, chaque étape utilisant l’image, la trimap et l’estimation précédente pour affiner progressivement la structure et récupérer les détails fins.

À l’étape finale, la sortie à la résolution la plus élevée est suréchantillonnée pour produire la matrice complète, permettant aux formes générales d’être établies tôt tandis que les éléments plus fins tels que les cheveux et la transparence sont résolus dans les passes ultérieures.

Pendant l’entraînement, les auteurs ont gelé le suiveur VOS, tout en entraînant seulement les composants de matting sur des données d’image de haute qualité – permettant ainsi aux détails fins d’être affinés sans dégrader la cohérence du suivi. La supervision a été appliquée par trame, avec des régions d’intérêt dérivées de la matrice alpha de vérité terrain, et utilisées pour guider l’apprentissage, tandis que le détecteur de ROI a été entraîné avec des pertes conçues pour encourager une classification de limite précise, et réduire les artefacts dentelés.

Pour l’estimation alpha, des pertes ont été appliquées à plusieurs échelles pour améliorer progressivement les détails, ainsi qu’une contrainte supplémentaire destinée à maintenir la matrice prédite alignée sur le masque d’origine – aidant ainsi à préserver la structure, et à éviter les régions creuses ou brisées dans la sortie finale.

Données et tests

Huit jeux de données de matting d’image ont été utilisés initialement pour les essais: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; et RefMatte; et trois variantes de l’approche ‘Sam2Matting’ ont été développées en tant que suiveurs VOS, respectivement en utilisant SAM2.1-Tiny; SAM2.1-Base+; et le concept centré SAM3.

Le composant suiveur a été gelé, avec uniquement les composants de matting optimisés. Toutes les versions ont été formées pendant cinq époques sur quatre NVIDIA A6000 GPUs, chacune avec une allocation de VRAM de 48 Go. Une taille de lot de 32 a été utilisée, sous l’optimiseur AdamW. Les métriques utilisées étaient Différence absolue moyenne (MAD); Erreur quadratique moyenne (MSE); Gradient (Grad); Connectivité (Conn); et dtSSD (uniquement pour le matting de vidéo).

Tests quantitatifs

Les auteurs ont commencé par des tests quantitatifs du nouveau système sur le matting d’image, en utilisant les références P3M-500-NP; AM-2K (‘GFM’ dans les résultats); MAM (‘Matte Anything’, dans les résultats); E2E-HIM; Lightweight; et PPM-100 (‘MODNet’, dans les résultats):

Résultats quantitatifs sur les références de matting d’image à travers P3M-500-NP, AM-2K test, et PPM-100, avec des valeurs plus basses indiquant de meilleures performances sur toutes les métriques, et les meilleurs, deuxièmes et troisièmes résultats mis en évidence en rouge, orange et jaune respectivement. Veuillez vous référer à l’article source pour une meilleure résolution.

Parmi ces résultats, l’article indique:

‘Comme le montre [ci-dessus], les trois variantes de SAM2Matting surpassent constamment les références précédentes sur différentes métriques. Par exemple, la variante SAM2.1-Tiny atteint une différence absolue moyenne (MAD) 11,48 inférieure à MAM sur P3M-500-NP.’

Les auteurs affirment que les résultats dans l’ensemble indiquent que leur approche atteint des résultats supérieurs grâce à la conception conceptuelle de base, et non en raison du niveau de curation des données.

Pour le matting de vidéo, SAM2Matting a été évalué sur V-HIM60 et VideoMatte dans un cadre zéro-partie, contre les systèmes formés sur vidéo MatAnyone2, MatAnyone, MaGGIe, FTP-VM, et RVM, avec des gains constants enregistrés sur les deux partitions moyennes et difficiles.

Sur toutes les références, les trois variantes enregistrent des erreurs plus faibles sur MAD, MSE, Grad, Conn et dtSSD, avec SAM3 atteignant les résultats globaux les plus forts, tandis que les valeurs dtSSD les plus basses indiquent apparemment une cohérence d’image à image plus stable:

Résultats quantitatifs sur les références de matting de vidéo à travers V-HIM60 et VideoMatte, évalués dans un cadre zéro-partie, montrant des erreurs plus faibles sur toutes les métriques, avec les meilleurs, deuxièmes et troisièmes résultats mis en évidence en rouge, orange et jaune respectivement.

Les auteurs soutiennent que ces résultats reflètent la conception déconnectée, où le suiveur VOS préserve la structure temporelle et les modules de matting se concentrent sur les détails des limites, permettant ainsi aux modèles formés sur des images de surpasser les approches de vidéo entièrement supervisées.

Tests qualitatifs

Pour le matting humain dans les tests qualitatifs, les auteurs ont constaté que Sam2Matting surpassait les références concurrentes:

Comparaison qualitative sur le matting de vidéo humain et in situ, où SAM2Matting préserve les cheveux fins et les régions semi-transparentes plus précisément que RVM et MatAnyone, produisant des limites plus propres et moins de structures manquantes dans les zones difficiles.

Comme le montre ci-dessous, les systèmes de matting de vidéo existants tels que MatAnyone2 et MaGGIe, formés sur des ensembles de données spécifiques au domaine et souvent centrés sur les humains, ont du mal à généraliser aux séquences in situ, en particulier lorsqu’ils traitent des sujets en mouvement rapide tels que des racines qui poussent, des papillons semi-transparents et de l’eau qui goutte rapidement:

Comparaison qualitative sur les séquences in situ, où SAM2Matting préserve les structures fines et la cohérence temporelle plus efficacement que MatAnyone2 et MaGGIe, en particulier pour les sujets non humains, le mouvement rapide et les éléments semi-transparents tels que l’eau, le verre et les ailes d’insectes. Veuillez vous référer à l’article source pour une meilleure résolution.

Inversement, SAM2Matting a pu maintenir un suivi stable et extraire les détails fins de manière plus fiable dans ces scénarios difficiles.

Enfin, comme le montre la figure ci-dessous, SAM2Matting a efficacement géré les cibles avec des objets attachés, tels que des personnes chevauchant des vélos ou tenant des bâtons de ski, tout en supprimant les distractions de l’arrière-plan voisines, bénéficiant de la contrainte de cohérence de matrice mentionnée plus tôt.

Comparaison qualitative sur les séquences avec des objets attachés et des distractions de l’arrière-plan, où SAM2Matting préserve les structures telles que les vélos et les bâtons de ski plus précisément que MatAnyone2, tout en supprimant les distractions voisines et en maintenant des silhouettes plus propres à travers les trames.

Conclusion

Les réalisations présentées dans le nouvel article montrent à quel point l’extraction, l’une des tâches les plus anciennes de la vision par ordinateur, reste non résolue et résistante aux approches généralisées. Comme pour de nombreux autres modèles basés sur la vision, le problème est que les algorithmes d’extraction s’accrochent à la connaissance de domaine au lieu de s’adapter facilement à des objets inconnus; cette tâche particulière sollicite les limites les plus extrêmes de la généralisation d’un modèle.

Alors que le nouveau travail constitue un pas en avant par rapport à cette dépendance, il reste encore un long chemin à parcourir, compte tenu de l’ampleur à laquelle cette tâche est intégrée dans notre vie quotidienne, à travers les portails de visioconférence.

Publié pour la première fois lundi 13 juillet 2026