La mise en page d’images par intelligence artificielle qui comprend les scènes

Dans le documentaire supplémentaire qui accompagne la sortie du DVD de Alien³ (1992) en 2003, la légende des effets visuels Richard Edlund a rappelé avec horreur le « sumo wrestling » de l’extraction de matte photochimique qui a dominé le travail d’effets visuels entre la fin des années 1930 et la fin des années 1980. Edlund a décrit la nature hasardeuse du processus comme du « sumo wrestling », en comparaison avec les techniques numériques de fond vert ou bleu qui ont pris le relais au début des années 1990 (et il est retourné à la métaphore depuis).

Extraire un élément de premier plan (comme une personne ou un modèle de vaisseau spatial) d’un arrière-plan, afin que l’image découpée puisse être composée dans une plaque d’arrière-plan, a été réalisé à l’origine en filmant l’objet de premier plan contre un fond uniformément bleu ou vert.

Processus d’extraction photochimique laborieux pour un plan d’effets visuels d’ILM pour ‘Le Retour du Jedi’ (1983). Source: https://www.youtube.com/watch?v=qwMLOjqPmbQ

Dans les images résultantes, la couleur de l’arrière-plan serait ensuite isolée chimiquement et utilisée comme modèle pour réimprimer l’objet de premier plan (ou la personne) dans une imprimante optique en tant qu’objet « flottant » dans une cellule de film transparente.

Le processus s’appelait superposition de séparation de couleurs (CSO) – bien que ce terme soit finalement devenu plus associé aux effets de vidéo grossiers ‘Chromakey’ dans les émissions de télévision à faible budget des années 1970 et années 1980, qui ont été réalisés avec des moyens analogiques plutôt que chimiques ou numériques.

Une démonstration de la superposition de séparation de couleurs en 1970 pour l’émission de télévision britannique pour enfants ‘Blue Peter’. Source: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

Dans tous les cas, que ce soit pour les éléments de film ou de vidéo, l’image extraite pouvait ensuite être insérée dans n’importe quelle autre image.

Bien que le processus de sodium-vapour de Disney, plus coûteux et propriétaire, sodium-vapour (qui a utilisé le jaune, en particulier, et a également été utilisé pour le film d’horreur d’Alfred Hitchcock de 1963 The Birds) a donné une meilleure définition et des masques plus nets, l’extraction photochimique est restée fastidieuse et peu fiable.

Le processus de sodium-vapour de Disney nécessitait des arrière-plans proches de l’extrémité jaune du spectre. Ici, Angela Lansbury est suspendue à des câbles pendant la production d’une séquence d’effets visuels pour ‘Bedknobs and Broomsticks’ (1971). Source

Au-delà de la mise en page numérique

Dans les années 1990, la révolution numérique a éliminé les produits chimiques, mais pas le besoin d’écrans verts. Il était maintenant possible de supprimer le fond vert (ou n’importe quelle couleur) simplement en recherchant les pixels dans une plage de tolérance de cette couleur, dans des logiciels d’édition d’images tels que Photoshop, et une nouvelle génération de suites de composition vidéo qui pouvaient automatiquement supprimer les fonds colorés. Presque du jour au lendemain, soixante ans de l’industrie d’impression optique ont été relégués à l’histoire.

Les dix dernières années de recherche en vision par ordinateur accélérée par GPU sont en train d’amener l’extraction de masque dans une troisième ère, en chargeant les chercheurs de développer des systèmes qui peuvent extraire des masques de haute qualité sans avoir besoin d’écrans verts. Sur Arxiv seul, les articles liés aux innovations dans l’extraction de premier plan basée sur l’apprentissage automatique sont une caractéristique hebdomadaire.

Mettre les gens dans l’image

Ce foyer d’intérêt académique et industriel pour l’extraction par IA a déjà eu un impact sur l’espace consommateur: des mises en œuvre grossières mais fonctionnelles sont familières à nous sous la forme de Zoom et Skype qui peuvent remplacer nos arrière-plans de salon par des îles tropicales, etc., lors d’appels de conférence vidéo.

Cependant, les meilleurs masques nécessitent encore un écran vert, comme Zoom l’a noté la semaine dernière.

À gauche, un homme devant un écran vert, avec des cheveux bien extraits via la fonction d’arrière-plan virtuel de Zoom. À droite, une femme devant une scène domestique normale, avec des cheveux extraits algorithmiquement, moins précisément, et avec des exigences de calcul plus élevées. Source: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Un article supplémentaire de la plate-forme de support Zoom avertit que l’extraction sans écran vert nécessite également une plus grande puissance de calcul dans le périphérique de capture.

Le besoin de découper

Les améliorations de la qualité, de la portabilité et de l’économie des ressources pour les systèmes de masque « dans la nature » (c’est-à-dire isoler les personnes sans avoir besoin d’écrans verts) sont pertinentes pour de nombreux autres secteurs et poursuites que la seule vidéoconférence.

Pour le développement de jeux de données, une reconnaissance faciale, de tête et de corps améliorée offre la possibilité de s’assurer que les éléments d’arrière-plan extraneous ne sont pas formés dans les modèles de vision par ordinateur des sujets humains; une isolation plus précise améliorerait considérablement les techniques de segmentation sémantique conçues pour distinguer et assimiler des domaines (c’est-à-dire ‘chat’, ‘personne’, ‘bateau’), et améliorer les systèmes de VAE et transformateur basés sur la synthèse d’images, tels que le nouveau DALL-E 2 d’OpenAI; et de meilleures algorithmes d’extraction réduiraient le besoin de roto-scoping manuel coûteux dans les pipelines d’effets visuels.

Mise en page d’IA sensible à la scène

Une grande partie de la recherche sur la mise en page automatique basée sur l’IA s’est concentrée sur la reconnaissance des limites et l’évaluation des regroupements de pixels à l’intérieur d’une image ou d’un cadre de vidéo. Cependant, de nouvelles recherches en Chine offrent un pipeline d’extraction qui améliore la délimitation et la qualité du masque en exploitant les descriptions textuelles d’une scène (une approche multimodale qui a gagné en popularité dans le secteur de la recherche en vision par ordinateur au cours des 3-4 dernières années), prétendant avoir amélioré les méthodes antérieures de plusieurs manières.

Un exemple d’extraction SPG-IM (dernière image, en bas à droite), comparé aux méthodes antérieures. Source: https://arxiv.org/pdf/2204.09276.pdf

Le défi posé au sous-secteur de la recherche sur l’extraction est de produire des flux de travail qui nécessitent un minimum d’annotation manuelle et d’intervention humaine – idéalement, aucun. Outre les implications de coût, les chercheurs de la nouvelle étude observent que les annotations et les segmentations manuelles effectuées par des travailleurs de foule externalisés dans diverses cultures peuvent entraîner des images étiquetées ou même segmentées de différentes manières, conduisant à des algorithmes incohérents et insatisfaisants.

Un exemple de ceci est l’interprétation subjective de ce qui définit un « objet de premier plan »:

À partir de la nouvelle étude: les méthodes antérieures LFM et MODNet (‘GT’ signifie Ground Truth, un résultat ‘idéal’ souvent obtenu manuellement ou par des méthodes non algorithmiques), ont des prises différentes et variées sur la définition du contenu de premier plan, tandis que la nouvelle méthode SPG-IM délimite plus efficacement le ‘contenu proche’ à travers le contexte de la scène.

Pour répondre à cela, les chercheurs ont développé un pipeline en deux étapes intitulé Situational Perception Guided Image Matting (SPG-IM). L’architecture à deux étages comprend la distillation de perception situationnelle (SPD) et la mise en page guidée par la perception situationnelle (SPGM).

L’architecture SPG-IM.

Tout d’abord, la SPD effectue une pré-formation de transformations de fonctionnalités visuelles en texte, en générant des légendes appropriées à leurs images associées. Après cela, la prédiction de masque de premier plan est activée en connectant le pipeline à une nouvelle technique de prédiction de saillance.

Ensuite, la SPGM produit un masque alpha estimé en fonction de l’image RGB brute et du masque généré dans le premier module.

L’objectif est une guidance de perception situationnelle, dans laquelle le système a une compréhension contextuelle de ce que consiste l’image, ce qui lui permet de cadrer – par exemple – le défi de l’extraction de cheveux complexes d’un arrière-plan contre des caractéristiques connues d’une tâche spécifique.

Dans l’exemple ci-dessous, SPG-IM comprend que les cordes sont intrinsèques à un ‘parachute’, où MODNet échoue à retenir et à définir ces détails. De même, ci-dessus, la structure complète de l’appareil de jeu est perdue de manière arbitraire dans MODNet.

Le nouveau document s’intitule Situational Perception Guided Image Matting et provient de chercheurs de l’Institut de recherche OPPO, de PicUp.ai et de Xmotors.

Masques automatisés intelligents

SPG-IM propose également un réseau de raffinement de transformation de focalisation adaptative (AFT) qui peut traiter les détails locaux et le contexte global séparément, facilitant les « masques intelligents ».

Comprendre le contexte de la scène, dans ce cas ‘fille avec cheval’, peut potentiellement rendre l’extraction de premier plan plus facile que les méthodes antérieures.

Le document indique:

‘Nous croyons que les représentations visuelles issues de la tâche visuelle-textuelle, par exemple la description d’images, se concentrent sur des signaux plus complets sur le plan sémantique entre a) objet à objet et b) objet à environnement pour générer des descriptions qui peuvent couvrir à la fois les informations globales et les détails locaux. De plus, par rapport à l’étiquetage de pixels coûteux de la mise en page d’images, les étiquettes textuelles peuvent être collectées de manière massive à un coût très faible.’

Le document indique également:

‘Notre SPG-IM surpasse tous les méthodes sans trimap concurrentes ([LFM], [HAttMatting] et [MODNet]) d’une grande marge. Pendant ce temps, notre modèle montre également une supériorité remarquable sur les méthodes basées sur trimap et les méthodes guidées par masque de pointe dans tous les quatre métriques sur les jeux de données publics (c’est-à-dire Composition-1K, Distinction-646 et Human-2K), et notre référence Multi-Object-1K.’

Et continue:

‘Il peut être clairement observé que notre méthode préserve les détails fins (par exemple, les sites de pointe des cheveux, les textures transparentes et les limites) sans la guidance de trimap. De plus, par rapport aux autres méthodes sans trimap concurrentes, notre SPG-IM peut conserver une meilleure complétude sémantique globale.’

Publié pour la première fois le 24 avril 2022.