Séparation des ‘humains fusionnés’ dans la vision par ordinateur

Un nouveau document du centre d’innovation du groupe Hyundai Motor à Singapour propose une méthode pour séparer les ‘humains fusionnés’ dans la vision par ordinateur – ces cas où le cadre de reconnaissance d’objets a trouvé un humain qui est de quelque manière ‘trop proche’ d’un autre humain (comme des actions ‘d’étreinte’ ou des poses ‘debout derrière’), et est incapable de démêler les deux personnes représentées, les confondant pour une seule personne ou entité.

Deux deviennent un, mais ce n’est pas une bonne chose dans la segmentation sémantique. Ici, nous voyons le nouveau système du document atteindre des résultats de pointe sur l’individuation de personnes entremêlées dans des images complexes et difficiles. Source: https://arxiv.org/pdf/2210.03686.pdf

Ceci est un problème notable qui a reçu beaucoup d’attention dans la communauté de recherche ces dernières années. Résoudre ce problème sans les coûts évidents mais généralement inabordables de l’étiquetage personnalisé à grande échelle pourrait éventuellement permettre des améliorations dans l’individuation humaine dans les systèmes texte-image tels que Stable Diffusion, qui fondent souvent les personnes ensemble lorsque une pose demandée nécessite plusieurs personnes à proximité les unes des autres.

Embrassez l’horreur – les modèles texte-image tels que DALL-E 2 et Stable Diffusion (tous deux présentés ci-dessus) ont du mal à représenter les personnes très proches les unes des autres.

Bien que les modèles génératifs tels que DALL-E 2 et Stable Diffusion n’utilisent pas (à la connaissance de tous, dans le cas de DALL-E 2 fermé) actuellement la segmentation sémantique ou la reconnaissance d’objets, ces horribles portemanteaux humains ne pourraient pas actuellement être guéris en appliquant de telles méthodes en amont – car l’état de l’art des bibliothèques et des ressources de reconnaissance d’objets n’est pas beaucoup mieux à démêler les personnes que les flux de travail basés sur CLIP des modèles de diffusion latente.

Pour résoudre ce problème, le nouveau document – intitulé Les humains n’ont pas besoin d’étiqueter plus d’humains: Occlusion Copy & Paste pour la segmentation d’instances humaines occluses– adapte et améliore une approche récente de ‘couper et coller’ pour les données semi-synthétiques pour atteindre un nouveau leadership en matière de résultats, même contre les sources les plus difficiles:

La nouvelle méthodologie Occlusion Copy & Paste mène actuellement le domaine, même contre les précédents cadres et approches qui abordent le défi de manière élaborée et plus dédiée, comme la modélisation spécifique de l’occlusion.

Coupez cela!

La méthode modifiée – intitulée Occlusion Copy & Paste – est dérivée du document Simple Copy-Paste de 2021, dirigé par Google Research, qui suggérait que la superposition d’objets et de personnes extraits parmi des images de formation diverses pourrait améliorer la capacité d’un système de reconnaissance d’images à discrétiser chaque instance trouvée dans une image:

À partir du document de recherche de Google de 2021 ‘Simple Copy-Paste est une méthode de renforcement de données forte pour la segmentation d’instances’, nous voyons des éléments d’une photo ‘migrer’ vers d’autres photos, avec l’objectif de former un modèle de reconnaissance d’images meilleur et plus acuitif. Source: https://arxiv.org/pdf/2012.07177.pdf

La nouvelle version ajoute des limitations et des paramètres à cette ‘recollage’ automatisé et algorithmique, en analogisant le processus dans un ‘panier’ d’images plein de candidats potentiels pour ‘transférer’ à d’autres images, en fonction de plusieurs facteurs clés.

Le flux de travail conceptuel pour OC&P.

Contrôler les éléments

Ces facteurs limitatifs incluent la probabilité d’une copie et d’un collage, qui garantit que le processus ne se produit pas tout le temps, ce qui aurait un effet de ‘saturité’ qui minerait la augmentation de données; le nombre d’images que le panier aura à un moment donné, où un plus grand nombre de ‘segments’ peut améliorer la variété des instances, mais augmenter le temps de prétraitement; et la plage, qui détermine le nombre d’images qui seront collées dans une image ‘hôte’.

En ce qui concerne ce dernier point, le document note ‘Nous avons besoin de suffisamment d’occlusion pour se produire, mais pas trop, car elles peuvent encombrer l’image, ce qui pourrait être préjudiciable à l’apprentissage.’

Les deux autres innovations pour OC&P sont le collage ciblé et le collage d’instances augmenté.

Le collage ciblé garantit qu’une image appropriée atterrit près d’une instance existante dans l’image cible. Dans l’approche précédente, à partir du travail précédent, le nouvel élément n’était contraint que dans les limites de l’image, sans considération de contexte.

Bien que ce ‘collage’, avec un collage ciblé, soit évident pour l’œil humain, OC&P et son prédécesseur ont constaté que l’authenticité visuelle accrue n’est pas nécessairement importante et pourrait même être un inconvénient (voir ‘La réalité mord’ ci-dessous).

Le collage d’instances augmenté, en revanche, garantit que les instances collées ne présentent pas un ‘aspect distinctif’ qui pourrait être classé par le système d’une manière qui pourrait conduire à une exclusion ou à un ‘traitement spécial’ qui pourrait entraver la généralisation et l’applicabilité. Le collage augmenté module des facteurs visuels tels que la luminosité et la netteté, la mise à l’échelle et la rotation, et la saturation – entre autres facteurs.

À partir des matériaux supplémentaires du nouveau document: ajouter OC&P à des cadres de reconnaissance existants est assez trivial et donne lieu à une meilleure individuation des personnes dans des espaces très proches. Source: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

En outre, OC&P régule une taille minimale pour toute instance collée. Par exemple, il peut être possible d’extraire une image d’une personne d’une scène de foule massive, qui pourrait être collée dans une autre image – mais dans un tel cas, le petit nombre de pixels impliqués ne contribuerait probablement pas à la reconnaissance. Par conséquent, le système applique une échelle minimale basée sur le rapport de longueur de côté égalisée pour l’image cible.

De plus, OC&P institue un collage à l’échelle, où, en plus de rechercher des sujets similaires à l’objet de collage, il tient compte de la taille des boîtes de délimitation dans l’image cible. Cependant, cela ne conduit pas à des images composites que les gens considéreraient comme plausibles ou réalistes (voir image ci-dessous), mais assemble des éléments sémantiquement appropriés près les uns des autres de manière utile pendant la formation.

La réalité mord

Les deux travaux, le précédent et l’actuel, accordent une faible priorité à l’authenticité, ou à la ‘photoréalisme’ de toute image finale ‘montage’. Bien qu’il soit important que l’assemblage final ne descende pas entièrement dans le dadaïsme (sinon les déploiements réels des systèmes formés pourraient jamais espérer rencontrer des éléments dans de telles scènes telles qu’ils ont été formés), les deux initiatives ont constaté qu’une augmentation notable de ‘crédibilité visuelle’ non seulement ajoute du temps de prétraitement, mais que de telles ‘améliorations de réalisme’ sont susceptibles d’être contre-productives.

À partir du matériel supplémentaire du nouveau document: exemples d’images augmentées avec ‘mélange aléatoire’. Bien que ces scènes puissent sembler hallucinogènes à une personne, elles ont néanmoins des sujets similaires réunis; bien que les occlusions soient fantastiques pour l’œil humain, la nature d’une occlusion potentielle ne peut pas être connue à l’avance et est impossible à former – donc, de telles coupures bizarres de forme sont suffisantes pour forcer le système formé à rechercher et à reconnaître des sujets cibles partiels, sans avoir besoin de développer des méthodologies élaborées de type Photoshop pour rendre les scènes plus plausibles.

Données et tests

Pour la phase de test, le système a été formé sur la classe personne du jeu de données MS COCO, présentant 262 465 exemples d’humains sur 64 115 images. Cependant, pour obtenir de meilleures masques que MS COCO, les images ont également reçu des annotations de masque LVIS.

Publié en 2019, LVIS, de la recherche Facebook, est un vaste jeu de données pour la segmentation d’instances à grand vocabulaire. Source: https://arxiv.org/pdf/1908.03195.pdf

Afin d’évaluer comment bien le système augmenté pourrait rivaliser avec un grand nombre d’images humaines occluses, les chercheurs ont opposé OC&P au OCHuman (Occluded Human) benchmark.

Exemples du jeu de données OCHuman, introduit à l’appui du projet de détection Pose2Seg en 2018. Cette initiative visait à dériver une meilleure segmentation sémantique des personnes en utilisant leur posture et leur pose comme délimiteur sémantique pour les pixels représentant leurs corps. Source: https://github.com/liruilong940607/OCHumanApi

Puisque le benchmark OCHuman n’est pas annoté de manière exhaustive, les chercheurs du nouveau document ont créé un sous-ensemble de seuls exemples entièrement étiquetés, intitulé OCHuman^FL. Cela a réduit le nombre d’instances personne à 2 240 sur 1 113 images pour la validation, et 1 923 instances sur 951 images réellement utilisées pour les tests. Les deux ensembles originaux et nouvellement créés ont été testés, en utilisant la précision moyenne (mAP) comme métrique principale.

Pour la cohérence, l’architecture a été formée de Mask R-CNN avec un réseau ResNet-50 et un réseau de pyramide de fonction, ce dernier fournissant un compromis acceptable entre précision et vitesse de formation.

Avec les chercheurs ayant noté l’effet délétère de l’influence en amont d’ImageNet dans des situations similaires, l’ensemble du système a été formé à partir de zéro sur 4 GPU NVIDIA V100, pendant 75 époques, en suivant les paramètres d’initialisation de la version 2021 de Facebook Detectron 2.

Résultats

En plus des résultats mentionnés ci-dessus, les résultats de base contre MMDetection (et ses trois modèles associés) pour les tests ont indiqué une nette avance pour OC&P dans sa capacité à repérer des êtres humains à partir de poses enchevêtrées.

Outre le fait de surpasser PoSeg et Pose2Seg, l’une des réalisations les plus remarquables du document est que le système peut être appliqué de manière générique à des cadres existants, y compris ceux qui ont été opposés à lui lors des essais (voir les comparaisons avec/sans dans la première boîte de résultats, près du début de l’article).

Le document conclut:

‘Un avantage clé de notre approche est qu’elle peut être appliquée avec n’importe quel modèle ou amélioration axée sur le modèle. Étant donné la vitesse à laquelle le domaine de l’apprentissage profond évolue, il est dans l’intérêt de tous d’avoir des approches qui sont hautement interopérables avec tous les autres aspects de la formation. Nous laissons comme travail futur à intégrer cela avec des améliorations axées sur le modèle pour résoudre efficacement la segmentation d’instances de personnes occluses.’

Potentiel d’amélioration de la synthèse texte-image

L’auteur principal Evan Ling a observé, dans un e-mail à nous*, que le principal avantage d’OC&P est qu’il peut conserver les étiquettes de masque d’origine et en obtenir de nouvelles dans un contexte nouveau – c’est-à-dire les images dans lesquelles ils ont été collés.

Bien que la segmentation sémantique des humains semble étroitement liée à la difficulté que les modèles tels que Stable Diffusion ont à individuer les personnes (plutôt que de les ‘fusionner’), toute influence que la culture d’étiquetage sémantique pourrait avoir sur les rendus humains cauchemardesques que SD et DALL-E 2 produisent souvent est très en amont.

Les milliards d’images du sous-ensemble LAION 5B qui peuplent la puissance générative de Stable Diffusion ne contiennent pas d’étiquettes d’objets telles que des boîtes de délimitation et des masques d’instances, même si l’architecture CLIP qui compose les rendus à partir d’images et de contenu de base de données peut avoir bénéficié à un moment donné de telles instances; plutôt, les images LAION sont étiquetées ‘gratuitement’, puisque leurs étiquettes ont été dérivées de métadonnées et de légendes environnementales, etc., qui ont été associées aux images lorsqu’elles ont été scrapées sur le Web dans le jeu de données.

‘Mais à part cela,’ Ling nous a dit. ‘une sorte d’augmentation similaire à notre OC&P peut être utilisée pendant la formation du modèle génératif texte-image. Mais je pense que la réalisme de l’image de formation augmentée peut devenir un problème.

‘Dans notre travail, nous montrons que le ‘réalisme parfait’ n’est généralement pas requis pour la segmentation d’instances supervisée, mais je ne suis pas sûr que la même conclusion puisse être tirée pour la formation du modèle génératif texte-image (en particulier lorsque leurs sorties sont censées être très réalistes). Dans ce cas, plus de travail peut être nécessaire pour ‘parfaire’ le réalisme des images augmentées.’

CLIP est déjà utilisé comme un outil multimodal possible pour la segmentation sémantique, suggérant que des systèmes d’individuation et de reconnaissance améliorés tels que OC&P pourraient éventuellement être développés en filtres ou en classificateurs internes qui rejetteraient arbitrairement les représentations humaines ‘fusionnées’ et déformées – une tâche qui est actuellement difficile à accomplir avec Stable Diffusion, car il a une capacité limitée à comprendre où il a erré (s’il avait une telle capacité, il n’aurait probablement pas fait l’erreur en premier lieu).

Juste l’un des nombreux projets actuellement utilisant le cadre CLIP d’OpenAI – au cœur de DALL-E 2 et de Stable Diffusion – pour la segmentation sémantique. Source: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Une autre question serait,’ suggère Ling. ‘est-ce que simplement alimenter ces modèles génératifs avec des images d’humains occlusifs pendant la formation fonctionnera, sans conception complémentaire d’architecture de modèle pour atténuer le problème de la ‘fusion d’humains’? C’est probablement une question difficile à répondre immédiatement. Il sera certainement intéressant de voir comment nous pouvons intégrer une sorte de guidage au niveau de l’instance (via des étiquettes au niveau de l’instance comme le masque d’instance) pendant la formation du modèle génératif texte-image.’

* 10 octobre 2022

Publié pour la première fois le 10 octobre 2022.