Détecter le contact visuel à partir de la pose du corps avec l’apprentissage automatique

Des chercheurs de France et de Suisse ont développé un système de vision par ordinateur qui peut estimer si une personne regarde directement la caméra d’un système d’IA en fonction uniquement de la façon dont la personne se tient ou se déplace.

Le nouveau cadre utilise des informations très réductives pour faire cette évaluation, sous la forme de points clés sémantiques (voir l’image ci-dessous), plutôt que d’essayer principalement d’analyser la position des yeux dans les images de visages. Cela rend la méthode de détection résultante très légère et agile, par rapport aux architectures de détection d’objets plus intensives en données, telles que YOLO.

Le nouveau cadre évalue si une personne dans la rue regarde le capteur de l’IA, en fonction uniquement de la disposition de son corps. Ici, les personnes mises en évidence en vert sont susceptibles de regarder la caméra, tandis que celles en rouge sont plus susceptibles de regarder ailleurs. Source: https://arxiv.org/pdf/2112.04212.pdf

Même si le travail est motivé par le développement de meilleurs systèmes de sécurité pour les véhicules autonomes, les auteurs de la nouvelle étude concèdent que cela pourrait avoir des applications plus générales dans d’autres industries, en observant ‘même dans les villes intelligentes, la détection du contact visuel peut être utile pour mieux comprendre les comportements des piétons, par exemple, identifier où leurs attentions se portent ou quels panneaux publicitaires ils regardent’.

Pour aider à développer davantage ce système et les systèmes ultérieurs, les chercheurs ont compilé un nouveau et complet jeu de données appelé LOOK, qui aborde directement les défis spécifiques de la détection du contact visuel dans des scénarios arbitraires tels que des scènes de rue perçues à partir de la caméra d’un véhicule autonome, ou des scènes de foule informelle à travers lesquelles un robot peut avoir besoin de naviguer et de céder le passage aux piétons.

Résultats du cadre, avec les ‘regardants’ identifiés en vert.

La recherche est intitulée Les piétons prêtent-ils attention? Détection du contact visuel dans la nature, et provient de quatre chercheurs de l’initiative de recherche Visual Intelligence for Transportation (VITA) en Suisse, et d’un chercheur de l’Université de la Sorbonne.

Architecture

La plupart des travaux antérieurs dans ce domaine se sont concentrés sur l’attention du conducteur, en utilisant l’apprentissage automatique pour analyser la sortie des caméras tournées vers le conducteur, et en s’appuyant sur une vue constante, fixe et rapprochée du conducteur – un luxe qui est peu probablement disponible dans les flux de télévision publique à faible résolution, où les personnes peuvent être trop éloignées pour qu’un système d’analyse de visage puisse résoudre leur disposition des yeux, et où d’autres obstacles (tels que des lunettes de soleil) s’interposent également.

Plus central à l’objectif du projet, les caméras tournées vers l’extérieur des véhicules autonomes ne seront pas nécessairement dans un scénario optimal, ce qui rend les informations de base idéales comme base pour un cadre d’analyse du regard. Les systèmes de véhicules autonomes ont besoin d’une façon très réactive et extrêmement rapide de comprendre si un piéton – qui peut quitter le trottoir pour entrer dans la trajectoire du véhicule – a vu le véhicule autonome. Dans une telle situation, la latence pourrait faire la différence entre la vie et la mort.

L’architecture modulaire développée par les chercheurs prend en entrée une image (généralement) à corps complet d’une personne à partir de laquelle des articulations 2D sont extraites dans une base, une forme squelettique.

L’architecture du nouveau système de détection du contact visuel franco-suisse.

La pose est normalisée pour supprimer les informations sur l’axe Y, pour créer une représentation ‘plate’ de la pose qui la met en parité avec les milliers de poses connues apprises par l’algorithme (qui ont également été ‘aplaties’), et leurs drapeaux/étiquettes binaires associés (c’est-à-dire 0: Ne regarde pas ou 1:Regarde).

La pose est comparée à la connaissance interne de l’algorithme de la façon dont cette posture correspond à des images d’autres piétons qui ont été identifiés comme ‘regardant la caméra’ – annotations faites à l’aide d’outils de navigateur personnalisés développés par les auteurs pour les travailleurs d’Amazon Mechanical Turk qui ont participé au développement du jeu de données LOOK.

Chaque image dans LOOK a été soumise à un examen approfondi par quatre travailleurs d’Amazon Mechanical Turk, et seules les images où trois travailleurs sur quatre ont convenu du résultat ont été incluses dans la collection finale.

Les informations de recadrage, au cœur de beaucoup de travaux antérieurs, sont parmi les indicateurs les moins fiables du regard dans des scénarios urbains arbitraires, et sont incorporées comme un flux de données facultatif dans l’architecture lorsque la qualité de capture et la couverture sont suffisantes pour soutenir une décision sur le fait que la personne regarde la caméra ou non. Dans le cas de personnes très éloignées, ce ne sera pas des données utiles.

Données

Les chercheurs ont dérivé LOOK de plusieurs jeux de données antérieurs qui ne sont pas par défaut adaptés à cette tâche. Les deux seuls jeux de données qui partagent directement l’objectif du projet sont JAAD et PIE, et chacun a des limites.

JAAD est une offre de 2017 de l’Université York à Toronto, contenant 390 000 exemples étiquetés de piétons, y compris des boîtes de délimitation et des annotations de comportement. Parmi ceux-ci, seuls 17 000 sont étiquetés comme Regardant le conducteur (c’est-à-dire la caméra égo). Le jeu de données comporte 346 clips à 30 images par seconde enregistrés à 5-10 secondes de footage de caméra embarquée enregistrée en Amérique du Nord et en Europe. JAAD a un incident élevé de répétitions, et le nombre total de piétons uniques n’est que de 686.

Le PIE plus récent (2019), de l’Université York à Toronto, est similaire à JAAD, dans la mesure où il comporte des footage à 30 images par seconde, cette fois dérivés de six heures de conduite à travers le centre-ville de Toronto, ce qui donne 700 000 piétons annotés et 1 842 piétons uniques, dont seulement 180 regardent la caméra.

Au lieu de cela, les chercheurs de la nouvelle étude ont compilé les données les plus aptes à partir de trois jeux de données antérieurs de conduite autonome: KITTI, JRDB, et NuScenes, respectivement de l’Institut de technologie de Karlsruhe en Allemagne, de l’Université Stanford et de l’Université Monash en Australie, et d’un spin-off de l’Université du Massachusetts.

Cette curation a abouti à un ensemble très diversifié de captures de quatre villes – Boston, Singapour, Tübingen et Palo Alto. Avec environ 8 000 perspectives de piétons étiquetées, les auteurs affirment que LOOK est le jeu de données le plus diversifié pour la détection du contact visuel ‘dans la nature’.

Formation et résultats

L’extraction, la formation et l’évaluation ont été effectuées sur une seule carte graphique NVIDIA GeForce GTX 1080ti avec 11 Go de VRAM, fonctionnant sur un processeur Intel Core i7-8700 à 3,20 GHz.

Les auteurs ont constaté que non seulement leur méthode améliore les références de l’état de l’art d’au moins 5 %, mais également que les modèles résultants formés sur JAAD se généralisent très bien aux données non vues, un scénario testé en mélangeant une série de jeux de données.

Étant donné que les tests effectués étaient complexes et devaient prévoir des modèles basés sur les cultures (alors que l’isolement et la culture des visages ne sont pas centraux dans l’architecture de la nouvelle initiative), voir le document pour les résultats détaillés.

Résultats pour la précision moyenne (AP) en pourcentage et en fonction de la hauteur de la boîte de délimitation en pixels pour les tests à travers le jeu de données JAAD, avec les résultats des auteurs en gras.

Les chercheurs ont rendu leur code public, avec le jeu de données disponible ici, et le code source sur GitHub.

Les auteurs concluent en espérant que leur travail inspirera d’autres efforts de recherche dans ce qu’ils décrivent comme un ‘sujet important mais négligé’.