Déterminer le sexe à travers les styles de marche avec l’apprentissage automatique

Les chercheurs de Roumanie ont développé un système d’apprentissage automatique capable d’identifier le sexe d’une personne à partir de la façon dont elle marche, sans avoir besoin d’analyser les composants faciaux (qui peuvent être cachés ou obscurcis), et sans s’appuyer sur l’analyse de la silhouette ou d’autres indices portés par le corps (qui peuvent être « contrefaits » par des membres d’un autre sexe).

Plutôt, le nouveau système utilise des systèmes d’étiquetage existants basés sur ces signaux éphémères (et changeables) pour identifier les caractéristiques essentielles qui distinguent la démarche des hommes et des femmes, aboutissant à un système qui identifie efficacement le sexe uniquement à partir des mouvements « squelettiques » d’une personne qui marche.

En effet, cette nouvelle approche quantifie les différentes manières dont les hommes et les femmes marchent sans recourir à d’autres signaux ; mais comme elle utilise d’autres caractéristiques (telles que les informations faciales) pour étiqueter initialement les styles de marche, la recherche laisse ouverte la question de quels traits particuliers distinguent les sexes lorsqu’ils marchent.

La nouvelle méthode dérive l’identité de genre à partir de modèles d’analyse faciale qui fonctionnent sous contraintes (telles que l’angle utilisable limité et le besoin de curation de données). Le système attribue ensuite des caractéristiques de mouvement squelettique comme masculin ou féminin, et distille des signatures de marche caractéristiques pour chacun, en ignorant les sources de données faciales, vestimentaires et autres peu fiables. Source: https://arxiv.org/pdf/2111.00538.pdf

Le nouveau document s’intitule De Visage à Démarche : Apprentissage faiblement supervisé d’informations de genre à partir de modèles de marche, et provient de chercheurs de l’Université Politehnica de Bucarest.

Le système fonctionne au même niveau que les modèles d’analyse faciale, et dépasse souvent ces normes, avec un score F1 allant jusqu’à 91 %, et offre un niveau élevé de généralisation à de nouvelles situations, y compris une variété de points de vue et de circonstances qui bloqueraient généralement l’efficacité des systèmes de reconnaissance de genre basés sur le visage ou similaires. Cela inclut des points de vue obscurcis, des angles non frontaux et le scénario très typique d’images à basse résolution, ou la surveillance de personnes qui sont éloignées dans l’image, où seul le style de mouvement reste comme indicateur fiable de genre.

Écart de genre

Comme le concluent les chercheurs, un tel système a un grand potentiel pour les cadres de collecte de données démographiques qui sont actuellement entravés non seulement par l’adoption de masques sous COVID, mais également par les excentricités de la mode et les hasards qui rendent l’analyse de la silhouette et les vêtements une méthode peu fiable pour identifier le sexe à partir de vidéos de surveillance.

En termes de surveillance, être capable de rejeter toutes les cibles potentielles qui ne correspondent pas au sexe de la cible pourrait réduire le prétraitement et le besoin d’attention humaine et automatique de moitié – car les systèmes d’identification actuels ont souvent du mal à attribuer correctement le sexe à une personne surveillée.

Du nouveau document : divers exemples où les systèmes de reconnaissance de genre échouent. Dans la rangée supérieure, nous voyons le nouveau système d’analyse de la démarche des chercheurs correspondre correctement à l’étiquette réelle de l’image (M ou F), alors que l’analyse faciale a échoué dans le même cas. Dans la rangée inférieure, nous voyons des exemples où les outils d’étiquetage utilisés par les chercheurs ont produit des étiquettes de genre « bruyantes » (c’est-à-dire incorrectes). Pour contrer cela, les chercheurs ont utilisé PENCIL (‘Correction de bruit de fin à fin pour l’apprentissage avec des étiquettes bruyantes’), entre autres méthodes.

La possibilité d’une reconnaissance de genre fiable par analyse de la démarche est susceptible d’augmenter l’intérêt actuel pour les approches de contrefaçon de la démarche.

Détermination du sexe par procuration

Il est théoriquement possible d’avoir atteint la même fonctionnalité réalisée par le nouveau projet grâce à une analyse rigoureuse de données squelettiques de mouvement annotées manuellement. Si cela avait été fait, il est probable que le nouveau projet aurait des insights plus profonds sur lesquels les caractéristiques de mouvement définissent le mieux le sexe. Cependant, une telle approche signifie un engagement important de ressources, et les chercheurs ont plutôt utilisé des systèmes existants (moins résistants) pour générer les étiquettes nécessaires.

Ces « étiquettes pseudo » n’offrent aucune insight directe sur les traits de marche basés sur le sexe, mais permettent de filtrer les modèles de marche par sexe de manière très généralisable qui peut être réalisée dans les contraintes de ressources.

Initialement, les chercheurs ont utilisé le jeu de données Front View Gait (FVG) de 2019, qui aborde le défi de la reconnaissance de la démarche à partir d’un angle frontal, qui offre moins d’indices que les vues latérales. Le jeu de données contient des échantillons de marche avec de nombreux obstacles, tels que des vitesses de marche variables, des arrière-plans encombrés, des résolutions variables et des différences de vêtements.

Du document FVG de 2019, GaitNet apprend automatiquement les caractéristiques essentielles de la démarche à partir de « vidéos de marche », basées sur des images de face, un scénario de vision fréquent dans les caméras publiques. Source: https://arxiv.org/pdf/1904.04925.pdf

Puisque FVG n’est pas orienté vers l’identification du sexe, les auteurs ont annoté manuellement 226 sujets du jeu de données avec des informations de sexe afin de développer des vérités de base pour le cadre.

La détection faciale a été facilitée grâce à MTCNN, et les attributs démographiques déterminés par le jeu de données IMDB-WIKI dataset. Puisque l’analyse de la démarche est potentiellement beaucoup plus efficace à longue distance que l’inférence basée sur le visage, les étiquettes finales ont été obtenues par une moyenne pondérée de la confiance de genre dérivée de la zone de la boîte de délimitation faciale par rapport aux dimensions du cadre. Les squelettes ont été extraits avec AlphaPose, qui supprime tout « donneur » potentiel, tel que la hauteur objective du sujet (qui ne peut pas être évaluée avec certitude dans des scénarios de caméras publiques ad hoc).

Test

Le système a été testé contre la base de données de démarche CASIA-B, en sous-échantillonnant les hommes sur-représentés dans le jeu de données pour assurer la parité des tests, avec les données divisées en 80 % pour l’entraînement et 20 % pour la validation.

Les chercheurs ont utilisé leur propre travail antérieur, un réseau WildGait (voir image ci-dessous), pour calculer la similarité entre les séquences de marche. Les identifiants de sexe, déjà établis, sont maintenant effectivement introduits dans cette étape du processus du cadre.

WildGait est un réseau de convolution graphique spatio-temporel formé sur des séquences squelettiques annotées automatiquement dérivées de flux de surveillance réels. Source: https://arxiv.org/pdf/2105.05528.pdf

En conclusion, les auteurs déclarent que le système correspond aux systèmes basés sur le visage de pointe en termes de précision dans la détermination du sexe. Puisqu’il y a autant d’angles possibles qui pourraient survenir dans les vidéos de marche sources, les résultats sont répartis sur une gamme de ces angles possibles :