Déterminer le sexe à travers les styles de marche avec l’apprentissage automatique

Des chercheurs de Roumanie ont développé un système d’apprentissage automatique capable d’identifier le sexe d’une personne à partir de la façon dont elle marche, sans avoir besoin d’analyser les composants faciaux (qui peuvent être cachés ou obscurcis), et sans s’appuyer sur l’analyse de la silhouette ou d’autres indices de sexe portés sur le corps (qui peuvent être « contrefaits » par des membres d’un autre sexe).

Plutôt, le nouveau système utilise des systèmes d’étiquetage existants basés sur ces signaux éphémères (et modifiables) pour identifier les caractéristiques de base qui distinguent la démarche des hommes et des femmes, aboutissant à un système qui identifie efficacement le sexe uniquement à partir des « mouvements squelettiques » d’une personne qui marche.

En effet, cette nouvelle approche quantifie les différentes manières dont les hommes et les femmes marchent sans recourir à d’autres signaux; mais comme elle utilise d’autres caractéristiques (telles que les informations faciales) pour étiqueter initialement les styles de marche, la recherche laisse ouverte la question de savoir quels traits particuliers distinguent les sexes lorsqu’ils marchent.

La nouvelle méthode dérive l’identité de genre à partir de modèles d’analyse faciale qui fonctionnent sous contraintes (telles que l’angle utilisable limité et la nécessité de curer les données). Le système attribue ensuite des caractéristiques de mouvement squelettique comme masculin ou féminin, et distille des signatures de marche caractéristiques pour chacun, en ignorant les données faciales, les vêtements et autres sources de données non fiables. Source: https://arxiv.org/pdf/2111.00538.pdf

Le nouveau document est intitulé From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns, et provient de chercheurs de l’Université Politehnica de Bucarest.

Le système fonctionne au même niveau que les modèles d’analyse faciale, et dépasse souvent ces normes, avec un score F1 allant jusqu’à 91 %, et offre un niveau élevé de généralisation à de nouvelles situations, y compris une variété de points de vue et de circonstances qui bloquent généralement l’efficacité des systèmes de reconnaissance de genre basés sur le visage ou similaires. Cela inclut des vues obscurcies, des angles non frontaux et le scénario très typique d’images à basse résolution, ou la surveillance de personnes qui sont éloignées dans l’image, où seul le style de mouvement reste un indicateur fiable de sexe.

Écart de genre

Comme le concluent les chercheurs, un tel système a un grand potentiel pour les cadres de collecte de données démographiques qui sont actuellement entravés non seulement par l’adoption de masques sous COVID, mais également par les excentricités de la mode et les hasards qui rendent les vêtements et l’analyse de la silhouette une méthode non fiable pour identifier le sexe à partir de vidéos de surveillance.

En termes de surveillance, être capable de rejeter tous les objectifs potentiels qui ne correspondent pas au sexe de l’objet ciblé pourrait réduire le prétraitement et le besoin d’attention humaine et automatique de moitié – car les systèmes d’identification actuels ont souvent du mal à attribuer correctement le sexe à un individu surveillé.

Du nouveau document: divers exemples où les systèmes de reconnaissance de genre échouent. Dans la rangée ci-dessus, nous voyons le nouveau système d’analyse de la marche des chercheurs correspondre correctement à l’étiquette réelle de l’image (M ou F), alors que l’analyse faciale a échoué dans le même cas. Dans la rangée ci-dessous, nous voyons des exemples où les outils d’étiquetage utilisés par les chercheurs ont produit des étiquettes de genre « bruyantes » (c’est-à-dire incorrectes). Pour contrer cela, les chercheurs ont utilisé PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’), entre autres méthodes.

Naturellement, la possibilité d’une reconnaissance de genre fiable à travers l’analyse de la marche est susceptible d’augmenter l’intérêt actuel pour les approches de contrefaçon de la marche.

Détermination du sexe par procuration

Il est théoriquement possible d’être arrivé à la même fonctionnalité réalisée par le nouveau projet grâce à une analyse rigoureuse de données de mouvement squelettique manuellement curées. Si cela avait été fait, il est probable que le nouveau projet aurait des connaissances plus approfondies sur les caractéristiques de mouvement qui définissent le mieux le sexe. Cependant, une telle approche signifie un engagement important de ressources, et les chercheurs ont utilisé des systèmes existants (moins résilients) pour générer les étiquettes nécessaires.

Ces « pseudo-étiquettes » n’offrent aucune connaissance directe sur les traits de marche basés sur le sexe, mais permettent de filtrer les modèles de marche par sexe de manière très généralisable qui peut être réalisée dans les contraintes de ressources.

Initialement, les chercheurs ont utilisé le jeu de données Front View Gait (FVG) de 2019, qui aborde le défi de la reconnaissance de la marche à partir d’un angle frontal, qui offre moins d’indices que les vues latérales. Le jeu de données contient des échantillons de marche avec de nombreux obstacles, tels que des vitesses de marche variées, des arrière-plans encombrés, des résolutions variables et des différences de vêtements.

Du document FVG de 2019, GaitNet apprend automatiquement les caractéristiques de marche essentielles à partir de « vidéos de marche », basées sur des images de face, un scénario de vision fréquent dans les caméras à visage public. Source: https://arxiv.org/pdf/1904.04925.pdf

Puisque FVG n’est pas orienté vers l’identification du sexe, les auteurs ont annoté manuellement 226 sujets dans le jeu de données avec des informations de sexe pour développer une vérité de base pour le cadre.

La détection faciale a été facilitée par MTCNN, et les attributs démographiques déterminés par le jeu de données IMDB-WIKI dataset. Puisque l’analyse de la marche est potentiellement beaucoup plus efficace à longue distance que l’inférence basée sur le visage, les étiquettes finales ont été obtenues par une moyenne pondérée de la confiance de sexe dérivée de la zone de la boîte de délimitation faciale par rapport aux dimensions du cadre. Les squelettes ont été extraits avec AlphaPose, qui supprime tout « donneur » potentiel, tel que la hauteur objective du sujet (qui ne peut pas être évaluée avec certitude dans les scénarios de caméra publique ad hoc).

Test

Le système a été testé contre la base de données de marche CASIA-B, en sous-échantillonnant les hommes sur-représentés dans le jeu de données pour assurer la parité des tests, avec les données divisées en 80 % d’entraînement et 20 % de validation.

Les chercheurs ont utilisé leur propre travail antérieur, un réseau WildGait (voir image ci-dessous), pour calculer la similarité entre les séquences de marche. Les identités de sexe, déjà établies, sont maintenant efficacement introduites dans cette étape du processus du cadre.

WildGait est un réseau de convolution graphique spatio-temporel formé sur des séquences de squelettes annotées automatiquement à haute volume, dérivées de flux de surveillance réels. Source: https://arxiv.org/pdf/2105.05528.pdf

En conclusion, les auteurs déclarent que le système correspond aux systèmes basés sur le visage d’état de l’art en termes de précision dans la détermination du sexe. Puisqu’il existe de nombreux angles possibles qui pourraient se produire dans les vidéos de marche source, les résultats sont répartis sur une gamme de ces points de vue possibles: