Déterminer le genre à travers les styles de marche avec l'apprentissage automatique

Des chercheurs roumains ont développé un système d'apprentissage automatique capable d'identifier le sexe d'une personne à partir de sa façon de marcher, sans avoir besoin d'analyser les composants du visage (qui peuvent être cachés ou obscurcis), et sans s'appuyer sur l'analyse de la silhouette ou d'autres indices corporels sur le sexe (qui peuvent être « usurpés » par des membres d'un autre sexe).

Au contraire, le nouveau système utilise des systèmes d'étiquetage existants basés sur ces signaux éphémères (et modifiables) pour identifier les caractéristiques fondamentales qui distinguent la démarche des hommes et des femmes, ce qui donne lieu à un système qui identifie efficacement le sexe uniquement à partir des mouvements « squelettiques » d'une personne qui marche.

En effet, cette nouvelle approche quantifie les différentes manières dont les hommes et les femmes marchent sans recourir à d'autres signaux ; mais comme elle utilise d'autres caractéristiques (telles que les informations sur le visage) pour étiqueter initialement les styles de démarche, la recherche laisse ouverte la question de savoir quels traits particuliers distinguent les sexes lorsqu'ils marchent.

La nouvelle méthode dérive l'identité de genre à partir de modèles d'analyse faciale qui fonctionnent sous des contraintes (telles qu'un angle utilisable limité et la nécessité de conserver un ensemble de données). Le système attribue ensuite des caractéristiques de mouvement squelettique en tant qu'homme ou femme, et distille des signatures de marche caractéristiques pour chacun, ignorant le visage, les vêtements et d'autres sources de données non fiables. Source : https://arxiv.org/pdf/2111.00538.pdf

Le nouveau système d’ papier est intitulé De Face à la marche : apprentissage faiblement supervisé des informations sur le genre à partir des habitudes de marche, et provient de chercheurs de l'Université Politehnica de Bucarest.

Le système fonctionne sur un pied d'égalité avec les modèles d'analyse faciale et dépasse fréquemment ces normes, avec un Score F1 jusqu'à 91 %, et offre un niveau élevé de généralisation à de nouveaux scénarios, y compris une variété de points de vue et de circonstances qui bloqueront généralement l'efficacité des systèmes de reconnaissance du genre basés sur le visage ou similaires. Il s'agit notamment des points de vue masqués, des angles non frontaux et du scénario très typique d'imagerie à basse résolution, ou de la surveillance de personnes éloignées dans l'image, où seul le style de mouvement reste un indicateur potentiel fiable du genre.

Écart entre les sexes

Comme le concluent les chercheurs, un tel système a un grand potentiel pour les cadres de collecte démographique qui sont actuellement entravés non seulement par l'adoption de masques sous COVID, mais aussi par les excentricités de la mode et du hasard qui rendent les vêtements et analyse des silhouettes une méthode peu fiable d'identification du sexe à partir des images de surveillance.

En termes de surveillance, être en mesure d'écarter toutes les cibles potentielles qui ne correspondent pas au sexe d'un sujet cible pourrait réduire de moitié le prétraitement et le besoin d'attention humaine et machine - car les systèmes d'identification actuels ont souvent du mal à attribuer correctement sexe à un individu surveillé.

D'après la nouvelle étude : divers exemples d'échecs des systèmes de reconnaissance du genre. La ligne ci-dessus montre que le nouveau système d'analyse de la démarche des chercheurs a correctement identifié l'étiquette réelle de l'image (H ou F), alors que l'analyse du visage a échoué dans le même cas. La ligne ci-dessous montre des cas où les outils d'étiquetage utilisés par les chercheurs ont généré des étiquettes de genre « bruyantes » (c'est-à-dire incorrectes). Pour remédier à cela, les chercheurs ont utilisé CRAYON (« Correction probabiliste du bruit de bout en bout pour l'apprentissage avec des étiquettes bruyantes »), entre autres méthodes.

Naturellement, la possibilité d'une reconnaissance fiable du genre grâce à l'analyse de la marche est susceptible d'augmenter intérêt actuel pour les approches d'usurpation de la marche.

Détermination du sexe par procuration

Il est théoriquement possible d'être arrivé à la même fonctionnalité obtenue par le nouveau projet grâce à une analyse rigoureuse des données de mouvement squelettique préparées à la main. Si cela avait été fait, il est probable que le nouveau projet aurait pu mieux comprendre quelles caractéristiques de mouvement définissent le mieux le genre. Cependant, une telle approche implique un important engagement de ressources, et les chercheurs ont plutôt utilisé des systèmes existants (moins résilients) pour générer les étiquettes nécessaires.

Ces « pseudo-étiquettes » n’offrent pas d’aperçu direct des caractéristiques de marche basées sur le genre, mais permettent de filtrer les modèles de marche par genre d’une manière hautement généralisable qui peut être réalisée dans les limites des ressources.

Initialement, les chercheurs ont utilisé le 2019 Marche vue de face (FVG), qui relève le défi de la reconnaissance de la marche sous un angle frontal, qui offre moins d'indices que les vues latérales. L'ensemble de données contient des échantillons de marche avec de nombreux obstacles, tels qu'une vitesse de marche variée, un arrière-plan encombré, une résolution variable et des différences de vêtements.

À partir de l'article FVG 2019, GaitNet apprend automatiquement les caractéristiques de marche essentialisées à partir d'une « vidéo de marche », basée sur des images de vue de face, un scénario de visualisation fréquent dans les caméras publiques. Source : https://arxiv.org/pdf/1904.04925.pdf

Étant donné que FVG n'est pas orienté vers l'identification du genre, les auteurs ont annoté manuellement 226 sujets dans l'ensemble de données avec des informations sur le genre afin de développer une vérité de terrain pour le cadre.

La détection faciale a été facilitée par MTCNN et les attributs démographiques déterminés par IMDB-WIKI jeu de données. Étant donné que l'analyse de la marche est potentiellement beaucoup plus efficace à longue distance que l'inférence basée sur le visage, les étiquettes finales ont été obtenues par une moyenne pondérée de la confiance entre les sexes dérivée de la zone de la boîte englobante du visage par rapport aux dimensions du cadre. Les squelettes ont été extraits avec AlphaPose, ce qui élimine tout « indice » potentiel, comme la hauteur objective du sujet (qui ne peut pas être évaluée avec certitude dans des scénarios de caméra publique ad hoc).

Tests

Le système a été testé contre le CASIA-B base de données sur la marche, sous-échantillonnant les hommes surreprésentés dans l'ensemble de données pour assurer la parité des tests, avec la répartition des données pour 80 % de formation et 20 % de validation.

Les chercheurs ont utilisé leurs propres travaux antérieurs, un Réseau WildGait (voir image ci-dessous), pour calculer la similarité entre les séquences de marche. Les identifiants de genre, déjà établis, sont maintenant introduits efficacement à cette étape du processus de cadrage.

WildGait est un réseau convolutif de graphes spatio-temporels formé sur des séquences squelettes annotées automatiquement à haut volume dérivées de flux de surveillance du monde réel. Source : https://arxiv.org/pdf/2105.05528.pdf

En conclusion, les auteurs déclarent que le système correspond aux systèmes de pointe basés sur le visage en termes de précision dans la détermination du sexe. Puisqu'il y a tellement d'angles possibles qui pourraient se produire dans la vidéo de marche source, les résultats sont répartis sur une gamme de ces points de vue possibles :