Intelligence artificielle
Déterminer le genre à travers les styles de marche avec l'apprentissage automatique
Des chercheurs roumains ont développé un système d'apprentissage automatique capable d'identifier le sexe d'une personne à partir de sa façon de marcher, sans avoir besoin d'analyser les composants du visage (qui peuvent être cachés ou obscurcis) et sans s'appuyer sur l'analyse de la silhouette ou d'autres éléments portés sur le corps. des indices sur le genre (qui peuvent être « usurpés » par des membres d'un autre sexe).
Au lieu de cela, le nouveau système utilise les systèmes d'étiquetage existants basés sur ces signaux éphémères (et modifiables) pour identifier les caractéristiques fondamentales qui distinguent la démarche des hommes et des femmes, ce qui donne un système qui identifie efficacement le sexe uniquement à partir des mouvements "squelettiques" d'une personne. marche.
En effet, cette nouvelle approche quantifie les différentes manières dont les hommes et les femmes marchent sans recourir à d'autres signaux ; mais comme elle utilise d'autres caractéristiques (telles que les informations sur le visage) pour étiqueter initialement les styles de démarche, la recherche laisse ouverte la question de savoir quels traits particuliers distinguent les sexes lorsqu'ils marchent.
La nouvelle méthode dérive l'identité de genre à partir de modèles d'analyse faciale qui fonctionnent sous des contraintes (telles qu'un angle utilisable limité et la nécessité de conserver un ensemble de données). Le système attribue ensuite des caractéristiques de mouvement squelettique en tant qu'homme ou femme, et distille des signatures de marche caractéristiques pour chacun, ignorant le visage, les vêtements et d'autres sources de données non fiables. Source : https://arxiv.org/pdf/2111.00538.pdf
Le nouveau système d’ papier est intitulé De Face à la marche : apprentissage faiblement supervisé des informations sur le genre à partir des habitudes de marche, et provient de chercheurs de l'Université Politehnica de Bucarest.
Le système fonctionne sur un pied d'égalité avec les modèles d'analyse faciale et dépasse fréquemment ces normes, avec un Score F1 jusqu'à 91 %, et offre un niveau élevé de généralisation à de nouveaux scénarios, y compris une variété de points de vue et de circonstances qui bloqueront généralement l'efficacité des systèmes de reconnaissance du genre basés sur le visage ou similaires. Il s'agit notamment des points de vue masqués, des angles non frontaux et du scénario très typique d'imagerie à basse résolution, ou de la surveillance de personnes éloignées dans l'image, où seul le style de mouvement reste un indicateur potentiel fiable du genre.
Écart entre les sexes
Comme le concluent les chercheurs, un tel système a un grand potentiel pour les cadres de collecte démographique qui sont actuellement entravés non seulement par l'adoption de masques sous COVID, mais aussi par les excentricités de la mode et du hasard qui rendent les vêtements et analyse des silhouettes une méthode peu fiable d'identification du sexe à partir des images de surveillance.
En termes de surveillance, être en mesure d'écarter toutes les cibles potentielles qui ne correspondent pas au sexe d'un sujet cible pourrait réduire de moitié le prétraitement et le besoin d'attention humaine et machine - car les systèmes d'identification actuels ont souvent du mal à attribuer correctement sexe à un individu surveillé.
Extrait du nouveau document : divers exemples où les systèmes de reconnaissance du genre échouent. Dans la rangée ci-dessus, nous voyons que le nouveau système d'analyse de la marche des chercheurs correspond correctement à la véritable étiquette de l'image (M ou F), alors que l'analyse du visage a échoué dans le même cas. Dans la ligne ci-dessous, nous voyons des cas où les outils d'étiquetage utilisés par les chercheurs ont produit des étiquettes de genre « bruyantes » (c'est-à-dire incorrectes). Pour contrer cela, les chercheurs ont utilisé CRAYON ("Correction probabiliste du bruit de bout en bout pour l'apprentissage avec des étiquettes bruyantes"), entre autres méthodes.
Naturellement, la possibilité d'une reconnaissance fiable du genre grâce à l'analyse de la marche est susceptible d'augmenter intérêt actuel pour les approches d'usurpation de la marche.
Détermination du sexe par procuration
Il est théoriquement possible d'être arrivé à la même fonctionnalité obtenue par le nouveau projet grâce à une analyse rigoureuse des données de mouvement squelettique préparées à la main. Si cela avait été fait, il est probable que le nouveau projet aurait pu mieux comprendre quelles caractéristiques de mouvement définissent le mieux le genre. Cependant, une telle approche implique un important engagement de ressources, et les chercheurs ont plutôt utilisé des systèmes existants (moins résilients) pour générer les étiquettes nécessaires.
Ces « pseudo-étiquettes » n'offrent aucun aperçu direct des caractéristiques de marche basées sur le sexe, mais permettent de filtrer les modèles de marche par sexe d'une manière hautement généralisable qui peut être obtenue dans les limites des ressources.
Initialement, les chercheurs ont utilisé le 2019 Marche vue de face (FVG), qui relève le défi de la reconnaissance de la marche sous un angle frontal, qui offre moins d'indices que les vues latérales. L'ensemble de données contient des échantillons de marche avec de nombreux obstacles, tels qu'une vitesse de marche variée, un arrière-plan encombré, une résolution variable et des différences de vêtements.
À partir de l'article FVG 2019, GaitNet apprend automatiquement les caractéristiques essentielles de la marche à partir de la "vidéo de marche", basée sur des séquences de vue de face, un scénario de visualisation fréquent dans les caméras orientées vers le public. Source : https://arxiv.org/pdf/1904.04925.pdf
Étant donné que FVG n'est pas orienté vers l'identification du genre, les auteurs ont annoté manuellement 226 sujets dans l'ensemble de données avec des informations sur le genre afin de développer une vérité de terrain pour le cadre.
La détection faciale a été facilitée par MTCNN et les attributs démographiques déterminés par IMDB-WIKI jeu de données. Étant donné que l'analyse de la marche est potentiellement beaucoup plus efficace à longue distance que l'inférence basée sur le visage, les étiquettes finales ont été obtenues par une moyenne pondérée de la confiance entre les sexes dérivée de la zone de la boîte englobante du visage par rapport aux dimensions du cadre. Les squelettes ont été extraits avec AlphaPose, qui supprime tous les « cadeaux » potentiels, tels que la hauteur objective du sujet (qui ne peut pas être évaluée avec certitude dans les scénarios de caméra publique ad hoc).
Essais
Le système a été testé contre le CASIA-B base de données sur la marche, sous-échantillonnant les hommes surreprésentés dans l'ensemble de données pour assurer la parité des tests, avec la répartition des données pour 80 % de formation et 20 % de validation.
Les chercheurs ont utilisé leurs propres travaux antérieurs, un Réseau WildGait (voir image ci-dessous), pour calculer la similarité entre les séquences de marche. Les identifiants de genre, déjà établis, sont maintenant introduits efficacement à cette étape du processus de cadrage.
WildGait est un réseau convolutif de graphes spatio-temporels formé sur des séquences squelettes annotées automatiquement à haut volume dérivées de flux de surveillance du monde réel. Source : https://arxiv.org/pdf/2105.05528.pdf
En conclusion, les auteurs déclarent que le système correspond aux systèmes de pointe basés sur le visage en termes de précision dans la détermination du sexe. Puisqu'il y a tellement d'angles possibles qui pourraient se produire dans la vidéo de marche source, les résultats sont répartis sur une gamme de ces points de vue possibles :
