Geschlechtsbestimmung durch Gehstil mit Machine Learning

Forscher aus Rumänien haben ein Machine-Learning-System entwickelt, das in der Lage ist, das Geschlecht einer Person anhand ihres Gehstils zu identifizieren, ohne dass dabei Gesichtszüge (die möglicherweise verdeckt oder verschleiert sind) analysiert werden müssen, und ohne dass auf Silhouette-Analyse oder andere Körpermerkmale zurückgegriffen wird, die von Mitgliedern eines anderen Geschlechts “getäuscht” werden können.

Stattdessen verwendet das neue System bestehende Markierungssysteme, die auf diesen ephemeren (und veränderbaren) Signalen basieren, um die Kernmerkmale zu identifizieren, die den Gang von Männern und Frauen unterscheiden, was zu einem System führt, das das Geschlecht effektiv nur anhand der “skelettalen” Bewegungen einer Person beim Gehen identifiziert.

Effektiv quantifiziert dieser neue Ansatz die unterschiedlichen Arten, wie Männer und Frauen gehen, ohne auf andere Signale zurückzugreifen; jedoch lässt die Forschung, da sie andere Merkmale (wie Gesichtsinformationen) verwendet, um den Gangstil zunächst zu markieren, die Frage offen, welche spezifischen Merkmale die Geschlechter beim Gehen unterscheiden.

Die neue Methode leitet die Geschlechtsidentität aus Gesichtsanalyse-Modellen ab, die unter Einschränkungen (wie begrenztem nutzbarem Winkel und der Notwendigkeit von Datencurierung) operieren. Das System ordnet dann skelettale Bewegungsmerkmale als männlich oder weiblich zu und destilliert charakteristische Gehsignaturen für jedes, wobei Gesicht, Kleidung und andere unzuverlässige Datenquellen ignoriert werden. Quelle: https://arxiv.org/pdf/2111.00538.pdf

Der neue Artikel trägt den Titel Von Gesicht zu Gang: Weakly-Supervised Learning of Gender Information from Walking Patterns und stammt von Forschern der Universität Politehnica in Bukarest.

Das System funktioniert auf demselben Niveau wie Gesichtsanalyse-Modelle und übertrifft diese häufig, mit einem F1-Score von bis zu 91%, und bietet eine hohe Generalisierbarkeit für neue Szenarien, einschließlich einer Vielzahl von Perspektiven und Umständen, die normalerweise die Wirksamkeit von gesichtsbasierten oder ähnlichen Geschlechtsbestimmungssystemen behindern. Dazu gehören gesichtsverdeckte Perspektiven, nicht-frontale Winkel und das sehr typische Szenario von niedriger Auflösung oder der Überwachung von Personen, die innerhalb des Bildes weit entfernt sind, wo nur der Bewegungsstil als potenzieller zuverlässiger Indikator für das Geschlecht bleibt.

Geschlechtsunterschied

Wie die Forscher schlussfolgern, hat ein solches System ein großes Potenzial für demografische Erhebungsframeworks, die derzeit nicht nur durch die Maskenadoption unter COVID, sondern auch durch die Eigenheiten der Mode und Zufälle behindert werden, die Kleidung und Silhouette-Analyse zu einer unzuverlässigen Methode für die Geschlechtsbestimmung aus Überwachungsvideos machen.

Im Hinblick auf die Überwachung kann die Fähigkeit, alle potenziellen Ziele auszuschließen, die nicht dem Geschlecht des Zielobjekts entsprechen, die Vorverarbeitung und die Notwendigkeit von menschlicher und maschineller Aufmerksamkeit um bis zu die Hälfte reduzieren – da aktuelle Identifizierungssysteme oft Schwierigkeiten haben, das Geschlecht eines überwachten Individuums korrekt zuzuordnen.

Aus dem 2019 FVG-Artikel, GaitNet lernt automatisch die wesentlichen Gangmerkmale aus ‘Gehvideo’, basierend auf Frontalansichten, einem häufigen Szenario in öffentlich zugänglichen Kameras. Quelle: https://arxiv.org/pdf/1904.04925.pdf

Da FVG nicht auf Geschlechtsidentifizierung ausgerichtet ist, haben die Autoren 226 Probanden in der Datenbank manuell mit Geschlechtsinformationen annotiert, um eine Grundwahrheit für den Rahmen zu entwickeln.

Die Gesichtserkennung wurde durch MTCNN erleichtert und die demografischen Attribute durch die IMDB-WIKI Datenbank bestimmt. Da die Gang-Analyse potenziell effektiver ist als die Gesichtsanalyse auf große Distanz, wurden die endgültigen Kennungen durch eine gewichtete Durchschnittsberechnung der Geschlechtszuordnung aus dem Verhältnis der Fläche des Gesichts zur Bildgröße ermittelt. Die Skelette wurden mit AlphaPose extrahiert, was mögliche “Verräter” wie die objektivierbare Körpergröße (die in ad-hoc-Public-Kamera-Szenarien nicht mit Sicherheit bewertet werden kann) entfernt.

Testen

Das System wurde gegen die CASIA-B-Gang-Datenbank getestet, wobei die überrepräsentierten Männer in der Datenbank unterabgebildet wurden, um eine Parität der Tests zu gewährleisten, wobei die Daten in 80% Trainings- und 20% Validierungsdaten aufgeteilt wurden.

Die Forscher verwendeten ihre vorherige Arbeit, ein WildGait-Netzwerk (siehe Bild unten), um die Ähnlichkeit zwischen Gehsequenzen zu berechnen. Die Geschlechtskennungen, die bereits etabliert wurden, werden nun effektiv in diese Phase des Rahmenprozesses eingeführt.

WildGait ist ein Spatio-Temporal Graph Convolutional Network, das auf hohem Volumen automatisch annotierter Skelettsequenzen aus realen Überwachungsströmen trainiert wird. Quelle: https://arxiv.org/pdf/2105.05528.pdf

Zusammenfassend sagen die Autoren, dass das System mit gesichtsbasierten Systemen in Bezug auf die Genauigkeit bei der Geschlechtsbestimmung gleichzieht. Da es so viele mögliche Winkel gibt, die in Quell-Gehvideo auftreten können, sind die Ergebnisse über einen Bereich dieser möglichen Perspektiven verteilt: