Bestimmung des Geschlechts durch Gehstil mit Machine Learning

Forscher aus Rumänien haben ein Machine-Learning-System entwickelt, das in der Lage ist, das Geschlecht einer Person anhand des Gehstils zu identifizieren, ohne dass eine Analyse von Gesichtskomponenten (die möglicherweise verdeckt oder verborgen sind) erforderlich ist, und ohne auf Silhouettenanalyse oder andere Körpermerkmale (die von Mitgliedern eines anderen Geschlechts “getäuscht” werden können) zurückzugreifen.

Stattdessen verwendet das neue System bestehende Markierungssysteme, die auf diesen flüchtigen (und veränderbaren) Signalen basieren, um die Kernmerkmale zu identifizieren, die den Gang von Männern und Frauen unterscheiden, was zu einem System führt, das das Geschlecht effektiv nur anhand der “skelettalen” Bewegungen einer Person identifiziert.

Effektiv quantifiziert dieser neue Ansatz die unterschiedlichen Arten, wie Männer und Frauen gehen, ohne auf andere Signale zurückzugreifen; da es jedoch andere Merkmale (wie Gesichtsinformationen) verwendet, um zunächst die Gehstile zu markieren, lässt die Forschung die Frage offen, welche spezifischen Merkmale die Geschlechter beim Gehen unterscheiden.

Die neue Methode leitet die Geschlechtsidentität aus Gesichtsanalysemodellen ab, die unter Einschränkungen (wie begrenztem nutzbarem Winkel und der Notwendigkeit von Datencuration) operieren. Das System ordnet dann skelettale Bewegungsmerkmale als männlich oder weiblich zu und destilliert charakteristische Gehsignaturen für jeden, wobei Gesicht, Kleidung und andere unzuverlässige Datenquellen ignoriert werden. Quelle: https://arxiv.org/pdf/2111.00538.pdf

Das neue Papier trägt den Titel From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns und stammt von Forschern der Universität Politehnica in Bukarest.

Das System performt auf demselben Niveau wie Gesichtsanalysemodelle und übertrifft diese häufig, mit einem F1-Score von bis zu 91%, und bietet ein hohes Maß an Generalisierung auf neue Szenarien, einschließlich einer Vielzahl von Perspektiven und Umständen, die normalerweise die Effektivität von gesichtsbasierten oder ähnlichen Geschlechtererkennungssystemen behindern. Dazu gehören gesichtsverdeckte Perspektiven, nicht-frontale Winkel und das sehr typische Szenario von Bildern mit niedriger Auflösung oder der Überwachung von Personen, die in der Bildmitte weit entfernt sind, wo nur der Bewegungsstil als potenzieller zuverlässiger Indikator für das Geschlecht bleibt.

Geschlechterunterschied

Wie die Forscher schlussfolgern, hat ein solches System ein großes Potenzial für demografische Rahmenbedingungen, die derzeit nicht nur durch die Maskenadoption unter COVID, sondern auch durch die Exzentrik von Mode und Zufall behindert werden, die Kleidung und Silhouettenanalyse zu einer unzuverlässigen Methode für die Geschlechteridentifizierung in Überwachungsvideos machen.

In Bezug auf die Überwachung kann die Möglichkeit, alle potenziellen Ziele auszuschließen, die nicht dem Geschlecht des Zielobjekts entsprechen, die Vorverarbeitung und die Notwendigkeit von menschlicher und maschineller Aufmerksamkeit um bis zu die Hälfte reduzieren – da aktuelle Identifizierungssysteme oft Schwierigkeiten haben, das Geschlecht einer überwachten Person korrekt zuzuordnen.

Aus dem neuen Papier: verschiedene Beispiele, bei denen Geschlechtererkennungssysteme fehlschlagen. In der oberen Reihe sehen wir, wie das neue Gehanalysesystem des Forschers die tatsächliche Markierung für das Bild (M oder F) korrekt zuordnet, während die Gesichtsanalyse in derselben Instanz fehlgeschlagen ist. In der unteren Reihe sehen wir Instanzen, bei denen die Markierungstools, die von den Forschern verwendet wurden, “geräuschte” (d. h. falsche) Geschlechtsmarkierungen produziert haben. Um dies zu bekämpfen, verwendeten die Forscher PENCIL (‘Probabilistische End-to-End-Geräuschkorrektur für das Lernen mit verrauschten Markierungen’), unter anderem.

Die Möglichkeit für zuverlässige Geschlechtererkennung durch Gehanalyse wird wahrscheinlich das aktuelle Interesse an Geh-Täuschungsansätzen erhöhen.

Geschlechterbestimmung durch Stellvertreter

Es ist theoretisch möglich, die gleiche Funktionalität wie das neue Projekt durch eine gründliche Analyse von handkuratierten skelettalen Bewegungsdaten zu erreichen. Wenn dies gemacht worden wäre, hätte das neue Projekt möglicherweise tiefere Einblicke in die Bewegungsmerkmale, die das Geschlecht am besten definieren. Allerdings bedeutet ein solcher Ansatz eine große Ressourcenbindung, und die Forscher haben stattdessen bestehende (weniger widerstandsfähige) Systeme verwendet, um die erforderlichen Markierungen zu generieren.

Diese “Pseudo-Markierungen” bieten keinen direkten Einblick in geschlechtsspezifische Gehmerkmale, ermöglichen es jedoch, Gehmuster nach Geschlecht in einer hochgradig generalisierbaren Weise zu filtern, die innerhalb von Ressourceneinschränkungen erreicht werden kann.

Zunächst verwendeten die Forscher das 2019 Front View Gait (FVG)-Dataset, das die Herausforderung der Gangerkennung aus einer Frontalperspektive adressiert, die weniger Hinweise bietet als laterale Ansichten. Das Dataset enthält Gehbeispiele mit vielen Hindernissen, wie unterschiedliche Gehgeschwindigkeit, verschwommenem Hintergrund, unterschiedlicher Auflösung und Unterschieden in der Kleidung.

Aus dem 2019 FVG-Papier, GaitNet lernt automatisch die wesentlichen Gangmerkmale aus ‘Gehvideo’, basierend auf Frontalansichten, einem häufigen Szenario in öffentlich zugänglichen Kameras. Quelle: https://arxiv.org/pdf/1904.04925.pdf

Da FVG nicht auf Geschlechteridentifizierung ausgerichtet ist, haben die Autoren 226 Probanden im Dataset manuell mit Geschlechtsinformationen annotiert, um eine Grundlage für den Rahmen zu entwickeln.

Gesichtserkennung wurde durch MTCNN erleichtert und demografische Attribute durch das IMDB-WIKI Dataset bestimmt. Da die Ganganalyse potenziell wirksamer ist als die gesichtsbasierte Inferenz auf große Distanz, wurden die endgültigen Markierungen durch einen gewichteten Durchschnitt der Geschlechtszuordnung aus dem Bereich der Gesichtsbegrenzung in Bezug auf die Dimensionen des Rahmens erhalten. Skelette wurden mit AlphaPose extrahiert, was potenzielle “Verräter” wie die Objekthöhe des Probanden (die in ad-hoc-Überwachungsszenarien nicht mit Sicherheit bewertet werden kann) entfernt.

Testen

Das System wurde gegen die CASIA-B Gangdatenbank getestet, wobei die überrepräsentierten Männer im Dataset unterabgetastet wurden, um eine Parität der Tests zu gewährleisten, wobei die Daten in 80% Trainings- und 20% Validierungsdaten aufgeteilt wurden.

Die Forscher verwendeten ihre eigene vorherige Arbeit, ein WildGait-Netzwerk (siehe Bild unten), um die Ähnlichkeit zwischen Gehsequenzen zu berechnen. Die Geschlechts-IDs, die bereits etabliert wurden, werden nun effektiv in diese Phase des Rahmenprozesses eingeführt.

WildGait ist ein räumlich-zeitliches Graph-Convolutional-Netzwerk, das auf hohem Volumen, automatisch annotierten Skelettsequenzen aus realen Überwachungsströmen trainiert wird. Quelle: https://arxiv.org/pdf/2105.05528.pdf

In der Schlussfolgerung stellen die Autoren fest, dass das System gesichtsbasierten Systemen in Bezug auf die Genauigkeit bei der Geschlechterbestimmung entspricht. Da es so viele mögliche Winkel gibt, die in Quellgehen auftreten können, sind die Ergebnisse über einen Bereich dieser möglichen Winkel verteilt: