Bepalen van geslacht door loopstijlen met behulp van machine learning

Onderzoekers uit Roemenië hebben een machine learning-systeem ontwikkeld dat in staat is om het geslacht van een persoon te identificeren op basis van de manier waarop hij of zij loopt, zonder dat daarvoor een analyse van gezichtskenmerken (die mogelijk verborgen of verhuld zijn) nodig is, en zonder te vertrouwen op silhouetanalyse of andere lichaamsgebonden aanwijzingen voor geslacht (die door leden van het andere geslacht kunnen worden ‘gefaked’).

In plaats daarvan gebruikt het nieuwe systeem bestaande labelsystemen op basis van deze efemere (en veranderlijke) signalen om de kernkenmerken te identificeren die de manier van lopen van mannen en vrouwen onderscheiden, waardoor een systeem ontstaat dat effectief het geslacht identificeert op basis van de ‘skelet’-bewegingen van een persoon die loopt.

Effectief kwantificeert deze nieuwe benadering de verschillende manieren waarop mannen en vrouwen lopen zonder terug te vallen op andere signalen; maar aangezien het andere kenmerken (zoals gezichtsinformatie) gebruikt om de loopstijlen aanvankelijk te labelen, laat het onderzoek de vraag open welke specifieke kenmerken de geslachten onderscheiden wanneer ze lopen.

De nieuwe methode leidt geslachtsidentiteit af uit gezichtsanalysemmodellen die werken onder beperkingen (zoals beperkte bruikbare hoek en de noodzaak voor datasetcuratie). Het systeem wijst vervolgens skeletbewegingskenmerken toe als mannelijk of vrouwelijk en destilleert kenmerkende loopsignaturen voor elk, waarbij gezicht, kleding en andere onbetrouwbare gegevensbronnen worden genegeerd. Source: https://arxiv.org/pdf/2111.00538.pdf

Het nieuwe artikel heeft als titel From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns en komt van onderzoekers aan de University Politehnica in Boekarest.

Het systeem presteert op hetzelfde niveau als gezichtsanalysemmodellen en overschrijdt deze vaak, met een F1-score van maximaal 91%, en biedt een hoog niveau van generalisatie naar nieuwe scenario’s, waaronder een verscheidenheid aan gezichtspunten en omstandigheden die de effectiviteit van gezichts- of soortgelijke geslachtsrecognitiesystemen typisch zullen blokkeren. Deze omvatten gezichtsverhullende gezichtspunten, niet-frontale hoeken en het zeer typische scenario van lage resolutiebeelden, of het observeren van mensen die ver weg in het beeld staan, waar alleen de loopstijl overblijft als een potentieel betrouwbare indicator van geslacht.

Geslachtskloof

Zoals de onderzoekers concluderen, heeft een dergelijk systeem een groot potentieel voor demografische kaders die momenteel worden gehinderd, niet alleen door het dragen van mondkapjes onder COVID, maar ook door de eigenaardigheden van mode en toeval die kleding en silhouetanalyse een onbetrouwbare methode maken om geslacht te identificeren uit bewakingsbeelden.

In termen van bewaking kan het uitsluiten van alle potentiële doelwitten die niet overeenkomen met het geslacht van het doelonderwerp de voorverwerking en de behoefte aan menselijke en machine-aandacht met maximaal de helft verminderen – omdat huidige identificatiesystemen vaak moeite hebben om het geslacht van een bewaakt individu correct toe te wijzen.

Uit het nieuwe artikel: verschillende voorbeelden waarin geslachtsrecognitiesystemen falen. In de bovenste rij zien we het nieuwe gait-analyse-systeem van de onderzoekers dat de juiste label voor de afbeelding (M of F) correct matcht, terwijl gezichtsanalyse in hetzelfde geval is mislukt. In de rij eronder zien we voorbeelden waarin de labeltools die door de onderzoekers zijn gebruikt ‘ruis’ (d.w.z. onjuiste) geslachtslabels hebben gegenereerd. Om dit te compenseren, hebben de onderzoekers PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’) gebruikt, evenals andere methoden.

De mogelijkheid voor betrouwbare geslachtsrecognitie via loopanalyse zal waarschijnlijk de huidige interesse in gait-spoofing-benaderingen verhogen.

Geslachtsbepaling via tussenpersoon

Het is theoreticsch mogelijk om tot dezelfde functionaliteit te komen die door het nieuwe project is bereikt via een grondige analyse van handmatig gecureerde skeletbewegingsgegevens. Als dit was gedaan, zou het nieuwe project mogelijk diepere inzichten hebben in welke bewegingskenmerken het geslacht het beste definiëren. Echter, een dergelijke benadering houdt een grote toewijding van middelen in, en de onderzoekers hebben in plaats daarvan bestaande (minder robuuste) systemen gebruikt om de labels te genereren die nodig zijn.

Deze ‘pseudo-labels’ bieden geen directe inzicht in geslachtsgebonden loopkenmerken, maar maken het mogelijk om loopsignalen te filteren op geslacht op een zeer generaliseerbare manier die kan worden bereikt binnen middelenbeperkingen.

Aanvankelijk gebruikten de onderzoekers de 2019 Front View Gait (FVG)-dataset, die de uitdaging aanpakt van gait-herkenning vanuit een frontale hoek, die minder aanwijzingen biedt dan laterale weergaven. De dataset bevat loopsamples met veel obstakels, zoals variabele loopsnelheid, rommelige achtergrond, variabele resolutie en verschillen in kleding.

Uit het 2019 FVG-artikel, GaitNet leert automatisch de essentiële gait-kenmerken uit ‘lopende video’, op basis van frontale beelden, een frequent beeld in openbare camera’s. Source: https://arxiv.org/pdf/1904.04925.pdf

Aangezien FVG niet is gericht op geslachtsidentificatie, hebben de auteurs 226 onderwerpen in de dataset handmatig geannoteerd met geslachtsinformatie om de grondwaarheid voor het kader te ontwikkelen.

Gezichtsdetectie werd gefaciliteerd via MTCNN, en demografische kenmerken werden bepaald door de IMDB-WIKI dataset. Aangezien gait-analyse potentieel veel effectiever is op lange afstand dan gezichtsafleiding, werden de definitieve labels verkregen door een gewogen gemiddelde van geslachtsvertrouwen afgeleid van het gebied van de gezichtsbegrenzingsbox ten opzichte van de afmetingen van het kader. Skeletten werden geëxtraheerd met AlphaPose, die alle potentiële ‘give-aways’ verwijdert, zoals de objectieve hoogte van het onderwerp (die niet met zekerheid kan worden beoordeeld in ad hoc-publieke camerascenario’s).

Testen

Het systeem werd getest tegen de CASIA-B gait-database, waarbij de oververtegenwoordigde mannen in de dataset werden ondersteekproef om gelijkheid van testen te garanderen, met de gegevens gesplitst in 80% training en 20% validatie.

De onderzoekers gebruikten hun eigen eerder werk, een WildGait-netwerk (zie afbeelding hieronder), om de overeenkomst tussen loopsymbolen te berekenen. De geslachts-id’s, die al waren vastgesteld, worden nu effectief doorgestuurd naar deze fase van het kaderproces.

WildGait is een Spatio-Temporele Graph Convolutional Network getraind op hoge volumes, automatisch geannoteerde skeletsequentie afgeleid van real-world, surveillance-stromen. Source: https://arxiv.org/pdf/2105.05528.pdf

In conclusie stellen de auteurs dat het systeem overeenkomt met state-of-the-art gezichtsgebaseerde systemen in termen van nauwkeurigheid bij het bepalen van geslacht. Aangezien er zo veel mogelijke hoeken zijn die kunnen voorkomen in de bronloopvideo, worden de resultaten verdeeld over een bereik van die mogelijke gezichtspunten: