Geslacht bepalen door loopstijlen met behulp van machine learning

Onderzoekers uit Roemenië hebben een machine learning-systeem ontwikkeld dat in staat is om het geslacht van een persoon te identificeren op basis van de manier waarop hij of zij loopt, zonder dat daarvoor gezichtskenmerken (die mogelijk verborgen of verhuld zijn) hoeven te worden geanalyseerd, en zonder te vertrouwen op silhouetanalyse of andere lichaamsgebonden aanwijzingen voor het geslacht (die door leden van een ander geslacht kunnen worden nagedaan).

In plaats daarvan gebruikt het nieuwe systeem bestaande labelsystemen op basis van deze tijdelijke (en veranderlijke) signalen om de kernkenmerken te identificeren die de manier van lopen van mannen en vrouwen onderscheiden, waardoor een systeem ontstaat dat het geslacht effectief kan bepalen op basis van de ‘skelet’-bewegingen van een persoon die loopt.

Effectief gezien kwantificeert deze nieuwe benadering de verschillende manieren waarop mannen en vrouwen lopen zonder terug te vallen op andere signalen; maar aangezien het andere kenmerken (zoals gezichtsinformatie) gebruikt om de loopstijlen aanvankelijk te labelen, laat het onderzoek de vraag open welke specifieke kenmerken de geslachten onderscheiden wanneer ze lopen.

De nieuwe methode leidt geslachtsidentiteit af uit gezichtsanalysemmodellen die werken onder beperkingen (zoals beperkt bruikbaar gezichtsveld en de noodzaak van datasetcuratie). Het systeem wijst vervolgens skeletbewegingskenmerken toe als mannelijk of vrouwelijk en destilleert kenmerkende loopsignaturen voor elk, waarbij gezicht, kleding en andere onbetrouwbare gegevensbronnen worden genegeerd. Bron: https://arxiv.org/pdf/2111.00538.pdf

Het nieuwe artikel heeft als titel From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns en komt van onderzoekers aan de Universiteit Politehnica in Boekarest.

Het systeem presteert even goed als gezichtsanalysemmodellen en overschrijdt deze vaak, met een F1-score van maximaal 91%, en biedt een hoog niveau van generalisatie naar nieuwe scenario’s, waaronder een verscheidenheid aan gezichtspunten en omstandigheden die typisch de effectiviteit van gezichts- of soortgelijke geslachtsrecognitiesystemen blokkeren. Deze omvatten gezichtsverhullende gezichtspunten, niet-frontale hoeken en het zeer typische scenario van lage resolutiebeelden, of het observeren van personen die ver weg in het beeld staan, waar alleen de loopsnelheid overblijft als een potentiële betrouwbare indicator van het geslacht.

Geslachtskloof

Zoals de onderzoekers concluderen, heeft een dergelijk systeem een groot potentieel voor demografische kaders die momenteel worden gehinderd, niet alleen door het dragen van mondkapjes onder COVID, maar ook door de eigenaardigheden van mode en toeval die kleding en silhouetanalyse een onbetrouwbare methode maken om het geslacht te bepalen op basis van bewakingsbeelden.

In termen van bewaking kan het uitsluiten van alle potentiële doelwitten die niet overeenkomen met het geslacht van een doelpersoon de voorverwerking en de behoefte aan menselijke en machine-aandacht met maximaal de helft verminderen – omdat huidige identificatiesystemen vaak moeite hebben om het geslacht van een bewaakt individu correct toe te wijzen.

Uit het nieuwe artikel: verschillende voorbeelden waarin geslachtsrecognitiesystemen falen. In de bovenste rij zien we het nieuwe loopsanalyse-systeem van de onderzoekers correct overeenkomen met het werkelijke label voor het beeld (M of V), terwijl gezichtsanalyse in hetzelfde geval is mislukt. In de rij eronder zien we voorbeelden waarin de labeltools die door de onderzoekers zijn gebruikt ‘ruis’ (d.w.z. onjuiste geslachtslabels) hebben gegenereerd. Om dit te compenseren hebben de onderzoekers PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’) gebruikt, samen met andere methoden.

Natuurlijk is de mogelijkheid van betrouwbare geslachtsrecognitie door loopsanalyse waarschijnlijk om huidige interesse in loopspoofingbenaderingen te vergroten.

Geslachtsbepaling door tussenpersoon

Het is theoretisch mogelijk om tot hetzelfde functionaliteit te komen als het nieuwe project door middel van een grondige analyse van handmatig gecureerde skeletbewegingsgegevens. Als dit was gedaan, zou het nieuwe project mogelijk diepere inzichten hebben in welke bewegingskenmerken het geslacht het beste definiëren. Echter, een dergelijke benadering houdt een grote toewijding van middelen in, en de onderzoekers hebben in plaats daarvan bestaande (minder robuuste) systemen gebruikt om de labels te genereren die nodig zijn.

Deze ‘pseudo-labels’ bieden geen directe inzicht in geslachtsgebonden loopskenmerken, maar maken het mogelijk om loops patronen te filteren op geslacht op een zeer generaliseerbare manier die kan worden bereikt binnen middelenbeperkingen.

Aanvankelijk hebben de onderzoekers het Front View Gait (FVG)-dataset van 2019 gebruikt, dat de uitdaging aanpakt van het herkennen van loops patronen vanuit een frontaal gezichtspunt, dat minder aanwijzingen biedt dan laterale gezichtspunten. Het dataset bevat loopsvoorbeelden met veel obstakels, zoals variabele loopsnelheid, rommelige achtergrond, variërende resolutie en verschillen in kleding.

Uit het FVG-artikel van 2019, GaitNet leert automatisch de essentiële loopskenmerken uit ‘loopsvideo’, op basis van frontaal beeldmateriaal, een frequent gezichtspunt in openbare camera’s. Bron: https://arxiv.org/pdf/1904.04925.pdf

Aangezien FVG niet is gericht op geslachtsidentificatie, hebben de auteurs 226 onderwerpen in het dataset handmatig geannoteerd met geslachtsinformatie om een grondwaarheid te ontwikkelen voor het kader.

Gezichtsdetectie werd gefaciliteerd door MTCNN, en demografische kenmerken werden bepaald door de IMDB-WIKI dataset. Aangezien loopsanalyse potentieel veel effectiever is op lange afstand dan gezichtsafleiding, werden de definitieve labels verkregen door een gewogen gemiddelde van geslachtsvertrouwen dat is afgeleid van het gebied van de gezichts begrenzing ten opzichte van de afmetingen van het kader. Skeletten werden geëxtraheerd met AlphaPose, die alle potentiële ‘geef-aways’ verwijdert, zoals de objectieve hoogte van het onderwerp (die niet met zekerheid kan worden beoordeeld in ad-hoc openbare camerascenario’s).

Testen

Het systeem werd getest tegen de CASIA-B loopsdatabase, met een ondersteek van de oververtegenwoordigde mannen in het dataset om een gelijke verdeling van testen te garanderen, met de gegevens gesplitst in 80% training en 20% validatie.

De onderzoekers hebben hun eigen eerder werk gebruikt, een WildGait-netwerk (zie afbeelding hieronder), om de overeenkomst tussen loopssequenties te berekenen. De geslachts-id’s, die al zijn vastgesteld, worden nu effectief doorgestuurd naar deze fase van het kaderproces.

WildGait is een Spatio-Temporeel Graph Convolutional Network getraind op hoge volumes, automatisch geannoteerde skeletsequentie afgeleid van real-world, surveillance-stromen. Bron: https://arxiv.org/pdf/2105.05528.pdf

In hun conclusie stellen de auteurs dat het systeem overeenkomt met state-of-the-art gezichtsgebaseerde systemen in termen van nauwkeurigheid bij het bepalen van het geslacht. Aangezien er zo veel mogelijke hoeken zijn die kunnen voorkomen in de bron loopsvideo, worden de resultaten verdeeld over een bereik van die mogelijke gezichtspunten: