Bestemmelse af køn gennem gangstil med maskinlæring

Forskere fra Rumænien har udviklet et maskinlæringsystem, der kan identificere en persons køn ud fra måden, de går på, uden at skulle analysere ansigtskomponenter (der kan være skjult eller forstyrret), og uden at afhænge af silhuetanalyse eller andre kropsbårne hints til køn (der kan være “spoofet” af medlemmer af et andet køn).

I stedet bruger det nye system eksisterende mærkningsystemer baseret på disse flygtige (og ændringsbare) signaler til at identificere de kerneegenskaber, der adskiller mænds og kvinders gang, hvilket resulterer i et system, der effektivt identificerer køn kun fra en persons “skelet”-bevægelser.

Effektivt kvantificerer den nye tilgang de forskellige måder, mænd og kvinder går på, uden at skulle ty til andre signaler; men da den bruger andre egenskaber (såsom ansigtsinformation) til at mærke gangstilerne, efterlader forskningen spørgsmålet om, hvilke bestemte træk adskiller kønnene, når de går.

Den nye metode afleder kønsidentitet fra ansigtsanalysemodeller, der opererer under begrænsninger (såsom begrænset brugbar vinkel og behov for dataset-curation). Systemet tildeler derefter skeletbevægelser som mand eller kvinde og destillerer karakteristiske gangsignaturer for hver, og ignorerer ansigt, tøj og andre upålidelige kilder til data. Kilde: https://arxiv.org/pdf/2111.00538.pdf

Den nye artikel hedder From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns og kommer fra forskere ved University Politehnica i Bukarest.

Systemet fungerer på samme niveau som ansigtsanalysemodeller og overgår ofte disse standarder, med en F1-score på op til 91%, og tilbyder en høj grad af generalisering til nye scenarier, herunder en række forskellige vinkler og omstændigheder, der typisk vil blokere effektiviteten af ansigtsbaserede eller lignende kønsrecognitionssystemer. Disse omfatter ansigt-forstyrrede vinkler, ikke-frontale vinkler og det meget typiske scenarie med lav opløsning af billeder eller overvågning af personer, der er langt væk i billedet, hvor kun gangstilen er tilbage som en mulig pålidelig indikator for køn.

Kønsforskel

Som forskerne konkluderer, har sådant et system stor potentiale for demografiske rammer, der i øjeblikket hæmmes ikke kun af masker under COVID, men også af mode og tilfældigheders særheder, der gør tøj og silhuetanalyse til en upålidelig metode til at identificere køn fra overvågningsbilleder.

I forhold til overvågning kan det at kunne frasortere alle potentielle mål, der ikke passer med kønnet af et målsubjekt, reducere forarbejdning og behov for menneskelig og maskinmæssig opmærksomhed med op til halvdelen – fordi nuværende identifikationssystemer ofte kæmper for at korrekt tildele køn til en overvåget person.

Fra den nye artikel: forskellige eksempler, hvor kønsrecognitionssystemer fejler. I den øverste række ser vi, at forskernes nye ganganalyse-system korrekt matcher den sande mærkning for billedet (M eller F), hvorimod ansigtsanalyse har fejlet i samme instance. I rækken under ser vi eksempler, hvor mærkningsværktøjerne, der er brugt af forskerne, har produceret “støj” (dvs. forkerte) kønsmærkninger. For at imødegå dette brugte forskerne PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’), blandt andre metoder.

Det er naturligt, at muligheden for pålidelig kønsrecognition gennem ganganalyse sandsynligvis vil øge nuværende interesse for gang-spoofing-tilgange.

Kønsbestemmelse via proxy

Det er teoretisk muligt at have opnået den samme funktionalitet, der er opnået af det nye projekt, gennem omhyggelig analyse af håndkuraterede skeletbevægelsesdata. Hvis dette var blevet gjort, er det sandsynligt, at det nye projekt måske ville have dybere indsigt i, hvilke bevægelsesegenskaber bedst definerer køn. Men en sådan tilgang kræver en stor indsats af ressourcer, og forskerne har i stedet brugt eksisterende (mindre robuste) systemer til at generere de mærkninger, der er nødvendige.

Disse “pseudo-mærkninger” giver ingen direkte indsigt i kønsbaserede gangtræk, men gør det muligt at filtrere gangmønstre efter køn på en meget generaliserbar måde, der kan opnås inden for ressourcebegrænsninger.

Forskerne brugte initialt 2019 Front View Gait (FVG)-datasettet, der tager sig af udfordringen med ganggenkendelse fra en frontal vinkel, der tilbyder færre hints end laterale visninger. Datasettet indeholder gangprøver med mange forhindringer, såsom varierende ganghastighed, klutteret baggrund, varierende opløsning og forskelle i tøj.

Fra 2019 FVG-artiklen, GaitNet lærer automatisk de essentielle gangfunktioner fra ‘gangvideo’, baseret på front-vinkel-optagelser, et hyppigt set scenarie i offentlige kameraer. Kilde: https://arxiv.org/pdf/1904.04925.pdf

Da FVG ikke er rettet mod kønsidentifikation, annoterede forfatterne manuelt 226 emner i datasettet med kønsinformation for at udvikle grundsandhed for rammen.

Ansigtsgenkendelse blev muliggjort gennem MTCNN, og demografiske attributter bestemt af IMDB-WIKI datasettet. Da ganganalyse potentielt kan være langt mere effektiv på lang afstand end ansigtsbaseret slutning, blev de endelige mærkninger opnået ved en vægtet gennemsnit af kønskonfidens, der er afledt fra området af ansigtsbundningen i forhold til rammeafmetningerne. Skeletterne blev ekstraheret med AlphaPose, der fjerner eventuelle “giveaways”, såsom subjektets objektive højde (der ikke kan vurderes med sikkerhed i ad hoc-offentlige kamera-scenarier).

Test

Systemet blev testet mod CASIA-B gang-databasen, under-udsamplede de overrepræsenterede mænd i datasettet for at sikre lighed i testen, med data delt i 80% træning og 20% validering.

Forskerne brugte deres eget tidligere arbejde, en WildGait-netværk (se billedet nedenfor), til at beregne lighed mellem gangsekvenser. Køns-ID’erne, der allerede er etableret, føres nu effektivt ind i denne fase af ramme-processen.

WildGait er et Spatio-Temporal Graph Convolutional Network trænet på højvolumen, automatisk annoterede skeletsekvenser afledt fra virkelige, overvågningsstrømme. Kilde: https://arxiv.org/pdf/2105.05528.pdf

I konklusion siger forfatterne, at systemet matcher stat-of-the-art ansigtsbaserede systemer i forhold til nøjagtighed i bestemmelse af køn. Da der er så mange mulige vinkler, der kan optræde i kilde-gangvideo, er resultaterne fordelt over en række af disse mulige vinkler: