Bestemmelse af Køn gennem Gangstil med Maskinlæring

Forskere fra Rumænien har udviklet et maskinlæringsystem, der kan identificere kønnet på en person ud fra måden, de går på, uden at analysere ansigtskomponenter (som kan være skjult eller forstyrret), og uden at afhænge af silhuetanalyse eller andre kroppsbårne hints til køn (som kan være “spoofet” af medlemmer af et andet køn).

I stedet bruger det nye system eksisterende mærkningsystemer baseret på disse flygtige (og ændringsbare) signaler til at identificere de grundlæggende karakteristika, der adskiller mænds og kvinders gang, hvilket resulterer i et system, der effektivt identificerer kønnet kun fra “skelet”-bevægelserne af en person, der går.

Effektivt kvantificerer denne nye tilgang de forskellige måder, mænd og kvinder går på, uden at anvende andre signaler; men da det bruger andre karakteristika (såsom ansigtsinformation) til at mærke gangstilerne, efterlader forskningen spørgsmålet om, hvilke bestemte træk adskiller kønnene, mens de går.

Den nye metode afleder kønsidentitet fra ansigtsanalysemodeller, der opererer under begrænsninger (såsom begrænset brugbar vinkel og behov for dataset-curation). Systemet tildeeler derefter skeletbevægelser til mand eller kvinde og destillerer karakteristiske gang-signaturer for hver, ignorerer ansigt, tøj og andre upålidelige datakilder. Kilde: https://arxiv.org/pdf/2111.00538.pdf

Den nye artikel hedder Fra Ansigt til Gang: Svagt-overvåget Læring af Kønsinformation fra Gangmønstre og kommer fra forskere ved University Politehnica i Bukarest.

Systemet fungerer på niveau med ansigtsanalysemodeller og overgår ofte disse standarder, med en F1-score på op til 91%, og tilbyder en høj grad af generalisering til nye scenarier, herunder en række forskellige vinkler og omstændigheder, der typisk vil blokere effektiviteten af ansigtsbaserede eller lignende kønsrecognitionssystemer. Disse omfatter ansigt-forstyrrede vinkler, ikke-frontale vinkler og det meget typiske scenarie med lav opløsning af billeder eller overvågning af personer, der er langt væk i billedet, hvor kun gangstilen er tilbage som en mulig pålidelig indikator for køn.

Kønsforskel

Som forskerne konkluderer, har et sådant system stor potentiale for demografiske rammeværk, der i øjeblikket hæmmes ikke kun af masker under COVID, men også af mode og tilfældighed, der gør tøj og silhuetanalyse en upålidelig metode til at identificere køn fra overvågningsbilleder.

I forhold til overvågning kan det at kunne frasortere alle potentielle mål, der ikke passer til kønnet af et mål, kunne reducere forarbejdning og behov for menneskelig og maskinmæssig opmærksomhed med op til halvdelen – fordi nuværende identifikationssystemer ofte har svært ved at korrekt tildele køn til en overvåget person.

Fra den nye artikel: forskellige eksempler, hvor kønsrecognitionssystemer fejler. I ovenstående række ser vi, at forskernes nye gang-analyse-system korrekt matcher den sande mærkning for billedet (M eller F), hvorimod ansigtsanalyse har fejlet i samme instans. I rækken nedenfor ser vi eksempler, hvor mærkningsværktøjerne, som forskerne har brugt, har produceret “støjende” (dvs. forkerte) kønsmærkninger. For at imødegå dette brugte forskerne PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’), blandt andet metoder.

Det er naturligt, at muligheden for pålidelig kønsrecognition gennem gang-analyse sandsynligvis vil øge nuværende interesse i gang-spoofing-tilgange.

Kønsbestemmelse via Proxy

Det er teoretisk muligt at have nået samme funktionalitet, som det nye projekt har opnået, gennem rigorøs analyse af håndkurateret skeletbevægelsesdata. Hvis dette var blevet gjort, ville det sandsynligvis have givet det nye projekt dybere indsigt i, hvilke bevægelseskarakteristika bedst definerer køn. Men en sådan tilgang kræver en stor indsats af ressourcer, og forskerne har i stedet brugt eksisterende (mindre resiliente) systemer til at generere de mærkninger, der er nødvendige.

Disse “pseudo-mærkninger” giver ingen direkte indsigt i kønsbaserede gang-træk, men gør det muligt at filtrere gangmønstre efter køn på en højst generaliserbar måde, der kan opnås inden for ressourcebegrænsninger.

Initialt brugte forskerne 2019 Front View Gait (FVG)-datasettet, der beskæftiger sig med udfordringen ved gang-genkendelse fra en frontal vinkel, der tilbyder færre hints end laterale vinkler. Datasettet indeholder gang-prøver med mange forhindringer, såsom varierende ganghastighed, klutteret baggrund, varierende opløsning og forskelle i tøj.

Fra 2019 FVG-artiklen, GaitNet lærer automatisk de essentielle gang-træk fra ‘gang-video’, baseret på front-vinkel-optagelser, et hyppigt set scenarie i offentligt rettede kameraer. Kilde: https://arxiv.org/pdf/1904.04925.pdf

Siden FVG ikke er rettet mod kønsidentifikation, annoterede forfatterne manuelt 226 emner i datasettet med kønsinformation for at udvikle grundsandhed for rammeværket.

Ansigtsgenkendelse blev faciliteret gennem MTCNN, og demografiske attributter bestemt af IMDB-WIKI dataset. Da gang-analyse potentielt er langt mere effektiv på lang afstand end ansigtsbaseret slutning, blev de endelige mærkninger opnået ved en vægtet gennemsnit af køns-sikkerhed, der er afledt fra området af ansigts-begrænsningen i forhold til ramme-størrelsen. Skeletterne blev ekstraheret med AlphaPose, der fjerner eventuelle “giveaways”, såsom den objektive højde af emnet (som ikke kan vurderes med sikkerhed i ad-hoc-offentlige kamera-scenarier).

Test

Systemet blev testet mod CASIA-B gang-database, under-udsamplet de overrepræsenterede mænd i datasettet for at sikre lighed i testning, med data delt i 80% træning og 20% validering.

Forskerne brugte deres eget tidligere arbejde, et WildGait-netværk (se billedet nedenfor), til at beregne lighed mellem gang-sekvenser. Køns-id’erne, der allerede er etableret, føres nu effektivt ind i denne fase af rammeværksprocessen.

WildGait er et Spatio-Temporal Graph Convolutional Network trænet på høj volumen, automatisk annoterede skelet-sekvenser afledt fra virkelige, overvågningsstrømme. Kilde: https://arxiv.org/pdf/2105.05528.pdf

I konklusion fastslår forfatterne, at systemet matcher state-of-the-art ansigtsbaserede systemer i forhold til nøjagtighed i bestemmelse af køn. Da der er så mange mulige vinkler, der kan optræde i kilde-gang-video, er resultaterne fordelt over en række af disse mulige vinkler: