Å bestemme kjønn gjennom gangstil med maskinlæring

Forskere fra Romania har utviklet et maskinlæringssystem som kan identifisere kjønn hos en person basert på måten de går, uten å analysere ansiktstrekk (som kan være skjult eller skjult), og uten å bruke silhuettanalyse eller andre kroppsbårne hint om kjønn (som kan være “spoofet” av medlemmer av et annet kjønn).

I stedet bruker det nye systemet eksisterende merkingssystemer basert på disse flyktige (og endringsbare) signalene for å identifisere de grunnleggende egenskapene som skiller gangen til menn og kvinner, og resulterer i et system som effektivt identifiserer kjønn bare fra “skelettre” bevegelser av en person som går.

Effektivt, denne nye tilnærmingen kvantifiserer de forskjellige måtene menn og kvinner går uten å bruke andre signaler; men siden det bruker andre egenskaper (slik som ansiktsinformasjon) for å initialt merke gangstiler, etterlater forskningen åpne spørsmålet om hvilke bestemte trekk som skiller kjønnene når de går.

Den nye metoden avleder kjønnsidentitet fra ansiktsanalysemodeller som opererer under begrensninger (slik som begrenset brukbar vinkel og behov for datasett-kurering). Systemet tilordner deretter skelettbewegegenskaper som mann eller kvinne og destillerer karakteristiske gangsignaturer for hver, og ignorerer ansikt, klær og andre upålitelige datakilder. Kilde: https://arxiv.org/pdf/2111.00538.pdf

Den nye artikkelen heter Fra Ansikt til Gang: Svakt-overvåket Læring av Kjønnsinformasjon fra Gangmønster, og kommer fra forskere ved Universitetet Politehnica i Bucharest.

Systemet fungerer på lik linje med ansiktsanalysemodeller, og overgår ofte disse standardene, med en F1-poeng på opptil 91%, og tilbyr en høy grad av generalisering til nye scenarioer, inkludert en rekke synsvinkler og omstendigheter som vanligvis blokkerer effektiviteten av ansiktbaserte eller lignende kjønnskjenningsystemer. Disse inkluderer ansikt-skjulte synsvinkler, ikke-frontale vinkler og det svært typiske scenariet med lavoppløselig bilde, eller overvåking av personer som er langt unna i bildet, hvor bare bevegelsesstilen gjenstår som en potensielt pålitelig indikator for kjønn.

Kjønnsforskjell

Som forskerne konkluderer, har et slikt system stor potensiale for demografiske rammeverk som for tiden hindres ikke bare av masker under COVID, men også av de eksentriske mote- og tilfeldighetstrekke som gjør klær og silhuettanalyse en upålitelig metode for å identifisere kjønn fra overvåkingsbilder.

I forhold til overvåking, kan evnen til å diskvalifisere alle potensielle mål som ikke passer kjønnet til et målsubjekt, kutte forbehandling og behov for menneskelig og maskinell oppmerksomhet med så mye som halvparten – fordi gjeldende identifikasjonssystemer ofte sliter med å korrekt tilordne kjønn til en overvåket person.

Fra den nye artikkelen: forskjellige eksempler hvor kjønnskjenningsystemer feiler. I den øverste raden ser vi forskernes nye ganganalyse-system korrekt matcher det sanne merket for bildet (M eller F), mens ansiktsanalyse har feilet i samme instans. I raden under ser vi eksempler hvor merkingverktøyene brukt av forskerne har produsert “støyende” (dvs. feil) kjønnsmerker. For å motvirke dette, brukte forskerne PENCIL (‘Probabilistisk End-to-end Støykorrigeringslæring med Støyende Merker’), blant andre metoder.

Det er naturlig at muligheten for pålitelig kjønnskjennelse gjennom ganganalyse sannsynligvis vil øke nåværende interesse for gang-spoofing-tilnærming.

Kjønnsbestemmelse ved Proxy

Det er teoretisk mulig å ha kommet frem til samme funksjonalitet som oppnådd av det nye prosjektet gjennom rigorøs analyse av manuelt kurerte skelettbewege-data. Hvis dette var blitt gjort, er det sannsynlig at det nye prosjektet ville ha dypere innsikt i hvilke bevegelegenskaper best definerer kjønn. Imidlertid innebærer en slik tilnærming en stor ressursforpliktelse, og forskerne har i stedet brukt eksisterende (mindre robuste) systemer for å generere de merker som er nødvendige.

Disse “pseudo-merkene” tilbyr ingen åpenbar innsikt i kjønnsbaserte gangtrekk, men gjør det mulig å filtrere gangmønster etter kjønn på en svært generaliserbar måte som kan oppnås innenfor ressursbegrensninger.

Initielt brukte forskerne 2019 Front View Gait (FVG)-datasettet, som behandler utfordringen med ganggjenkjenning fra en frontal vinkel, som tilbyr færre hint enn laterale visninger. Datasettet inneholder gangprøver med mange hindringer, som variert ganghastighet, kluttert bakgrunn, variende oppløsning og forskjeller i klær.

Fra 2019 FVG-papiret, GaitNet lærer automatisk essensielle gang-egenskaper fra ‘gangevideo’, basert på front-vinkel-opptak, et hyppig sett scenario i offentlige kameraer. Kilde: https://arxiv.org/pdf/1904.04925.pdf

Siden FVG ikke er rettet mot kjønnsidentifikasjon, annoterte forfatterne manuelt 226 subjekter i datasettet med kjønnsinformasjon for å utvikle grunntruth for rammeverket.

Ansiktsgjenkjenning ble fasilitert gjennom MTCNN, og demografiske attributter bestemt av IMDB-WIKI datasettet. Siden ganganalyse potensielt er langt mer effektiv på lang avstand enn ansiktsbasert inferens, ble de endelige merkene oppnådd gjennom en vektet gjennomsnitt av kjønnskonfidens som er avledet fra området av ansiktsbegrensningen i forhold til dimensjonene av rammene. Skjeletter ble trukket ut med AlphaPose, som fjerner eventuelle “giveaways”, som den objektive høyden til subjektet (som ikke kan vurderes med sikkerhet i ad-hoc offentlige kamerascenarier).

Testing

Systemet ble testet mot CASIA-B gang-database, underprøving av overrepresenterte menn i datasettet for å sikre likhet i testing, med data delt i 80% trening og 20% validering.

Forskerne brukte sitt eget tidligere arbeid, et WildGait-nettverk (se bildet under), for å beregne likhet mellom gangsekvenser. Kjønns-ID-ene, allerede etablert, blir nå effektivt ført gjennom til denne fasen av rammeverksprosessen.

WildGait er et Spatio-Temporal Graph Convolutional Network trent på høyvolum, automatisk annoterte skjelettsekvenser avledet fra virkelige, overvåkingsstrømmer. Kilde: https://arxiv.org/pdf/2105.05528.pdf

I konklusjon, fastslår forfatterne at systemet matcher state-of-the-art ansiktbaserte systemer i forhold til nøyaktighet i å bestemme kjønn. Siden det finnes så mange mulige vinkler som kan forekomme i kildegangvideo, er resultatene fordelt over en rekke av disse mulige synsvinklene: