Att bestämma kön genom gångstil med maskinlärande

Forskare från Rumänien har utvecklat ett maskinlärandesystem som kan identifiera en persons kön utifrån hur de går, utan att behöva analysera ansiktskomponenter (som kan vara dolda eller skymda), och utan att förlita sig på silhuettanalys eller andra kroppsburna ledtrådar till kön (som kan “spoofas” av medlemmar av ett annat kön).

I stället använder det nya systemet befintliga märkningssystem baserade på dessa efemära (och föränderliga) signaler för att identifiera de grundläggande egenskaperna som skiljer gångstilen hos män och kvinnor, vilket resulterar i ett system som effektivt identifierar kön endast från “skelettala” rörelser av en person som går.

Effektivt sett kvantifierar denna nya metod de olika sätten som män och kvinnor går på utan att ta hänsyn till andra signaler; men eftersom den använder andra egenskaper (såsom ansiktsinformation) för att initialt märka gångstilar, lämnar forskningen öppen frågan om vilka specifika egenskaper som skiljer könen när de går.

Den nya metoden härleder könstillhörighet från ansiktsanalysmodeller som fungerar under begränsningar (såsom begränsad användbar vinkel och behovet av datasettskurering). Systemet tilldelar sedan skelettala rörelseegenskaper som manligt eller kvinnligt och destillerar karakteristiska gångsignaturer för var och en, samtidigt som det ignorerar ansikte, kläder och andra opålitliga datakällor. Källa: https://arxiv.org/pdf/2111.00538.pdf

Den nya artikeln heter Från Ansikte till Gång: Svagövervakad inlärning av köninformation från gångmönster och kommer från forskare vid University Politehnica i Bukarest.

Systemet fungerar på samma nivå som ansiktsanalysmodeller och överträffar ofta dessa standarder, med en F1-poäng på upp till 91%, och erbjuder en hög grad av generalisering till nya scenarier, inklusive en mängd olika vinklar och omständigheter som vanligtvis blockerar effektiviteten hos ansiktsbaserade eller liknande könsigenkänningsystem. Dessa inkluderar ansiktsdolda vinklar, icke-framvända vinklar och den mycket typiska scenariot med lågupplöst bild, eller övervakning av personer som är avlägsna inom bilden, där endast gångstil återstår som en potentiellt tillförlitlig indikator på kön.

Könsklyfta

Som forskarna slutsats är ett sådant system har stor potential för demografiska ramverk som för närvarande hämmar inte bara av maskanvändning under COVID, utan också av mode och tillfälligheters egenheter som gör kläder och silhuettanalys en opålitlig metod för att identifiera kön från övervakningsbilder.

I termer av övervakning kan möjligheten att utesluta alla potentiella mål som inte passar målsubjektets kön kunna minska förbearbetning och behovet av mänsklig och maskinell uppmärksamhet med så mycket som hälften – eftersom nuvarande identifieringssystem ofta kämpar för att korrekt tilldela kön till en övervakad person.

Från den nya artikeln: olika exempel där königenkänningsystem misslyckas. I den övre raden ser vi forskarnas nya gånganalysystem korrekt matchar den sanna etiketten för bilden (M eller F), medan ansiktsanalys har misslyckats i samma instans. I raden nedan ser vi instanser där de märkningsverktyg som forskarna använde har producerat “brusiga” (dvs. felaktiga) könsetiketter. För att motverka detta använde forskarna PENCIL (‘Probabilistisk slut-till-slut-lärande med brusiga etiketter’), bland andra metoder.

Det är naturligt att möjligheten för tillförlitlig königenkänning genom gånganalys sannolikt kommer att öka nuvarande intresse för gång-spoofing-approcher.

Könsbestämning via ombud

Det är teoretiskt möjligt att ha uppnått samma funktionalitet som det nya projektet genom rigorös analys av handkuraterad skelettal rörelsedata. Om detta hade gjorts, är det troligt att det nya projektet skulle ha djupare insikter i vilka rörelseegenskaper som bäst definierar kön. Men ett sådant tillvägagångssätt innebär en stor resursåtagande, och forskarna har i stället använt befintliga (mindre robusta) system för att generera de etiketter som behövs.

Dessa “pseudo-etiketter” erbjuder ingen direkt insikt i kön-baserade gång-egenskaper, men möjliggör att filtrera gångmönster efter kön på ett högt generaliserbart sätt som kan uppnås inom resursbegränsningar.

Initialt använde forskarna 2019 års Front View Gait (FVG)-dataset, som tar itu med utmaningen att känna igen gång från en främre vinkel, som erbjuder färre ledtrådar än laterala vyer. Datasetet innehåller gångexempel med många hinder, såsom varierad gånghastighet, klutterad bakgrund, varierad upplösning och skillnader i kläder.

Från 2019 års FVG-artikel, GaitNet lär sig automatiskt de väsentliga gångfunktionerna från ‘gångvideo’, baserat på främre vy, en vanlig vy i offentliga kameror. Källa: https://arxiv.org/pdf/1904.04925.pdf

Eftersom FVG inte är inriktat på könstillhörighet, annoterade författarna manuellt 226 ämnen i datasetet med köninformation för att utveckla grundtruth för ramverket.

Ansiktsdetektering underlättades genom MTCNN, och demografiska attribut bestämdes av IMDB-WIKI dataset. Eftersom gånganalys potentiellt är mer effektiv på lång avstånd än ansiktsbaserad inferens, erhölls de slutliga etiketterna genom en vägd genomsnitt av könstillförlitlighet som härrör från ansiktsområdets storlek i förhållande till ramens dimensioner. Skelett extraherades med AlphaPose, som tar bort eventuella “giveaways”, såsom subjektets objektivt höjd (som inte kan utvärderas med säkerhet i ad hoc-offentliga kamerascenarier).

Testning

Systemet testades mot CASIA-B gångdatabas, undersampling den överrepresenterade männen i datasetet för att säkerställa paritet i testningen, med data delad i 80% utbildning och 20% validering.

Forskarna använde sitt tidigare arbete, ett WildGait-nätverk (se bild nedan), för att beräkna likhet mellan gångsekvenser. Könstillhörigheter, redan etablerade, leds nu effektivt till denna fas i ramverksprocessen.

WildGait är ett rumsligt-tidsligt grafkonvolutionsnätverk som tränats på högvolym, automatiskt annoterade skelettsekvenser som härrör från verkliga, övervakningsströmmar. Källa: https://arxiv.org/pdf/2105.05528.pdf

I slutsatsen påpekar författarna att systemet matchar ansiktsbaserade system i termer av noggrannhet i att bestämma kön. Eftersom det finns så många möjliga vinklar som kan förekomma i källgångvideo, är resultaten fördelade över ett spektrum av dessa möjliga vinklar: