Determinare il Genere Attraverso gli Stili di Camminata con l’Apprendimento Automatico

I ricercatori della Romania hanno sviluppato un sistema di apprendimento automatico in grado di identificare il genere di una persona dal modo in cui cammina, senza la necessità di analizzare i componenti facciali (che potrebbero essere nascosti o oscurati) e senza affidarsi all’analisi della sagoma o ad altri indizi di genere (che possono essere “spoofati” da membri di un altro genere).

Al contrario, il nuovo sistema utilizza sistemi di etichettatura esistenti basati su questi segnali effimeri (e mutevoli) per identificare le caratteristiche fondamentali che distinguono il passo degli uomini e delle donne, risultando in un sistema che identifica efficacemente il genere solo dai movimenti “scheletrici” di una persona che cammina.

Effettivamente, questo nuovo approccio quantifica i diversi modi in cui gli uomini e le donne camminano senza ricorrere ad altri segnali; ma poiché utilizza altre caratteristiche (come le informazioni del viso) per etichettare inizialmente gli stili di camminata, la ricerca lascia aperta la questione di quali particolari tratti distinguano i sessi mentre camminano.

Il nuovo metodo deriva l’identità di genere dall’analisi facciale dei modelli che operano sotto vincoli (come l’angolo utilizzabile limitato e la necessità di curazione del dataset). Il sistema assegna quindi le caratteristiche del movimento scheletrico come maschile o femminile e distilla le firme di camminata caratteristiche per ciascuno, ignorando i dati facciali, di abbigliamento e altri dati non affidabili. Fonte: https://arxiv.org/pdf/2111.00538.pdf

Il nuovo documento si intitola From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns e proviene da ricercatori dell’Università Politehnica di Bucarest.

Il sistema funziona allo stesso livello dei modelli di analisi facciale e supera spesso quegli standard, con un punteggio F1 fino al 91%, e offre un alto livello di generalizzazione a scenari nuovi, inclusi una varietà di punti di vista e circostanze che di solito bloccano l’efficacia dei sistemi di riconoscimento del genere basati sul viso o simili. Questi includono punti di vista oscurati, angoli non frontali e lo scenario molto tipico di immagini a bassa risoluzione, o la sorveglianza di persone che sono lontane nell’immagine, dove solo lo stile di movimento rimane come potenziale indicatore affidabile del genere.

Divario di Genere

Come concludono i ricercatori, un tale sistema ha un grande potenziale per i framework di raccolta demografica attualmente ostacolati non solo dall’adozione delle maschere sotto COVID, ma anche dalle eccentricità della moda e della casualità che rendono l’analisi dell’abbigliamento e della sagoma un metodo non affidabile per identificare il genere dalle immagini di sorveglianza.

In termini di sorveglianza, essere in grado di escludere tutti i potenziali bersagli che non corrispondono al genere del soggetto bersaglio potrebbe ridurre la pre-elaborazione e la necessità di attenzione umana e automatica fino a metà – poiché i sistemi di identificazione attuali spesso lottano per assegnare correttamente il genere a un individuo sorvegliato.

Dal nuovo documento: vari esempi in cui i sistemi di riconoscimento del genere falliscono. Nella riga superiore, vediamo il nuovo sistema di analisi del passo dei ricercatori che corrisponde correttamente all’etichetta vera per l’immagine (M o F), mentre l’analisi facciale ha fallito nello stesso caso. Nella riga inferiore vediamo istanze in cui gli strumenti di etichettatura utilizzati dai ricercatori hanno prodotto etichette di genere ‘rumorose’ (cioè errate). Per contrastare ciò, i ricercatori hanno utilizzato PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’), tra altri metodi.

Naturalmente, la possibilità di un riconoscimento del genere affidabile attraverso l’analisi del passo è probabile che aumenti l’attuale interesse per gli approcci di spoofing del passo.

Determinazione del Genere per Procura

È teoricamente possibile essere arrivati alla stessa funzionalità raggiunta dal nuovo progetto attraverso un’analisi rigorosa dei dati di movimento scheletrico curati a mano. Se ciò fosse stato fatto, è probabile che il nuovo progetto potrebbe avere una maggiore comprensione dei tratti di movimento che definiscono meglio il genere. Tuttavia, un tale approccio significherebbe un impegno di risorse significativo, e i ricercatori hanno invece utilizzato sistemi esistenti (meno resilienti) per generare le etichette necessarie.

Queste ‘etichette pseudo’ non offrono alcun insight diretto sui tratti di camminata basati sul genere, ma rendono possibile filtrare i modelli di camminata per genere in un modo altamente generalizzabile che può essere raggiunto all’interno dei vincoli di risorse.

Inizialmente i ricercatori hanno utilizzato il dataset Front View Gait (FVG) del 2019, che affronta la sfida del riconoscimento del passo da un angolo frontale, che offre meno indizi rispetto ai punti di vista laterali. Il dataset contiene campioni di camminata con molti ostacoli, come varie velocità di camminata, sfondi affollati, risoluzioni variabili e differenze nell’abbigliamento.

Dal documento FVG del 2019, GaitNet apprende automaticamente le caratteristiche essenziali del passo da ‘video di camminata’, basato su immagini frontali, uno scenario di visualizzazione frequente nelle telecamere pubbliche. Fonte: https://arxiv.org/pdf/1904.04925.pdf

Poiché FVG non è orientato verso l’identificazione del genere, gli autori hanno annotato manualmente 226 soggetti nel dataset con informazioni di genere al fine di sviluppare la verità di base per la struttura.

La rilevazione facciale è stata facilitata attraverso MTCNN, e gli attributi demografici sono stati determinati dal dataset IMDB-WIKI dataset. Poiché l’analisi del passo è potenzialmente molto più efficace a lunga distanza rispetto all’inferenza basata sul viso, le etichette finali sono state ottenute attraverso una media pesata della fiducia del genere derivata dall’area della casella delimitante del viso relativa alle dimensioni del frame. Gli scheletri sono stati estratti con AlphaPose, che rimuove eventuali ‘indizi’, come l’altezza oggettiva del soggetto (che non può essere valutata con certezza in scenari di telecamere pubbliche ad hoc).

Test

Il sistema è stato testato contro il database di passo CASIA-B, campionando i maschi sovrarappresentati nel dataset per garantire la parità di testing, con i dati divisi per il 80% di addestramento e il 20% di convalida.

I ricercatori hanno utilizzato il loro precedente lavoro, una rete WildGait (vedi immagine sotto), per calcolare la somiglianza tra sequenze di camminata. Le etichette di genere, già stabilite, sono ora effettivamente trasferite a questa fase del processo della struttura.

WildGait è una rete di convoluzione grafica spaziale-temporale addestrata su sequenze di scheletri annotate automaticamente derivate da flussi di sorveglianza reali. Fonte: https://arxiv.org/pdf/2105.05528.pdf

In conclusione, gli autori affermano che il sistema corrisponde ai sistemi di riconoscimento del genere basati sul viso in termini di precisione nel determinare il genere. Poiché ci sono così tanti angoli possibili che potrebbero verificarsi nel video di camminata di origine, i risultati sono distribuiti su una gamma di quei punti di vista possibili: