L’AI può identificare una persona da un singolo passo

Una nuova iniziativa di ricerca ha prodotto un sistema a basso costo in grado di identificare una persona in base al suono dei suoi passi, anche da un singolo passo.

Nel documento Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), una collaborazione tra ricercatori dell’Università Tecnologica di Nanyang e dell’Università del Kentucky, tra gli altri, i tassi di identificazione sono stati stabiliti fino al 90%, da campioni audio estremamente brevi.

Cinque profili di passi distintivi catturati in PURE.

L’architettura di PURE si basa sui dati di un array di microfoni commodity, con la cattura audio grezza denoised tramite sottrazione spettrale di fondo. Dove il rapporto segnale/rumore è alto, inclusa la conversazione che si verifica al momento della cattura, un algoritmo di separazione della sorgente viene attivato per eseguire l’estrazione discreta dei passi.

L’audio dei passi viene chiarito e analizzato tramite adattamento avversario di dominio, con un framework che comprende un estrattore di caratteristiche, un predicatore di identità e un discriminatore di dominio.

Hardware per PURE

L’attrezzatura utilizzata per PURE è un array di microfoni incorporato in un telaio personalizzato basato sul Raspberry Pi 4.

I microfoni catturano l’audio alla frequenza più alta disponibile per i segnali “struttura-borne” (piedi che entrano in contatto con il terreno), poiché questi dati sono di durata estremamente breve e devono essere il più dettagliati possibile. Tuttavia, i passi “aria-borne” (il suono che i piedi fanno nell’arco verso il prossimo contatto con il terreno) vengono campionati a 16kHz per salvare la capacità di elaborazione locale per i passi “struttura-borne”.

I ricercatori hanno sintetizzato un set di dati di formazione dal Footsteps Sound Effects Soundboard, nonché da Footsteps Sound Effects di Epidemic Sound. La componente audio di vari Ted Talks è stata utilizzata per produrre dati di formazione per il processo di estrazione dei passi dalla conversazione di sottofondo.

Prevenzione degli attacchi di “riproduzione” nel riconoscimento dei passi

Un sistema di questa natura deve essere resistente agli attacchi di “riproduzione”, dove un malintenzionato potrebbe registrare un particolare modello di passo e riprodurlo nella speranza che il sistema lo identifichi come un utente vivo.

Per contrastare ciò, PURE analizza il tempo di arrivo (ToA) nei passi “contatto” e l’angolo di arrivo (AoA) nei passi “aria-borne”.

La mancanza di informazioni dinamiche nei passi riprodotti li rivela abbastanza facilmente, anche se è necessario tenerne conto durante l’elaborazione dei dati. Osservando la naturale irregolarità dei passi e anche la loro velocità nel contesto dell’ambiente (poiché è improbabile che si corra o si indugi, ad esempio, in un ambiente di ufficio), è possibile assicurarsi che i dati ricevuti siano autentici.

Il progetto utilizza tecniche di beamforming per calcolare il ToA, ma l’estrazione dell’AoA è più complessa, richiedendo un R-Net neurale che, ancora una volta, utilizza l’apprendimento avversario per calcolare la portata di un passo. Questo è essenzialmente lo stesso modello della rete neurale precedente, tranne che il predicatore di identità è sostituito con un estimatore di portata.

Precisione

PURE è stato testato in una vasta gamma di ambienti acustici e utilizzando una varietà di velocità di camminata su una gamma di distanze. Man mano che il numero di persone che creano passi aumenta, la precisione diminuisce naturalmente, così come quando la velocità di più fonti di passi aumenta.

Tuttavia, a seconda dell’adattamento del dominio, i risultati su 100 prove hanno trovato che il sistema poteva identificare un utente da 3-5 passi con una gamma di precisione dal 90,73% al 96,53%; da 2-3 passi con una gamma di precisione dall’88,16% al 95,92%; e da un singolo passo con una gamma di precisione dall’81,75% all’88,6%.

I ricercatori prevedono una vasta applicabilità per PURE, a causa del basso costo dell’hardware commodity coinvolto e del fatto che supera anche altri sistemi simili in termini di latenza e precisione, mentre è robusto alle interferenze ambientali e agli attacchi di riproduzione.

La crescita dell’analisi del passo

Questa particolare sfera di ricerca di apprendimento automatico si è concentrata principalmente sulla visione computerizzata negli ultimi dieci anni e ha ricevuto un impulso culturale quando utilizzato come dispositivo di trama in Mission Impossible: Rogue Nation (2015).

Fino ad oggi, le tecnologie di riconoscimento dei passi sono state proposte per l’uso nell’assistenza agli anziani, nella riabilitazione post-chirurgica e, in modo più controverso, per la pubblicità personalizzata negli ambienti di vendita al dettaglio, anche se un tale sistema ha ovviamente usi potenziali per il monitoraggio dei dipendenti in ambienti sicuri.

Nel 2018 è stato segnalato che le autorità cinesi utilizzano l’analisi del passo basata sulla visione dell’azienda di sviluppo di intelligenza artificiale Watrix come aspetto dei sistemi di sorveglianza a circuito chiuso.

Il riconoscimento dei passi è stato anche implementato monitorando la riflessione dei segnali Wi-Fi.

Tuttavia, tutti questi approcci hanno limitazioni intrinseche, che richiedono condizioni di illuminazione che non possono essere garantite, viste non ostruite, attrezzature specializzate proibitivamente costose, condizioni locali eccessivamente specifiche o attrezzature indossabili, tra gli altri ostacoli.