L’IA peut identifier une personne à partir d’un seul pas

Une nouvelle initiative de recherche a produit un système à faible coût capable d’identifier une personne en fonction du son de ses pas, à partir d’un seul pas.

Dans le document Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), une collaboration entre des chercheurs de l’Université technologique de Nanyang et de l’Université du Kentucky, entre autres, les taux d’identification ont été établis à jusqu’à 90%, à partir d’échantillons audio extrêmement brefs.

Cinq profils de pas distinctifs capturés dans PURE.

L’architecture de PURE repose sur des données provenant d’un tableau de microphones grand public, avec la capture audio brute débruitée via la soustraction spectrale de fond. Lorsque le rapport signal/bruit est élevé, y compris la conversation qui se déroule au moment de la capture, un algorithme de séparation de source est activé pour effectuer l’extraction discrète des pas.

Le son des pas est clarifié et analysé via l’adaptation adverse de domaine, avec un cadre comprenant un extracteur de fonctionnalités, un prédicteur d’identité et un discriminateur de domaine.

Materiel pour PURE

Le matériel utilisé pour PURE est un tableau de microphones intégré dans un support personnalisé basé sur Raspberry Pi 4.

Les microphones capturent l’audio à la fréquence la plus élevée disponible pour les signaux « structure-borne » (pieds entrant en contact avec le sol), puisque ces données sont d’une durée extrêmement courte et doivent être aussi détaillées que possible. Cependant, les pas aériens (le son que les pieds font dans l’arc vers le prochain contact avec le sol) sont échantillonnés à 16kHz afin d’économiser la capacité de traitement local pour les pas structure-borne.

Les chercheurs ont synthétisé un ensemble de données de formation à partir de la banque de sons de pas, ainsi que de sons de pas d’Epidemic Sound. La composante audio de diverses conférences Ted a été utilisée pour produire des données de formation pour le processus d’extraction des pas de la conversation de fond.

Prévention des attaques de « répétition » dans la reconnaissance des pas

Un système de cette nature doit être résistant aux attaques de « répétition », où un malveillant pourrait enregistrer un modèle de pas particulier et le répéter dans l’espoir que le système identifiera l’enregistrement comme un utilisateur en direct.

Pour contrer cela, PURE analyse le temps d’arrivée (ToA) dans les pas de « contact » et l’angle d’arrivée (AoA) dans les pas aériens.

Le manque d’informations dynamiques dans les pas répétés les révèle assez facilement, bien qu’il soit nécessaire de tenir compte de cela lors du traitement des données. En observant l’irrégularité naturelle des pas et leur vitesse dans le contexte de l’environnement (puisqu’il est peu probable qu’on puisse soit courir, soit traîner, par exemple, dans un environnement de bureau), il est possible de s’assurer que les données reçues sont authentiques.

Le projet utilise des techniques de formation de faisceau pour calculer le ToA, mais l’extraction de l’AoA est plus complexe, nécessitant un réseau neuronal R-Net qui, à nouveau, utilise l’apprentissage adverse pour calculer la portée d’un pas. Il s’agit essentiellement du même modèle que le réseau neuronal précédent, à l’exception que le prédicteur d’identité est substitué par un estimateur de portée.

Précision

PURE a été testé dans un large éventail d’environnements acoustiques et en utilisant une variété de vitesses de marche sur une gamme de distances. À mesure que le nombre de personnes créant des pas augmente, la précision diminue naturellement, tout comme elle le fait lorsque la vitesse de plusieurs sources de pas augmente.

Cependant, en fonction de l’adaptation de domaine, les résultats sur 100 essais ont montré que le système pouvait identifier un utilisateur à partir de 3 à 5 pas avec une précision allant de 90,73% à 96,53%; à partir de 2 à 3 pas avec une précision allant de 88,16% à 95,92%; et à partir d’un seul pas avec une précision allant de 81,75% à 88,6%.

Les chercheurs prévoient une large applicabilité pour PURE, en raison du faible coût du matériel grand public impliqué et du fait qu’il surpasse également les systèmes similaires en termes de latence et de précision, tout en étant robuste aux interférences environnementales et aux attaques de répétition.

La croissance de l’analyse de la démarche

Ce domaine de recherche en apprentissage automatique s’est concentré principalement sur la vision par ordinateur au cours des dix dernières années et a reçu un élan culturel lorsqu’il a été utilisé comme un dispositif de trame dans Mission Impossible: Rogue Nation (2015).

Jusqu’à présent, les technologies de reconnaissance de pas ont été proposées pour une utilisation dans les soins aux personnes âgées, la rééducation post-chirurgicale et plus controversée pour la diffusion publicitaire personnalisée dans les environnements de détail, bien qu’un tel système ait évidemment des utilisations potentielles pour la surveillance des employés dans les environnements sécurisés.

En 2018, il a été signalé que les autorités chinoises utilisent l’analyse de la démarche basée sur la vision d’AI de la société de développement d’IA Watrix comme un aspect de ses systèmes de surveillance publique à circuit fermé.

La reconnaissance de la démarche a également été mise en œuvre en surveillance de la réflexion des signaux Wi-Fi.

Cependant, toutes ces approches ont des limites inhérentes, nécessitant soit des conditions de lumière qui ne peuvent pas être garanties, des vues non obstruées, un équipement spécialisé coûteux, des conditions locales trop spécifiques, ou un équipement porté par le corps, entre autres obstacles.