L’IA découvre l’activité secrète révélée par les murs vides

Une collaboration de recherche, comprenant des contributeurs de NVIDIA et du MIT, a développé une méthode d’apprentissage automatique qui peut identifier des personnes cachées simplement en observant l’éclairage indirect sur un mur voisin, même lorsque les personnes ne sont pas près des sources de lumière. La méthode a une précision proche de 94% lorsqu’elle tente d’identifier le nombre de personnes cachées, et peut également identifier l’activité spécifique d’une personne cachée en amplifiant massivement les rebonds de lumière qui sont invisibles pour les yeux humains et les méthodes standard d’amplification d’images.

Perturbations imperceptibles de la lumière, amplifiées par la nouvelle méthode, qui utilise des réseaux de neurones convolutionnels pour identifier les zones de changement. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Le nouveau document est intitulé Ce que vous pouvez apprendre en regardant un mur vide, avec des contributions de NVIDIA et du MIT, ainsi que de l’Institut israélien de technologie.

Les approches précédentes pour « voir autour des murs » reposaient sur des sources de lumière contrôlables ou des connaissances préalables de sources d’occultation connues, alors que la nouvelle technique peut être généralisée à toute nouvelle pièce, sans nécessité de recalibration. Les deux réseaux de neurones convolutionnels qui identifient les personnes cachées ont utilisé des données obtenues à partir de seulement 20 scènes.

Le projet est destiné à des situations à haut risque, critiques en matière de sécurité, pour des opérations de recherche et de sauvetage, des tâches de surveillance générales de la police, des scénarios de réponse d’urgence, pour la détection de chutes chez les personnes âgées, et comme moyen de détecter les piétons cachés pour les véhicules autonomes.

Évaluation passive

Comme c’est souvent le cas avec les projets de vision par ordinateur, la tâche principale était d’identifier, de classifier et d’exploiter les changements d’état perçus dans un flux d’images. La concaténation des changements conduit à des modèles de signature qui peuvent être utilisés pour identifier un nombre d’individus ou pour détecter l’activité d’un ou plusieurs individus.

Le travail ouvre la possibilité d’une évaluation de scène complètement passive, sans nécessité d’utiliser des surfaces réfléchissantes, signaux Wi-Fi, radar, son ou tout autre « circonstance spéciale » requise dans d’autres efforts de recherche récents qui ont cherché à établir une présence humaine cachée dans un environnement dangereux ou critique.

Un scénario de collecte de données du type utilisé pour la nouvelle recherche. Les sujets sont soigneusement positionnés pour ne pas projeter d’ombre ou occulter directement les lumières, et aucune surface réfléchissante ou autre « vecteur de triche » n’est autorisée. Source: https://arxiv.org/pdf/2108.13027.pdf

En effet, la lumière ambiante pour le scénario typique envisagé pour l’application submergerait toute perturbation mineure causée par la lumière réfléchie des personnes cachées ailleurs dans la scène. Les chercheurs calculent que la contribution de perturbation de lumière des individus serait généralement inférieure à 1% de la lumière totale visible.

Suppression de l’éclairage statique

Pour extraire le mouvement d’une image de mur apparemment statique, il est nécessaire de calculer la moyenne temporelle de la vidéo et de la supprimer de chaque trame. Les modèles de mouvement résultants sont généralement en dessous du seuil de bruit même des équipements de vidéo de bonne qualité, et en effet, une grande partie du mouvement se produit dans un espace de pixel négatif.

Pour remédier à cela, les chercheurs échantillonnent la vidéo à un facteur de 16 et mettent à l’échelle la vidéo résultante à un facteur de 50, tout en ajoutant un niveau de gris moyen pour discerner la présence de pixels négatifs (qui ne pouvaient pas être comptabilisés par le bruit de base du capteur de vidéo).

La différence entre le mur perçu par l’homme et la perturbation extraite des individus cachés. Puisque la qualité de l’image est un problème central dans cette recherche, veuillez vous référer à la vidéo officielle à la fin de l’article pour une image de meilleure qualité.

La fenêtre d’opportunité pour percevoir le mouvement est très fragile et peut être affectée même par le flicker des lumières à une fréquence de 60 Hz AC. Par conséquent, cette perturbation naturelle doit également être évaluée et supprimée de la vidéo avant que le mouvement induit par les personnes ne se manifeste.

Enfin, le système produit des tracés espace-temps qui signalent un nombre spécifique d’habitants de la pièce cachée – des signatures visuelles discrètes:

Tracés espace-temps de signature représentant différents nombres de personnes cachées dans une pièce.

Différentes activités humaines entraîneront également des perturbations de signature qui peuvent être classées et reconnues plus tard:

Les tracés espace-temps de signature pour l’inactivité, la marche, l’accroupissement, les mains qui s’agitent et le saut.

Pour produire un flux de travail automatisé basé sur l’apprentissage automatique pour la reconnaissance de personnes cachées, des vidéos variées provenant de 20 scénarios appropriés ont été utilisées pour entraîner deux réseaux de neurones fonctionnant sur des configurations largement similaires – l’un pour compter le nombre de personnes dans une scène, et l’autre pour identifier tout mouvement se produisant.

Test

Les chercheurs ont testé le système entraîné dans dix environnements réels non vus conçus pour recréer les limitations anticipées pour le déploiement final. Le système a pu atteindre une précision allant jusqu’à 94,4% (sur 256 trames – soit environ 8 secondes de vidéo) pour classer le nombre de personnes cachées, et jusqu’à 93,7% (dans les mêmes conditions) pour classer les activités. Même si la précision diminue avec moins de trames sources, ce n’est pas une baisse linéaire, et même 64 trames atteindront un taux de précision de 79,4% pour l’évaluation du « nombre de personnes » (par rapport à près de 95% pour quatre fois le nombre de trames).

Bien que la méthode soit robuste face aux changements de luminosité liés au temps, elle a du mal dans une scène éclairée par une télévision, ou dans des circonstances où les personnes portent des vêtements monochromes de la même couleur que le mur réfléchissant.

Plus de détails sur la recherche, y compris des extraits de meilleure qualité, peuvent être vus dans la vidéo officielle ci-dessous.