Utilisation des mains comme identifiant biométrique dans la forensique vidéo criminelle

Des chercheurs au Royaume-Uni ont développé un système biométrique d’apprentissage automatique capable d’identifier les individus à partir de la forme de leurs mains. L’objectif de ce travail est d’aider à identifier les délinquants, en particulier dans les cas de délinquants sexuels qui ont enregistré leurs crimes, où les informations sur les mains sont souvent le seul signal biométrique disponible.

Le document, intitulé Identification de personnes basée sur les mains en utilisant une représentation d’apprentissage de caractéristiques globales et de parties, propose un nouveau cadre ML appelé Global and Part-Aware Network (GPA-Net).

Dans GPA-Net, deux tenseurs 3D distincts (globaux et locaux) sont obtenus en passant l’image source à travers des couches de convolution empilées sur le réseau de base ResNet50. Chacun des axes d’analyse fera une prédiction d’identité. Source: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net crée des branches locales et globales sur la couche de convolution, afin de créer des systèmes de reconnaissance distincts pour l’ensemble des mains (avec les mains gauche et droite reconnues distinctement, contrairement à certaines tentatives précédentes dans ce secteur) et les parties de la main, qui peuvent en elles-mêmes agir comme des indicateurs pour une meilleure identification de la main entière.

La recherche provient de l’École d’informatique et de communications de l’Université de Lancaster, et est menée par Nathanael L. Baisa, maintenant professeur adjoint à l’Université De Montfort de Leicester.

Les mains comme indicateurs biométriques cohérents

Les chercheurs observent que les mains offrent une collection cohérente de caractéristiques biométriques distinctes qui peuvent être moins sujettes à l’âge, aux tentatives de déguisement ou à d’autres facteurs de distorsion (tels que les variations d’expression, dans le cas de la capture faciale) qui peuvent influencer la fiabilité des systèmes d’indicateurs plus populaires, y compris la reconnaissance de la démarche et la reconnaissance faciale.

Bien que des systèmes de sécurité aient été conçus pour utiliser les modèles de veines des mains par imagerie infrarouge, cela n’est pas susceptible de devenir disponible dans les types d’appareils d’enregistrement utilisés dans les crimes. Plutôt, la recherche actuelle se concentre sur les captures obtenues à l’aide de caméras numériques standard, généralement intégrées dans les appareils mobiles, mais dans le cas des crimes sexuels, souvent plus susceptibles d’être obtenues à l’aide de « caméras stupides » qui sont moins susceptibles de partager des informations de réseau.

Ironiquement, l’empreinte palmaire, peut-être la méthode biométrique la plus populaire présentée dans les films de science-fiction des cinquante dernières années, n’a pas connu le succès escompté par les futuristes, peut-être parce que les systèmes d’identification d’empreintes digitales nécessitent des surfaces de reconnaissance plus petites et moins coûteuses. Cependant, Fujitsu a produit une étude de promotion en 2016, faisant valoir que la reconnaissance des modèles de veines palmaires est un outil biométrique supérieur pour les systèmes de sécurité.

Jeux de données et tests

GPA-Net est, selon les chercheurs, le premier système formé de bout en bout pour tenter de reconnaissance des mains. Le réseau central de son réseau est basé sur ResNet50 formé sur ImageNet. Ceux-ci ont été choisis pour leur capacité à performer bien sur une variété de plateformes, y compris Google Inception (un module GoogleNet qui a évolué vers un réseau de neurones convolutionnel en développement spécialisé dans la détection d’objets et l’analyse d’images).

Le cadre GPA-Net a été testé sur deux jeux de données – le jeu de données 11k Hands de 2016, une collaboration entre des chercheurs du Canada et de l’Égypte; et le jeu de données Hand Dorsal (HD) de l’Université polytechnique de Hong Kong.

Un détail de ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, se concentrant sur l’identification des articulations.

Le jeu de données 11k comporte 190 sujets d’identité, dont une variété de métadonnées concernant l’ID, l’âge, la couleur de peau, le sexe et d’autres facteurs. Les chercheurs ont exclu toutes les images qui contenaient des bijoux, car celles-ci finiraient inévitablement par devenir des outliers perturbateurs. Ils ont également exclu les images du jeu de données HD qui manquaient de clarté adéquate, car la correspondance d’ID est un secteur plus sensible que la synthèse d’images, et les données obscurcies constituent un plus grand danger.

GPA-Net a été exécuté sur un framework d’apprentissage profond PyTorch sur une seule carte graphique NVIDIA GeForce RTX 2080 Ti avec 11 Go de VRAM. Le modèle a été formé en utilisant la perte d’entropie croisée, et un optimiseur de gradient stochastique mini-batch (SGD). La formation a eu lieu sur 60 époques à un taux d’apprentissage initial de 0,02, géré par un planificateur de taux d’apprentissage avec un facteur de décroissance de 0,1 pour chaque 30 époques – ralentissant effectivement la formation à mesure que les caractéristiques à haute dimension sont rapidement intégrées, et que le système doit ensuite passer plus de temps à parcourir les données pour plus de détails.

L’évaluation a été effectuée en utilisant la métrique de caractéristiques de correspondance cumulatives (CMC) avec la précision moyenne (mAP).

Les chercheurs ont constaté que GPA-Net surpasse les méthodes concurrentes sur ResNet50 de 24,74 % en termes de précision de rang 1 et de 37,82 % en termes de mAP.

Résultats qualitatifs des tests du système GPA-Net. Les lignes du haut vers le bas sont les reconnaissances dorsales droites du jeu de données 11k, les reconnaissances dorsales gauches du même, les reconnaissances palmaires droites du même, et les reconnaissances palmaires gauches des jeux de données 11k et HD. Les boîtes de délimitation vertes et rouges indiquent les correspondances correctes et incorrectes.

Les chercheurs considèrent que la méthode a un « fort potentiel pour une identification robuste des auteurs de crimes graves ».