Verwendung von Händen als biometrischen Identifikatoren in der forensischen Videobewertung

Forscher im Vereinigten Königreich haben ein maschinelles Lernsystem für die biometrische Identifizierung entwickelt, das in der Lage ist, Personen anhand der Form ihrer Hände zu identifizieren. Das Ziel dieser Arbeit ist es, bei der Identifizierung von Tätern zu helfen, insbesondere in Fällen von Sexualstraftätern, die ihre Verbrechen aufgenommen haben, wo Handinformationen oft das einzige verfügbare biometrische Signal sind.

Das Papier, betitelt Hand-basierte Personenerkennung unter Verwendung globaler und teilbewusster tiefer Merkmalsextraktion, und schlägt ein neues ML-Framework vor, das als Global und Part-Aware Network (GPA-Net) bezeichnet wird.

In GPA-Net werden zwei verschiedene 3D-Tensoren (global und lokal) durch das Durchlaufen des Quellbildes durch gestapelte konvolutive Schichten auf dem ResNet50-Backbonenetzwerk erhalten. Jeder der analytischen Wege wird eine Identitätsvorhersage treffen. Quelle: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net erstellt lokale und globale Zweige auf der konvolutiven Schicht, um unterschiedliche Erkennungssysteme für die gesamte Hand (mit links und rechts unterscheidbar, im Gegensatz zu einigen früheren Versuchen in diesem Bereich) und die Teile der Hand zu erstellen, die selbst als Flags für eine bessere Identifizierung der gesamten Hand dienen können.

Die Forschung stammt von der School of Computing and Communications an der Lancaster University und wird von Nathanael L. Baisa geleitet, der jetzt als Assistant Professor an der De Montfort University in Leicester tätig ist.

Hände als konsistente biometrische Indikatoren

Die Forscher stellen fest, dass Hände eine konsistente Sammlung von unterschiedlichen biometrischen Merkmalen bieten, die weniger anfällig für Alter, Versuche, sich zu verkleiden, oder andere störende Faktoren (wie Variationen in Ausdrücken, im Falle von Gesichtserkennung) sind, die die Zuverlässigkeit von beliebteren Indikatorsystemen, einschließlich Gangerkennung und Gesichtserkennung, beeinflussen können.

Obwohl Sicherheitssysteme entwickelt wurden, die Handvenenmuster durch Infrarotbildgebung verwenden, ist es unwahrscheinlich, dass diese in den Arten von Aufnahmegeräten verfügbar sind, die bei Verbrechen verwendet werden. Stattdessen konzentriert sich die aktuelle Forschung auf Aufnahmen, die durch Standard-Digitalkameras erhalten werden, die normalerweise in Mobilgeräten eingebettet sind, aber im Falle von Sexualverbrechen oft eher durch “dumme” Kameras erhalten werden, die weniger geneigt sind, Netzwerkinformationen zu teilen.

Ironischerweise hat die Handflächenabdruck, möglicherweise die beliebteste biometrische Methode, die in den letzten fünfzig Jahren in Science-Fiction-Filmen vorkommt, nicht den erwarteten Einsatz gefunden, vielleicht weil Fingerabdruck-IDs kleinere und günstigere Erkennungsflächen erfordern. Allerdings hat Fujitsu 2016 eine promotionale Studie durchgeführt, in der argumentiert wird, dass die Handvenenmustererkennung ein überlegenes biometrisches Werkzeug für Sicherheitssysteme ist.

Datensätze und Tests

GPA-Net ist, laut den Forschern, das erste End-to-End-Trainingsystem, das sich um die Handerkennung bemüht. Der zentrale Backbone des Netzwerks basiert auf ResNet50, das über ImageNet trainiert wurde. Diese wurden aufgrund ihrer Fähigkeit, auf einer Vielzahl von Plattformen gut zu performen, einschließlich Google Inception (ein GoogleNet-Modul, das zu einem sich entwickelnden Convolutional Neural Network für Objekterkennung und Bildanalyse geworden ist).

Das GPA-Net-Framework wurde auf zwei Datensätzen getestet – dem 2016er 11k-Hand-Datensatz, einer Zusammenarbeit zwischen Forschern aus Kanada und Ägypten; und dem Hand-Dorsal-(HD)-Datensatz der Hong Kong Polytechnic University Hand Dorsal (HD).

Ein Detail aus ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, das sich auf die Knöchelidentifizierung konzentriert.

Der 11k-Datensatz enthält 190 Identitätssubjekte, einschließlich verschiedener Metadaten bezüglich ID, Alter, Hautfarbe, Geschlecht und anderen Faktoren. Die Forscher schlossen alle Bilder aus, die Schmuck enthielten, da diese unweigerlich als störende Ausreißer enden würden. Sie schlossen auch Bilder aus dem HD-Datensatz aus, die nicht ausreichend klar waren, da die ID-Übereinstimmung ein empfindlicherer Sektor als die Bildsynthese ist und verschwommene Daten eine größere Gefahr darstellen.

GPA-Net wurde auf einem PyTorch-Deep-Learning-Framework auf einem einzelnen NVIDIA GeForce RTX 2080 Ti-GPU mit 11 GB VRAM ausgeführt. Das Modell wurde mit Cross-Entropy-Verlust und einem mini-batch-Stochastic-Gradient-Descent-(SGD)-Optimizer trainiert. Die Ausbildung erfolgte über 60 Epochen bei einer anfänglichen Lernrate von 0,02, die danach von einem Lernrate-Scheduler mit einem Abfallfaktor von 0,1 für jede 30 Epochen gehandhabt wurde – effektiv verlangsamt das Training, wenn hochdimensionale Merkmale schnell eingebettet werden und das System danach länger braucht, um granulare Details zu durchlaufen.

Die Bewertung wurde mit der kumulativen Übereinstimmungscharakteristik (CMC) mit mittlerer Durchschnittsgenauigkeit (mAP) durchgeführt.

Die Forscher fanden heraus, dass GPA-Net die konkurrierenden Methoden auf ResNet50 um 24,74 % in der Rang-1-Genauigkeit und um 37,82 % in der mAP übertrifft.

Qualitative Ergebnisse aus dem Testen des GPA-Net-Systems. Von oben nach unten sind die rechten dorsalen Erkennungen des 11k-Satzes, die linke Dorsal des gleichen, die rechte Palmar des gleichen und die linke Palmar des 11k- und HD-Datensatzes. Grüne und rote Begrenzungsboxen zeigen korrekte und inkorrekte Übereinstimmungen an.

Die Forscher sind der Meinung, dass die Methode ein “starkes Potenzial für eine robuste Identifizierung der Täter von schweren Verbrechen” hat.