Het gebruik van handen als biometrische identificator in criminele videoforensics

Onderzoekers in het VK hebben een machine learning-biometrisch systeem ontwikkeld dat in staat is om individuen te identificeren op basis van de vorm van hun handen. Het doel van het onderzoek is om te helpen bij het identificeren van daders, met name in gevallen van seksuele misdrijven die zijn opgenomen, waarbij handinformatie vaak het enige beschikbare biometrische signaal is.

De paper, getiteld Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, en stelt een nieuw ML-kader voor genaamd Global and Part-Aware Network (GPA-Net).

In GPA-Net worden twee distincte 3D-tensors (globaal en lokaal) verkregen door de bronafbeelding door gestapelde convolutionele lagen op het ResNet50-backbonenetwerk te sturen. Elk van de analytische avenues zal een identiteitsvoorspelling maken. Bron: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net creëert lokale en globale takken op de convolutionele laag, om distincte herkenningssystemen te maken voor zowel de gehele handen (met links en rechts distinct herkend, in tegenstelling tot sommige eerdere pogingen in deze sector) en de onderdelen van de hand, die op zichzelf kunnen fungeren als feeder-vlaggen voor een betere identificatie van de gehele hand.

Het onderzoek komt uit de School of Computing and Communications aan de Lancaster University, en wordt geleid door Nathanael L. Baisa, nu een Assistant Professor aan de De Montfort University van Leicester.

Handen als consistente biometrische indicatoren

De onderzoekers observeren dat handen een consistente collectie distincte biometrische kenmerken bieden die minder onderhevig zijn aan leeftijd, pogingen tot vermomming of andere vertekende factoren (zoals variatie in uitdrukkingen, in het geval van gezichtscaptuur) die de betrouwbaarheid van meer populaire indicatorensystemen, waaronder gaafherkenning en gezichtsherkenning, kunnen beïnvloeden.

Hoewel beveiligingssystemen zijn ontwikkeld die gebruikmaken van handaderpatronen via infraroodbeeldvorming, is het niet waarschijnlijk dat dit beschikbaar zal komen in de soorten opnameapparaten die bij misdrijven worden gebruikt. In plaats daarvan richt het huidige onderzoek zich op opnames die zijn verkregen via standaarddigitale camera’s, meestal ingebed in mobiele apparaten, maar in het geval van seksuele misdrijven vaker verkregen door ‘domme’ camera’s die minder geneigd zijn om netwerkgegevens te delen.

Ironisch genoeg heeft de palmprint, mogelijk de meest populaire biometrische methode die in sciencefictionfilms van de afgelopen vijftig jaar is gefeatured, niet de verwachte opkomst gekend, mogelijk omdat vingerafdruksystemen kleinere en goedkopere herkenningssurfaces vereisen. Echter, Fujitsu produceerde een promotieonderzoek in 2016 waarin werd betoogd dat palmaderpatroonherkenning een superieure biometrische tool is voor beveiligingssystemen.

Datasets en testen

GPA-Net is, volgens de onderzoekers, het eerste end-to-end getrainde systeem dat handherkenning probeert. Het centrale backbone van zijn netwerk is gebaseerd op ResNet50 getraind over ImageNet. Deze werden gekozen vanwege hun vermogen om goed te presteren op een breed scala aan platforms, waaronder Google Inception (een GoogleNet-module die is geëvolueerd tot een evoluerend Convolutional Neural Network dat gespecialiseerd is in objectdetectie en beeldanalyse).

Het GPA-Net-kader is getest op twee datasets – de 2016 11k Hands-set, een samenwerking tussen onderzoekers uit Canada en Egypte; en de Hong Kong Polytechnic University Hand Dorsal (HD)-dataset.

Een detail uit ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, met focus op knokkelidentificatie.

De 11k-dataset bevat 190 identiteitsobjecten, waaronder een verscheidenheid aan metadata met betrekking tot ID, leeftijd, huidskleur, geslacht en andere factoren. De onderzoekers hebben alle afbeeldingen uitgesloten die sieraden bevatten, aangezien deze onvermijdelijk als storende outliers zouden eindigen. Ze hebben ook afbeeldingen uit de HD-dataset uitgesloten die niet voldoende duidelijk waren, aangezien ID-matching een gevoeliger sector is dan beeldsynthese, en verduisterde gegevens een groter gevaar vormen.

GPA-Net werd uitgevoerd op een PyTorch-deep learning-framework op een enkele NVIDIA GeForce RTX 2080 Ti GPU met 11gb VRAM. Het model werd getraind met cross-entropy-verlies en een mini-batch Stochastic Gradient Descent (SGD)-optimizer. Training vond plaats over 60 epochs bij een initiële leerratio van 0,02, die vervolgens werd afgehandeld door een leerratio-scheduler met een decayfactor van 0,1 voor elke 30 epochs – effectief het trainen vertragend naarmate hoge dimensionale functies snel worden ingebed, en het systeem vervolgens langer moet doorbrengen om meer granulaire details te doorlopen.

Evaluatie werd uitgevoerd met behulp van de Cumulative Matching Characteristics (CMC)-metriek met Mean Average Precision (mAP).

De onderzoekers vonden dat GPA-Net concurrerende methoden op ResNet50 overtreft met 24,74% in rang-1-nauwkeurigheid en met 37,82% op mAP.

Kwalitatieve resultaten van de test van het GPA-Net-systeem. Bovenste naar onderste rijen zijn de rechterdorsale herkenningen van de 11k-set, linkerzijde van dezelfde, rechterpalmaire van dezelfde, en de linkerpalmaire van de 11k- en HD-datasets. Groene en rode omlijningboxen geven correcte en onjuiste overeenkomsten aan.

De onderzoekers menen dat de methode ‘sterk potentieel heeft voor robuuste identificatie van de daders van ernstige misdrijven’.