Het gebruik van handen als biometrische identificator in forensische videocriminaliteit

Onderzoekers in het VK hebben een machine learning-biometrisch systeem ontwikkeld dat in staat is om individuen te identificeren op basis van de vorm van hun handen. Het doel van het onderzoek is om te helpen bij het identificeren van daders, met name in gevallen van seksuele delinquenten die hun misdaden hebben opgenomen, waarbij handinformatie vaak het enige beschikbare biometrische signaal is.

Het artikel, getiteld Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, stelt een nieuw ML-kader voor dat Global and Part-Aware Network (GPA-Net) heet.

In GPA-Net worden twee distincte 3D-tensors (globaal en lokaal) verkregen door de bronafbeelding door gestapelde convolutionele lagen op het ResNet50-backbonenetwerk te sturen. Elk van de analytische wegen zal een identiteitsvoorspelling doen. Bron: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net creëert lokale en globale takken op de convolutionele laag, om distincte herkenningssystemen te maken voor zowel de gehele handen (met links en rechts onderscheiden, in tegenstelling tot sommige eerdere pogingen in deze sector) en de onderdelen van de hand, die op zichzelf kunnen fungeren als voedingsvlaggen voor een betere identificatie van de gehele hand.

Het onderzoek komt uit de School of Computing and Communications van de Lancaster University en wordt geleid door Nathanael L. Baisa, nu assistant professor aan de De Montfort University in Leicester.

Handen als consistente biometrische indicatoren

De onderzoekers observeren dat handen een consistente collectie distincte biometrische kenmerken bieden die minder onderhevig zijn aan leeftijd, pogingen tot vermomming of andere storende factoren (zoals variatie in uitdrukkingen, in het geval van gezichtsherkenning) die de betrouwbaarheid van meer populaire indicatoren kunnen beïnvloeden, waaronder gaitherkenning en gezichtsherkenning.

Hoewel beveiligingssystemen zijn ontwikkeld die gebruikmaken van handaderpatronen via infraroodbeelden, is het onwaarschijnlijk dat deze beschikbaar zullen zijn in de soorten opnameapparaten die bij misdaden worden gebruikt. In plaats daarvan richt het huidige onderzoek zich op opnames die zijn verkregen via standaarddigitale camera’s, meestal ingebouwd in mobiele apparaten, maar in het geval van seksuele misdaden vaak vaker verkregen door ‘domme’ camera’s die minder geneigd zijn om netwerkgegevens te delen.

Ironisch genoeg heeft de palmprint, mogelijk de meest populaire biometrische methode die in sciencefictionfilms van de afgelopen vijftig jaar is gefeatured, niet de verwachte populariteit gekregen, mogelijk omdat vingerafdruksystemen kleinere en goedkopere herkenningssurfaces vereisen. Echter, Fujitsu produceerde een promotieonderzoek in 2016 waarin werd betoogd dat palmaderpatroonherkenning een superieure biometrische tool is voor beveiligingssystemen.

Datasets en testen

GPA-Net is, volgens de onderzoekers, het eerste eind-tot-eind getrainde systeem dat een poging doet tot handherkenning. Het centrale backbone van zijn netwerk is gebaseerd op ResNet50 getraind op ImageNet. Deze werden gekozen vanwege hun vermogen om goed te presteren op een breed scala aan platforms, waaronder Google Inception (een GoogleNet-module die is geëvolueerd tot een evoluerend Convolutional Neural Network dat gespecialiseerd is in objectdetectie en beeldanalyse).

Het GPA-Net-kader is getest op twee datasets – de 2016 11k Hands-set, een samenwerking tussen onderzoekers uit Canada en Egypte; en de Hong Kong Polytechnic University Hand Dorsal (HD)-dataset.

Een detail van ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, met focus op knokkelidentificatie.

De 11k-dataset bevat 190 identiteitsobjecten, waaronder een verscheidenheid aan metadata met betrekking tot ID, leeftijd, huidskleur, geslacht en andere factoren. De onderzoekers sloten alle afbeeldingen uit die sieraden bevatten, aangezien deze onvermijdelijk als storende outliers zouden eindigen. Ze sloten ook afbeeldingen uit de HD-dataset uit die niet voldoende duidelijk waren, aangezien ID-matching een gevoeliger sector is dan beeldsynthese, en verduisterde gegevens een groter gevaar vormen.

GPA-Net werd uitgevoerd op een PyTorch deep learning-framework op een enkele NVIDIA GeForce RTX 2080 Ti GPU met 11gb VRAM. Het model werd getraind met cross-entropy loss en een mini-batch Stochastic Gradient Descent (SGD)-optimizer. Training vond plaats over 60 epochs met een initiële leerratio van 0,02, die vervolgens werd afgehandeld door een leerratio-scheduler met een decay-factor van 0,1 voor elke 30 epochs – effectief vertragend van de training terwijl hoge dimensionale functies snel worden ingebed, en het systeem vervolgens langer moet doorbrengen om meer gedetailleerde details te verkrijgen.

Evaluatie vond plaats met behulp van de Cumulative Matching Characteristics (CMC)-metriek met Mean Average Precision (mAP).

De onderzoekers vonden dat GPA-Net beter presteert dan concurrerende methoden op ResNet50 met 24,74% in rang-1-nauwkeurigheid en met 37,82% op mAP.

Kwalitatieve resultaten van de test van het GPA-Net-systeem. Bovenste naar onderste rijen zijn de rechterdorsale herkenningen van de 11k-set, linker-dorsale van dezelfde, rechterpalmaire van dezelfde, en de linkerpalmaire van de 11k en HD-datasets. Groene en rode omlijningvakken geven correcte en onjuiste overeenkomsten aan.

De onderzoekers menen dat de methode ‘sterk potentieel heeft voor robuuste identificatie van de daders van ernstige misdaden’.