Bruk av hender som biometriske identifikatorer i kriminell videoforensikk

Forskere i Storbritannia har utviklet et maskinlæringssystem for biometri som kan identifisere enkeltindivider basert på håndens form. Formålet med arbeidet er å hjelpe med å identifisere gjerningspersoner, spesielt i tilfeller av seksuelle overgrep hvor håndinformasjon ofte er den eneste tilgjengelige biometriske signalen.

Artikkelen, med tittelen Hand-basert personidentifikasjon ved hjelp av global og del-avhengig dypt læring av funksjoner, foreslår et nytt ML-rammeverk kalt Global og Del-avhengig Netværk (GPA-Net).

I GPA-Net blir to distinkte 3D-tenorer (global og lokal) oppnådd ved å sende kildebildet gjennom stablede konvolusjonslag på ResNet50-bakkenettverket. Hver av de analytiske veinene vil gjøre en identifikasjonsprediksjon. Kilde: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net oppretter lokale og globale grener på konvolusjonslaget for å opprette distinkte gjenkjennelsessystemer for både hele hånden (med venstre og høyre hånd distinkt gjenkjent, til forskjell fra noen tidligere forsøk i denne sektoren) og delene av hånden, som i seg selv kan fungere som flagg for en bedre identifikasjon av hele hånden.

Forskningen kommer fra School of Computing and Communications ved Lancaster University, og ledes av Nathanael L. Baisa, nå en assistant professor ved Leicester’s De Montfort University.

Hender som konsistente biometriske indikatorer

Forskerne observerer at hender tilbyr en konsistent samling av distinkte biometriske karakteristika som kan være mindre utsatt for alder, forsøk på forkledning eller andre forvrengende faktorer (slik som variasjoner i uttrykk, i tilfelle av ansiktsfangst) som kan påvirke påliteligheten av mer populære indikatorsystemer, inkludert gange-gjenkjennelse og ansikts-gjenkjennelse.

Selv om sikkerhetssystemer har blitt utviklet som bruker håndvenemønster gjennom infrarød avbildning, er dette ikke sannsynlig å bli tilgjengelig i de typene av innspillingsenheter som brukes i kriminelle handlinger. I stedet konsentrerer den nåværende forskningen seg om fangst gjennom standard digitale kameraer, vanligvis innbygget i mobil enheter, men i tilfelle av seksuelle overgrep, ofte mer sannsynlig å bli oppnådd av “dumb” kameraer som er mindre tilbøyelige til å dele nettverksinformasjon.

Ironisk nok har håndflatemønsteret, kanskje den mest populære biometriske metoden i vitenskapsfiksjonsfilmer de siste femti årene, ikke oppnådd den forventede oppslutningen, kanskje fordi fingeravtrykks-ID-systemer krever mindre og billigere gjenkjennelsesoverflater. Imidlertid produserte Fujitsu en promoteringsstudie i 2016 som argumenterte for at håndvenemønster-gjenkjennelse er et overlegent biometrisk verktøy for sikkerhetssystemer.

Datasett og testing

GPA-Net er, ifølge forskerne, det første end-to-end trenede systemet som forsøker hånd-gjenkjennelse. Det sentrale bakkenettverket er basert på ResNet50 trenet over ImageNet. Disse ble valgt for deres evne til å fungere godt på en rekke plattformer, inkludert Google Inception (en GoogleNet-modul som gikk videre til en evoluerende konvolusjonsneural nettverk som spesialiserte seg i objektgjenkjennelse og bildeanalyse).

GPA-Net-rammeverket ble testet over to datasett – 2016 11k Hender-settet, et samarbeid mellom forskere fra Canada og Egypt; og Hong Kong Polytechnic University Hand Dorsal (HD)-datasettet.

En detalj fra ‘Personlig identifikasjon ved hjelp av mindre knokkelmønster fra håndryggen’, som fokuserer på knokkelidentifikasjon.

11k-datasettet inneholder 190 identitetsobjekter, inkludert en rekke metadata om ID, alder, hudfarge, kjønn og andre faktorer. Forskerne ekskluderte alle bilder som inneholdt smykker, siden disse ville uunngåelig bli disruptive outliers. De ekskluderte også bilder fra HD-datasettet som manglet tilstrekkelig klarhet, siden ID-matching er en mer sensitiv sektor enn bilde-syntese, og skjulte data en større fare.

GPA-Net ble kjørt på et PyTorch-dyp-læring-rammeverk på en enkelt NVIDIA GeForce RTX 2080 Ti-GPU med 11 GB VRAM. Modellen ble trenet ved hjelp av cross-entropy-tap og en mini-batch Stochastic Gradient Descent (SGD)-optimerer. Treningsprosessen skjedde over 60 epoker med en initial læringsrate på 0,02, håndtert deretter av en læringsrate-scheduler med en nedgangsfaktor på 0,1 for hver 30 epoker – effektivt sakte treningsprosessen ned mens høy-dimensionale funksjoner raskt blir innlemmet, og systemet må deretter bruke lengre tid på å traversere dataene for mer detaljerte detaljer.

Evalueringen ble utført ved hjelp av Cumulative Matching Characteristics (CMC)-målet med Mean Average Precision (mAP).

Forskerne fant at GPA-Net overgår konkurrerende metoder på ResNet50 med 24,74% i rank-1-nøyaktighet og med 37,82% på mAP.

Kvalitative resultater fra testing av GPA-Net-systemet. Øverste til nederste rader er høyre dorsal-gjenkjennelse av 11k-settet, venstre dorsal av samme, høyre palmar av samme, og venstre palmar av 11k- og HD-datasettene. Grønne og røde rammer indikerer korrekte og inkorrekte matcher.

Forskerne mener at metoden har ‘sterk potensial for robust identifikasjon av gjerningspersoner i alvorlige kriminelle handlinger’.