Bruk av hender som biometriske identifikatorer i kriminell videoforensikk

Forskere i Storbritannia har utviklet et maskinlæringssystem for biometri som kan identifisere enkeltpersoner basert på formen på deres hender. Formålet med arbeidet er å hjelpe med å identifisere lovbruddere, særlig i saker hvor seksuelle lovbruddere har filmet sine forbrytelser, hvor håndinformasjon ofte er den eneste biometriske signalen som er tilgjengelig.

Den artikkelen, med tittelen Handbasert personidentifikasjon ved hjelp av globale og del-orienterte dype funksjonsrepresentasjonslæring, og foreslår et nytt ML-rammeverk kalt Global og Del-Bevisst Net (GPA-Net).

I GPA-Net, blir to distinkte 3D-tensorer (globale og lokale) oppnådd ved å sende kildebildet gjennom stabler av konvolusjonslag på ResNet50-bakke-nettverket. Hver av de analytiske veinene vil gjøre en identitetsprediksjon. Kilde: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net skaper lokale og globale grener på konvolusjonslaget, for å skape distinkte gjenkjennelsessystemer for både hele hånden (med venstre og høyre hånd distinkt gjenkjent, til forskjell fra noen tidligere forsøk i denne sektoren) og delene av hånden, som i seg selv kan fungere som feeder-flags for en bedre identifikasjon av hele hånden.

Forskningen kommer fra Skolen for datavitenskap og kommunikasjon ved Lancaster University, og ledet av Nathanael L. Baisa, nå en assistant professor ved De Montfort University i Leicester.

Hender som konsistente biometriske indikatorer

Forskerne observerer at hender tilbyr en konsistent samling av distinkte biometriske karakteristika som kan være mindre utsatt for alder, forsøk på forkledning eller andre forvrengende faktorer (slik som variasjoner i uttrykk, i tilfelle av ansiktsfangst) som kan påvirke påliteligheten av mer populære indikatorsystemer, inkludert gange-gjenkjenning og ansikts-gjenkjenning.

Selv om sikkerhetssystemer har blitt utviklet som bruker hånd-åre-mønster gjennom infrarød avbildning, er dette ikke sannsynlig å bli tilgjengelig i typen opptaksenheter som brukes i kriminelle handlinger. I stedet konsentrerer den nåværende forskningen seg om opptak gjennom standard digitale kameraer, vanligvis innbygget i mobil enheter, men i tilfelle av seksuelle kriminalitet, ofte mer sannsynlig å bli oppnådd av ‘dumb’ kameraer som er mindre tilbøyelige til å dele nettverksinformasjon.

Ironisk nok har håndflaten, kanskje den mest populære biometriske metoden i science fiction-filmer de siste femti årene, ikke nytt den forventede oppslutningen, kanskje fordi fingeravtrykks-ID-systemer krever mindre og billigere gjenkjennelsesoverflater. Imidlertid produserte Fujitsu en promoteringstudie i 2016 som argumenterte for at hånd-åre-mønster-gjenkjenning er et overlegent biometrisk verktøy for sikkerhetssystemer.

Datasett og testing

GPA-Net er, ifølge forskerne, det første end-to-end-trente systemet som forsøker hånd-gjenkjenning. Det sentrale bakke-nettverket er basert på ResNet50 trent over ImageNet. Disse ble valgt for deres evne til å fungere godt på en rekke plattformer, inkludert Google Inception (en GoogleNet-modul som gikk over til en evoluerende konvolusjons-nevralt nettverk som spesialiserer seg på objekt-gjenkjenning og bilde-analyse).

GPA-Net-rammeverket ble testet på to datasett – 2016 11k Hender-settet, et samarbeid mellom forskere fra Canada og Egypt; og Hong Kong Polytechnic University Hand Dorsal (HD)-datasettet.

En detalj fra ‘Personlig identifikasjon ved hjelp av mindre knoke-mønster fra hånd-dorsal-overflate’, fokusert på knoke-identifikasjon.

11k-datasettet inneholder 190 identitet-objekter, inkludert en rekke metadata om ID, alder, hudfarge, kjønn og andre faktorer. Forskerne ekskluderte alle bilder som inneholdt smykker, siden disse ville uunngåelig ende opp som forstyrrende outliers. De ekskluderte også bilder fra HD-datasettet som manglet tilstrekkelig klarhet, siden ID-matching er en mer sensitiv sektor enn bilde-syntese, og skjult data en større fare.

GPA-Net ble kjørt på et PyTorch-dyp-læring-rammeverk på en enkelt NVIDIA GeForce RTX 2080 Ti-GPU med 11gb VRAM. Modellen ble trent ved hjelp av cross-entropy-tap, og en mini-batch Stochastic Gradient Descent (SGD)-optimerer. Trening skjedde over 60 epoker med en initial læringsrate på 0,02, håndtert deretter av en læringsrate-scheduler med en nedgangsfaktor på 0,1 for hver 30 epoker – effektivt sakte trening ned mens høydimensionale funksjoner raskt blir innlejret, og systemet må deretter bruke lengre tid på å traversere dataene for mer detaljert detalj.

Evaluering ble utført ved hjelp av Cumulative Matching Characteristics (CMC)-målet med Mean Average Precision (mAP).

Forskerne fant at GPA-Net overgår konkurrerende metoder på ResNet50 med 24,74% i rang-1-nøyaktighet og med 37,82% på mAP.

Kvalitative resultater fra testing av GPA-Net-systemet. Øverste til nedre rader er høyre-dorsale gjenkjennelser av 11k-settet, venstre-dorsale av samme, høyre-palmar av samme, og venstre-palmar av 11k- og HD-datasettene. Grønne og røde rammer indikerer korrekte og inkorrekte matcher.

Forskerne mener at metoden har ‘sterk potensial for robust identifikasjon av lovbryterne av alvorlige kriminalitet’.