Användning av händer som biometrisk identifierare i kriminalvideoforensik

Forskare i Storbritannien har utvecklat ett maskinlärningssystem för biometri som kan identifiera individer utifrån formen på deras händer. Avsikten med arbetet är att hjälpa till att identifiera förövare, särskilt i fall av sexualbrott där handinformation ofta är den enda biometriska signalen som finns tillgänglig.

Den artikeln, med titeln Handbaserad personidentifiering med hjälp av global och delmedveten djupinlärning, föreslår ett nytt ML-ramverk som kallas Global och Part-Aware Network (GPA-Net).

I GPA-Net erhålls två distinkta 3D-tensorer (global och lokal) genom att skicka källbilden genom staplade konvolutionslager på ResNet50-bakbenätverket. Var och en av de analytiska vägarna kommer att göra en identitetsprediktion. Källa: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net skapar lokala och globala grenar på konvolutionslagret för att skapa distinkta erkännande-system för både händernas helhet (med vänster och höger händer som erkänns separat, till skillnad från vissa tidigare försök inom detta område) och delar av handen, som i sig kan fungera som flaggor för en bättre identifiering av hela handen.

Forskningen kommer från School of Computing and Communications vid Lancaster University och leds av Nathanael L. Baisa, som nu är biträdande professor vid De Montfort University i Leicester.

Händer som konsekventa biometriska indikatorer

Forskarna observerar att händer erbjuder en konsekvent samling av distinkta biometriska egenskaper som kan vara mindre utsatta för ålder, försök att förkläda sig eller andra förvanskande faktorer (såsom variationer i uttryck, i fallet med ansiktsigenkänning) som kan påverka tillförlitligheten hos mer populära indikatorsystem, inklusive gångigenkänning och ansiktsigenkänning.

Även om säkerhetssystem har utvecklats som använder handvenmönster genom infraröd avbildning, är detta inte troligt att bli tillgängligt i de typer av inspelningsenheter som används i brott. Istället fokuserar den aktuella forskningen på inspelningar som erhålls genom standarddigitala kameror, vanligtvis inbäddade i mobila enheter, men i fallet med sexbrott, ofta mer benägna att erhållas av “dumb” kameror som är mindre benägna att dela nätverksinformation.

Ironiskt nog har handflatan, möjligen den mest populära biometriska metoden som presenterats i science fiction-filmer under de senaste femtio åren, inte upplevt den förväntade upptagningen, kanske på grund av att fingeravtrycksidentitetssystem kräver mindre och billigare erkännandeytor. Men Fujitsu producerade en promotionsstudie 2016 som hävdar att handvenmönsterigenkänning är ett överlägset biometriskt verktyg för säkerhetssystem.

Datamängder och testning

GPA-Net är, enligt forskarna, det första slut-na-slut-tränade systemet som försöker handigenkänning. Det centrala bakbenätverket är baserat på ResNet50 utbildat över ImageNet. Dessa valdes för deras förmåga att fungera bra över en mängd olika plattformar, inklusive Google Inception (en GoogleNet-modul som utvecklats till ett utvecklande konvolutionellt neuronnät som specialiserat sig på objektigenkänning och bildanalys).

GPA-Net-ramverket testades över två datamängder – 2016 års 11k Hands-uppsättning, ett samarbete mellan forskare från Kanada och Egypten; och Hong Kong Polytechnic University Hand Dorsal (HD)-datamängd.

En detalj från ‘Personlig identifiering med hjälp av mindre knoge-mönster från handdorsalytan’, som fokuserar på knogidentifikation.

11k-datamängden innehåller 190 identitetssubjekt, inklusive en mängd metadata om ID, ålder, hudfärg, kön och andra faktorer. Forskarna uteslöt alla bilder som innehöll smycken, eftersom dessa skulle bli störande utomstående. De uteslöt också bilder från HD-datamängden som saknade tillräcklig tydlighet, eftersom ID-matchning är en känsligare sektor än bildsyntes, och dold data en större fara.

GPA-Net kördes på ett PyTorch-djupinlärningsramverk på en enda NVIDIA GeForce RTX 2080 Ti GPU med 11 GB VRAM. Modellen tränades med cross-entropy-förlust och en mini-batch Stochastic Gradient Descent (SGD)-optimerare. Träning skedde under 60 epoker med en initial inlärningshastighet på 0,02, hanterad därefter av en inlärningshastighetsschema med en nedgångsfaktor på 0,1 för varje 30 epoker – effektivt sakta ner träningen när högdimensionella funktioner snabbt blir inbäddade, och systemet måste därefter tillbringa längre tid med att traversera data för mer detaljerad information.

Utvarderingen utfördes med hjälp av Cumulative Matching Characteristics (CMC)-måttet med Mean Average Precision (mAP).

Forskarna fann att GPA-Net överträffar konkurrerande metoder på ResNet50 med 24,74% i rank-1-precision och med 37,82% på mAP.

Kvalitativa resultat från testning av GPA-Net-systemet. Översta till nedre raderna är högerdorsala erkännanden av 11k-uppsättningen, vänsterdorsala av samma, högerpalmar av samma, och vänsterpalmar av 11k- och HD-datamängderna. Gröna och röda ramverk indikerar korrekta och inkorrekta matchningar.

Forskarna anser att metoden har ‘stark potential för robust identifiering av förövare av allvarliga brott’.