Utilizarea mâinilor ca indicator biometric în forensică video criminală

Cercetătorii din Regatul Unit au dezvoltat un sistem biometric de învățare automată capabil să identifice indivizi pe baza formei mâinilor lor. Scopul lucrării este de a ajuta la identificarea infractorilor, în special în cazurile în care infractorii au înregistrat crimele lor, unde informațiile despre mâini sunt adesea singurul semnal biometric disponibil.

Articolul științific, intitulat Identificarea persoanei pe baza mâinilor utilizând reprezentarea globală și conștientă a caracteristicilor profunde, propune un nou cadru ML numit Rețea globală și conștientă de părți (GPA-Net).

În GPA-Net, două tensoare 3D distincte (globale și locale) sunt obținute prin trecerea imaginii sursă prin straturi convoluționale împachetate pe rețeaua de bază ResNet50. Fiecare dintre aceste direcții analitice va face o predicție de identitate. Sursă: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net creează ramuri locale și globale pe stratul convoluțional, pentru a crea sisteme de recunoaștere distincte atât pentru mâinile întregi (cu mâinile stângi și drepte recunoscute distinct, spre deosebire de alte încercări anterioare în acest sector), cât și pentru părțile mâinii, care pot acționa ca steaguri de alimentare pentru o identificare mai bună a întregii mâini.

Cercetarea provine de la Școala de Calcul și Comunicații de la Universitatea Lancaster și este condusă de Nathanael L. Baisa, acum profesor asistent la Universitatea De Montfort din Leicester.

Mâinile ca indicatori biometrici consecvenți

Cercetătorii observă că mâinile oferă o colecție consistentă de caracteristici biometrice distincte care pot fi mai puțin supuse factorilor de distorsionare, cum ar fi vârsta, încercările de deghizare sau alți factori care pot influența fiabilitatea sistemelor de indicatori mai populare, inclusiv recunoașterea mersului și recunoașterea feței.

Deși sistemele de securitate au fost create pentru a utiliza modele de vene de pe mâini prin intermediul imaginilor infraroșii, acest lucru nu este probabil să devină disponibil în dispozitivele de înregistrare utilizate în crime. În schimb, cercetarea actuală se concentrează pe capturi obținute prin camere digitale standard, de obicei încorporate în dispozitive mobile, dar în cazul crimelor sexuale, adesea mai probabil să fie obținute prin “camere proaste” care sunt mai puțin inclinate să partajeze informații de rețea.

Ironia face că amprenta palmei, posibil cea mai populară metodă biometrică prezentată în filmele științifico-fantastice din ultimii cincizeci de ani, nu a avut succesul așteptat de futuriști, poate pentru că sistemele de identificare a amprentelor digitale necesită suprafețe de recunoaștere mai mici și mai ieftine. Cu toate acestea, Fujitsu a produs un studiu promoțional în 2016, care argumentează că recunoașterea modelului de vene de pe palmă este un instrument biometric superior pentru sistemele de securitate.

Date și testare

GPA-Net este, conform cercetătorilor, primul sistem antrenat de la capăt pentru a încerca recunoașterea mâinilor. Partea centrală a rețelei sale se bazează pe ResNet50 antrenat pe ImageNet. Acestea au fost alese pentru capacitatea lor de a performa bine pe o varietate de platforme, inclusiv Google Inception (un GoogleNet module care a evoluat într-o rețea neuronală convoluțională specializată în detectarea obiectelor și analiza imaginilor).

Cadrul GPA-Net a fost testat pe două seturi de date – setul 11k Mâini din 2016, o colaborare între cercetători din Canada și Egipt; și setul de date Hand Dorsal (HD) de la Universitatea Politehnică din Hong Kong.

Un detaliu din ‘Identificarea personală utilizând modele de încheieturi minore de pe suprafața dorsală a palmei’, axat pe identificarea încheieturilor.

Setul de date 11k conține 190 de subiecți de identitate, inclusiv o varietate de metadate referitoare la ID, vârstă, culoare a pielii, sex și alți factori. Cercetătorii au exclus orice imagini care conțineau bijuterii, deoarece acestea ar fi în mod inevitabil devenit outlieri perturbatori. De asemenea, au exclus imagini din setul de date HD care nu aveau o claritate adecvată, deoarece potrivirea ID-urilor este un sector mai sensibil decât sinteza de imagini, iar datele obscure sunt un pericol mai mare.

GPA-Net a fost rulat pe un cadru de învățare profundă PyTorch pe un singur GPU NVIDIA GeForce RTX 2080 Ti cu 11gb de VRAM. Modelul a fost antrenat utilizând pierderea entropiei cruziale și un optimizator Stochastic Gradient Descent (SGD) mini-batch. Antrenamentul a avut loc pe 60 de epoci la o rată de învățare inițială de 0,02, gestionată ulterior de un programator de rată de învățare cu un factor de decădere de 0,1 pentru fiecare 30 de epoci – efectiv încetiniți antrenamentul pe măsură ce caracteristicile de înaltă dimensiune devin rapid încorporate, iar sistemul trebuie ulterior să petreacă mai mult timp traversând datele pentru detalii mai granulare.

Evaluarea a fost efectuată utilizând metrica Caracteristicilor de Potrivire Cumulative (CMC) cu Precizie Medie (mAP).

Cercetătorii au constatat că GPA-Net depășește metodele concurente pe ResNet50 cu 24,74% în precizia de rang-1 și cu 37,82% în ceea ce privește mAP.

Rezultate calitative din testarea sistemului GPA-Net. Rândurile de sus în jos sunt recunoașterile dorsale drepte ale setului 11k, dorsale stângi ale aceluiași, palmar drepte ale aceluiași și palmar stâng ale seturilor 11k și HD. Cutiile de delimitare verde și roșu indică potriviri corecte și incorecte.

Cercetătorii consideră că metoda are ‘un potențial puternic pentru identificarea robustă a infractorilor de crime grave’.