Utilizarea mâinilor ca identificator biometric în criminalistica video

Cercetătorii din Regatul Unit au dezvoltat un sistem biometric de învățare automată capabil să identifice indivizi pe baza formei mâinilor lor. Intenția lucrării este de a ajuta la identificarea infractorilor, în special în cazurile de infractori sexuali care și-au înregistrat crimele, unde informațiile despre mâini sunt adesea singurul semnal biometric disponibil.

Articolul paper, intitulat Identificarea persoanei pe baza mâinii utilizând reprezentarea globală și conștientizarea părților adânci, și propune un nou cadru ML numit Rețea globală și conștientizare a părților (GPA-Net).

În GPA-Net, două tensoare 3D distincte (globale și locale) sunt obținute prin trecerea imaginii sursă prin straturi convoluționale împăturite pe rețeaua de bază ResNet50. Fiecare dintre căile analitice va face o predicție de identitate. Sursă: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net creează ramuri locale și globale pe stratul convoluțional, pentru a crea sisteme de recunoaștere distincte atât pentru întreaga mână (cu mâna stângă și dreaptă recunoscute distinct, spre deosebire de unele încercări anterioare în acest sector), cât și pentru părțile mâinii, care în sine pot acționa ca steaguri de alimentare pentru o identificare mai bună a întregii mâini.

Cercetarea provine de la Școala de Calcul și Comunicații de la Universitatea Lancaster, și este condusă de Nathanael L. Baisa, acum profesor asistent la Universitatea De Montfort din Leicester.

Mâinile ca indicatori biometrici constanți

Cercetătorii observă că mâinile oferă o colecție constantă de caracteristici biometrice distincte care pot fi mai puțin supuse vârstei, încercărilor de deghizare sau altor factori distorsionari (cum ar fi variațiile de expresie, în cazul capturii faciale) care pot influența fiabilitatea sistemelor de indicatori mai populare, inclusiv recunoașterea mersului și recunoașterea facială.

Deși sistemele de securitate au fost concepute pentru a utiliza modele de vene de pe mână prin imagistică în infraroșu, acest lucru nu este probabil să devină disponibil în tipurile de dispozitive de înregistrare utilizate în crime. Mai degrabă, cercetarea actuală se concentrează pe capturi obținute prin camere digitale standard, de obicei încorporate în dispozitive mobile, dar în cazul infracțiunilor sexuale, adesea mai probabil să fie obținute de “camere prosti” care sunt mai puțin inclinate să partajeze informații de rețea.

Ironically, amprenta palmei, posibil cel mai popular mod biometric prezentat în filmele științifico-fantastice ale ultimilor cincizeci de ani, nu a beneficiat de adoptarea așteptată de futuriști, poate pentru că sistemele de identificare a amprentelor digitale necesită suprafețe de recunoaștere mai mici și mai ieftine. Cu toate acestea, Fujitsu a produs un studiu promoțional în 2016, argumentând că recunoașterea modelului de venă a palmei este un instrument biometric superior pentru sistemele de securitate.

Date și testare

GPA-Net este, conform cercetătorilor, primul sistem antrenat de la capăt la coadă care încearcă recunoașterea mâinii. Coloana vertebrală a rețelei sale este bazată pe ResNet50 antrenat peste ImageNet. Acestea au fost alese pentru capacitatea lor de a performa bine pe o varietate de platforme, inclusiv Google Inception (un GoogleNet module care a evoluat la o rețea neuronală convoluțională care se specializează în detectarea obiectelor și analiza imaginilor).

Cadrul GPA-Net a fost testat pe două seturi de date – setul 11k Hands din 2016, o colaborare între cercetători din Canada și Egipt; și setul de date Hand Dorsal (HD) de la Universitatea Politehnică din Hong Kong.

Un detaliu din ‘Identificarea personală utilizând modele de articulații mici de la suprafața dorsală a palmei’, axat pe identificarea articulațiilor.

Setul de date 11k prezintă 190 de subiecți de identitate, incluzând o varietate de metadate referitoare la ID, vârstă, culoare a pielii, sex și alte factori. Cercetătorii au exclus orice imagini care conțineau bijuterii, deoarece acestea ar fi în mod inevitabil devenit outlieri perturbatori. De asemenea, au exclus imagini din setul de date HD care nu aveau o claritate adecvată, deoarece împerecherea ID-urilor este un sector mai sensibil decât sinteza de imagini, iar datele obscure sunt un pericol mai mare.

GPA-Net a fost rulat pe un cadru de învățare profundă PyTorch pe o singură GPU NVIDIA GeForce RTX 2080 Ti cu 11 GB de VRAM. Modelul a fost antrenat utilizând pierderea entropiei cruziale, și un optimizator Stochastic Gradient Descent (SGD) cu loturi mici. Antrenamentul a avut loc pe 60 de epoci la o rată de învățare inițială de 0,02, gestionată ulterior de un programator de rată de învățare cu un factor de decădere de 0,1 pentru fiecare 30 de epoci – efectiv încetiniți antrenamentul pe măsură ce caracteristicile de înaltă dimensiune devin rapid încorporate, iar sistemul trebuie ulterior să parcurgă datele pentru detalii mai granulare.

Evaluarea a fost efectuată utilizând metrica Caracteristicilor de Împerechere Cumulative (CMC) cu Precizie Medie Averagă (mAP).

Cercetătorii au constatat că GPA-Net depășește metodele concurente pe ResNet50 cu 24,74% în precizia de rang-1 și cu 37,82% în ceea ce privește mAP.

Rezultate calitative din testarea sistemului GPA-Net. Rândurile de sus în jos sunt recunoașterile dorsale drepte ale setului 11k, dorsale stângi ale aceluiași, palmar drept ale aceluiași și palmar stâng al seturilor de date 11k și HD. Cutiile de delimitare verde și roșu indică împerecheri corecte și incorecte.

Cercetătorii consideră că metoda are ‘un potențial puternic pentru identificarea robustă a autorilor infracțiunilor grave’.