Używanie rąk jako wskaźników biometrycznych w kryminalistyce wideo

Naukowcy z Wielkiej Brytanii opracowali system biometryczny oparty na uczeniu maszynowym, który potrafi identyfikować osoby na podstawie kształtu ich rąk. Celem pracy jest pomoc w identyfikowaniu sprawców, zwłaszcza w przypadku przestępstw na tle seksualnym, gdzie informacje o rękach są często jedynym dostępnym sygnałem biometrycznym.

Artykuł artykuł, zatytułowany Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, proponuje nowy framework ML o nazwie Global and Part-Aware Network (GPA-Net).

W GPA-Net, dwa odrębne tensory 3D (globalne i lokalne) są uzyskiwane przez przekazanie obrazu źródłowego przez warstwy konwolucyjne na sieci ResNet50. Każda z tych dróg analitycznych dokonuje przewidywania tożsamości. Źródło: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net tworzy gałęzie lokalne i globalne na warstwie konwolucyjnej, aby utworzyć odrębne systemy rozpoznawania zarówno całości rąk (z lewymi i prawymi rękami rozróżnianymi oddzielnie, w przeciwieństwie do niektórych poprzednich prób w tym sektorze), jak i części rąk, które same w sobie mogą służyć jako flagi dla lepszej identyfikacji całej ręki.

Badanie pochodzi ze Szkoły Informatyki i Komunikacji na Uniwersytecie w Lancaster, a kieruje nim Nathanael L. Baisa, obecnie profesor asystent na Uniwersytecie De Montfort w Leicesterze.

Ręce jako spójne wskaźniki biometryczne

Naukowcy obserwują, że ręce oferują spójny zbiór odrębnych cech biometrycznych, które mogą być mniej podatne na wiek, próby maskowania lub inne czynniki zniekształcające (takie jak zmiany wyrazu twarzy w przypadku ujęć twarzy), które mogą wpływać na niezawodność bardziej popularnych systemów wskaźników, w tym rozpoznawania chodu i rozpoznawania twarzy.

Chociaż systemy bezpieczeństwa zostały opracowane, które wykorzystują wzory żył rąk za pomocą obrazowania w podczerwieni, nie jest prawdopodobne, aby były one dostępne w typach urządzeń rejestrujących używanych w przypadku przestępstw. Obecne badanie koncentruje się na ujęciach uzyskanych za pomocą standardowych aparatów cyfrowych, zwykle wbudowanych w urządzenia mobilne, ale w przypadku przestępstw na tle seksualnym często bardziej prawdopodobne jest, że będą one uzyskiwane za pomocą “głupich” aparatów, które mniej skłonne są do udostępniania informacji sieciowych.

Ironicznie, odcisk dłoni, być może najpopularniejsza metoda biometryczna przedstawiana w filmach science fiction z ostatnich pięćdziesięciu lat, nie cieszyła się spodziewanym zainteresowaniem, być może dlatego, że systemy identyfikacji odcisków palców wymagają mniejszych i tańszych powierzchni rozpoznawania. Jednak Fujitsu wyprodukowało studium promocyjne w 2016 roku, argumentując, że rozpoznawanie wzorów żył dłoni jest lepszym narzędziem biometrycznym dla systemów bezpieczeństwa.

Zestawy danych i testowanie

GPA-Net jest, według naukowców, pierwszym systemem szkoleniowym, który próbuje rozpoznać ręce. Centralny trzon jego sieci oparty jest na ResNet50 wyszkolonych na ImageNet. Zostały one wybrane ze względu na ich zdolność do dobrego działania na różnych platformach, w tym Google Inception (moduł GoogleNet, który rozwinął się w ewoluującą sieć neuronową specjalizującą się w wykrywaniu obiektów i analizie obrazu).

Ramka GPA-Net została przetestowana na dwóch zestawach danych – zestawie 11k rąk z 2016 roku, współpracy między naukowcami z Kanady i Egiptu; oraz zestawie danych Hand Dorsal (HD) z Uniwersytetu Politechnicznego w Hongkongu.

Szczegół z ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, koncentrujący się na identyfikacji knykci.

Zestaw danych 11k zawiera 190 obiektów identyfikacji, w tym różne metadane dotyczące identyfikatora, wieku, koloru skóry, płci i innych czynników. Naukowcy wykluczyli wszelkie obrazy, które zawierały biżuterię, ponieważ te z pewnością stanowiłyby zakłócające odchyłki. Wykluczyli również obrazy z zestawu danych HD, które nie posiadały wystarczającej wyrazistości, ponieważ dopasowanie identyfikacji jest bardziej wrażliwym sektorem niż syntezowanie obrazu, a ukryte dane stanowią większe niebezpieczeństwo.

GPA-Net został uruchomiony na ramie głębokiego uczenia PyTorch na jednej karcie graficznej NVIDIA GeForce RTX 2080 Ti z 11 GB pamięci VRAM. Model został wyszkolony przy użyciu straty cross-entropy, a optymalizator mini-batch Stochastic Gradient Descent (SGD). Szkolenie odbywało się przez 60 epok przy początkowej szybkości uczenia 0,02, obsługiwanej następnie przez planista szybkości uczenia z czynnikiem wygaszania 0,1 co 30 epok – efektywnie spowalniając szkolenie, gdy wysokowymiarowe cechy szybko stają się wbudowane, a system musi następnie spędzić więcej czasu na przemieszczaniu się przez dane w celu uzyskania bardziej szczegółowych szczegółów.

Ocena została przeprowadzona przy użyciu metryki Cumulative Matching Characteristics (CMC) z Mean Average Precision (mAP).

Naukowcy stwierdzili, że GPA-Net przewyższa metody konkurencyjne na ResNet50 o 24,74% w dokładności rangi 1 i o 37,82% w mAP.

Wyniki jakościowe z testowania systemu GPA-Net. Górne do dolnych wiersze to prawidłowe rozpoznania grzbietowe zestawu 11k, lewe grzbietowe tego samego, prawe dłoniowe tego samego, oraz lewe dłoniowe zestawu 11k i HD. Zielone i czerwone ramki określają poprawne i niepoprawne dopasowania.

Naukowcy uważają, że metoda ta ma ‘silny potencjał dla wytrwałej identyfikacji sprawców poważnych przestępstw’.