Použití rukou jako biometrického identifikátoru ve video forenzní analýze

Výzkumníci ve Spojeném království vyvinuli systém strojového učení s biometrickou identifikací, který je schopen identifikovat jednotlivce podle tvaru jejich rukou. Cílem práce je pomoci identifikovat pachatele, zejména v případech sexuálních deliktů, které byly zaznamenány, kde informace o rukou jsou často jediným dostupným biometrickým signálem.

Paper paper, nazvaný Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, navrhuje nový rámec strojového učení nazvaný Global and Part-Aware Network (GPA-Net).

V GPA-Net jsou získány dvě odlišné 3D tenzory (globální a lokální) přenosem zdrojového obrazu přes vrstvy konvoluce na základě sítě ResNet50. Každá z analytických cest provede předpověď identity. Source: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net vytváří lokální a globální větve na konvoluční vrstvě, aby vytvořil odlišné systémy rozpoznávání pro celou ruku (s levou a pravou rukou rozlišenou, na rozdíl od některých předchozích pokusů v tomto odvětví) a části ruky, které samy o sobě mohou sloužit jako pomocné příznaky pro lepší identifikaci celé ruky.

Výzkum pochází ze School of Computing and Communications na Lancaster University a je veden Nathanaelem L. Baisou, který je nyní asistentem profesora na De Montfort University v Leicesteru.

Ruce jako konzistentní biometrické indikátory

Výzkumníci pozorují, že ruce nabízejí konzistentní sbírku odlišných biometrických charakteristik, které mohou být méně ovlivněny věkem, pokusy o maskování nebo jinými distorzními faktory (jako je variace výrazů, v případě zachycení obličeje), které mohou ovlivnit spolehlivost více populárních indikátorů, včetně rozpoznávání chůze a rozpoznávání obličeje.

Ačkoli byly vyvinuty bezpečnostní systémy, které využívají vzory žil na rukou prostřednictvím infračerveného zobrazování, není pravděpodobné, že by se tyto systémy staly dostupnými v typech záznamových zařízení používaných při zločinech. Výzkum se soustředí na záznamy získané prostřednictvím standardních digitálních kamer, obvykle vestavěných v mobilních zařízeních, ale v případě sexuálních deliktů jsou často získány pomocí “hloupých” kamer, které jsou méně nakloněny sdílet síťové informace.

Ironicky, dlaňový otisk, možná nejpopulárnější biometrická metoda, která se objevila ve vědeckofantastických filmech za posledních padesát let, se nedočkala očekávaného rozšíření, možná proto, že systémy identifikace otisků prstů vyžadují menší a levnější rozpoznávací povrchy. Nicméně, Fujitsu provedl propagační studii v roce 2016, ve které argumentoval, že rozpoznávání vzoru žil na dlani je lepší biometrický nástroj pro bezpečnostní systémy.

Datové sady a testování

GPA-Net je, podle výzkumníků, prvním systémem, který byl trénován od začátku a který se pokusil o rozpoznávání rukou. Centrální kostra jeho sítě je založena na ResNet50 trénovaném na ImageNet. Tyto byly zvoleny pro jejich schopnost fungovat dobře napříč různými platformami, včetně Google Inception (modul GoogleNet, který se stal vyvíjející se konvoluční neuronovou sítí specializující se na detekci objektů a analýzu obrazu).

Rámec GPA-Net byl testován na dvou datových sadách – 2016 11k Hands sadě, spolupráci mezi výzkumníky z Kanady a Egypta; a datové sadě Hand Dorsal (HD) z Hong Kong Polytechnic University.

Detail z ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, zaměřený na identifikaci kloubů.

Datová sada 11k obsahuje 190 subjektů identit, včetně různých metadat o ID, věku, barvě pleti, pohlaví a dalších faktorech. Výzkumníci vyloučili všechny obrázky, které obsahovaly šperky, protože by tyto nevyhnutelně skončily jako rušivé outliers. Vyloučili také obrázky z datové sady HD, které postrádaly dostatečnou jasnost, protože shoda ID je citlivějším odvětvím než syntéza obrazu a zakrytá data představují větší nebezpečí.

GPA-Net byl spuštěn na PyTorch deep learning frameworku na jediném NVIDIA GeForce RTX 2080 Ti GPU s 11gb VRAM. Model byl trénován pomocí cross-entropy loss a mini-batch Stochastic Gradient Descent (SGD) optimizer. Trénování probíhalo po dobu 60 epoch s počáteční učící sazbou 0,02, poté zpracovanou učící sazbou se snížením faktoru 0,1 pro každé 30 epoch – efektivní zpomalení trénování, protože vysoké dimenzionální rysy se rychle stanou zabalenými a systém musí poté strávit déle procházením dat pro více granulární detail.

Hodnocení bylo provedeno pomocí Cumulative Matching Characteristics (CMC) metriky s Mean Average Precision (mAP).

Výzkumníci zjistili, že GPA-Net překonává konkurenční metody na ResNet50 o 24,74 % v rank-1 přesnosti a o 37,82 % na mAP.

Kvalitativní výsledky testování systému GPA-Net. Horní a spodní řádky jsou pravé dorzální rozpoznání sady 11k, levé dorzální stejné, pravé palmarové stejné a levé palmarové sad 11k a HD. Zelené a červené rámečky označují správné a nesprávné shody.

Výzkumníci se domnívají, že metoda má “silný potenciál pro robustní identifikaci pachatelů závažných zločinů”.