Použití rukou jako biometrického identifikátoru ve forenzní analýze videa

Výzkumníci ve Spojeném království vyvinuli systém strojového učení, který je schopen identifikovat jednotlivce na základě tvaru jejich rukou. Cílem této práce je pomoci identifikovat pachatele, zejména v případech sexuálních deliktů, kde je často k dispozici pouze biometrická informace o ruce.

Článek, nazvaný Identifikace osoby na základě rukou pomocí globální a část-specifické hluboké funkce, navrhuje nový rámec strojového učení nazvaný Global a Part-Aware Network (GPA-Net).

V GPA-Net jsou dvě odlišné 3D tenzory (globální a lokální) získány přenosem zdrojového obrazu přes vrstvy konvoluce na základě ResNet50. Každá z analytických cest provede předpověď identity. Zdroj: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net vytváří lokální a globální větve na konvoluční vrstvě, aby vytvořil odlišné systémy rozpoznávání pro celou ruku (s levou a pravou rukou rozlišenou, na rozdíl od některých předchozích pokusů v tomto odvětví) a části ruky, které samy o sobě mohou sloužit jako příznaky pro lepší identifikaci celé ruky.

Výzkum pochází ze School of Computing and Communications na Lancaster University a je veden Nathanaelem L. Baisou, nyní asistentem profesora na De Montfort University v Leicesteru.

Ruce jako konzistentní biometrické indikátory

Výzkumníci pozorují, že ruce nabízejí konzistentní sadu odlišných biometrických charakteristik, které lze méně ovlivnit věkem, pokusy o maskování nebo jinými distorzními faktory (jako je variace výrazů v případě zachycení obličeje), které mohou ovlivnit spolehlivost více populárních indikátorů, včetně rozpoznávání chůze a rozpoznávání obličeje.

Although bezpečnostní systémy byly navrženy, které využívají vzorce žil na rukou prostřednictvím infračerveného zobrazování, je nepravděpodobné, že by se tyto systémy staly dostupnými v typech záznamových zařízení používaných při zločinech. Současný výzkum se soustředí na záznamy získané prostřednictvím standardních digitálních kamer, obvykle vestavěných v mobilních zařízeních, ale v případě sexuálních deliktů jsou často získány prostřednictvím “hloupých” kamer, které jsou méně náchylné ke sdílení síťových informací.

Ironicky, otisk dlaně, možná nejpopulárnější biometrická metoda, která se objevila ve vědeckofantastických filmech posledních padesáti let, se nedočkala očekávaného rozšíření, možná proto, že systémy identifikace otisků prstů vyžadují menší a levnější rozpoznávací povrchy. Nicméně, Fujitsu vydal propagační studii v roce 2016, ve které argumentoval, že rozpoznávání vzorců žil na dlani je lepším biometrickým nástrojem pro bezpečnostní systémy.

Datové sady a testování

GPA-Net je, podle výzkumníků, prvním systémem, který byl trénován od začátku a který se pokusil o rozpoznávání rukou. Centrální část jeho sítě je založena na ResNet50, který byl trénován na ImageNet. Tyto byly vybrány pro jejich schopnost fungovat dobře napříč různými platformami, včetně Google Inception (modul GoogleNet, který se stal vyvíjející se konvoluční neuronovou sítí specializující se na detekci objektů a analýzu obrazu).

Rámec GPA-Net byl testován na dvou datových sadách – 2016 11k rukou, spolupráci mezi výzkumníky z Kanady a Egypta; a Hong Kong Polytechnic University Hand Dorsal (HD) datová sada.

Detail z ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, zaměřený na identifikaci kloubů.

11k datová sada obsahuje 190 identitních subjektů, včetně různých metadat o ID, věku, barvě pleti, pohlaví a dalších faktorech. Výzkumníci vyloučili jakékoliv obrázky, které obsahovaly šperky, protože by tyto nakonec skončily jako rušivé outliers. Také vyloučili obrázky z HD datové sady, které postrádaly dostatečnou jasnost, protože shoda ID je citlivějším odvětvím než syntéza obrazu, a zakrytá data jsou větším nebezpečím.

GPA-Net byl spuštěn na PyTorch hlubokém učení frameworku na jediném NVIDIA GeForce RTX 2080 Ti GPU s 11gb VRAM. Model byl trénován pomocí cross-entropy ztráty a mini-batch Stochastic Gradient Descent (SGD) optimalizátoru. Trénování probíhalo po 60 epochách s počáteční rychlostí učení 0,02, poté zpracované pomocí plánovače rychlosti učení s faktorem poklesu 0,1 pro každé 30 epoch – efektivní zpomalení trénování, když se vysoké dimenzionální funkce rychle stanou součástí, a systém musí poté strávit více času procházením dat pro více podrobných detailů.

Hodnocení bylo provedeno pomocí Cumulative Matching Characteristics (CMC) metriky s Mean Average Precision (mAP).

Výzkumníci zjistili, že GPA-Net překonává konkurenční metody na ResNet50 o 24,74 % v rank-1 přesnosti a o 37,82 % na mAP.

Kvalitativní výsledky testování systému GPA-Net. Horní řádky jsou pravé dorzální rozpoznání 11k sady, levé dorzální stejné, pravé palmarové stejné a levé palmarové 11k a HD datových sad. Zelené a červené rámečky označují správné a nesprávné shody.

Výzkumníci se domnívají, že metoda má “silný potenciál pro robustní identifikaci pachatelů závažných zločinů”.