Використання рук як біометричного ідентифікатора в кримінальній відеофорензичній експертизі

Дослідники у Великій Британії розробили систему машинного навчання біометричної ідентифікації, здатну ідентифікувати осіб за формою їхніх рук. Метою роботи є допомога в ідентифікації правопорушників, особливо в випадках сексуальних злочинців, які записали свої злочини, де інформація про руки часто є єдиним біометричним сигналом, доступним для аналізу.

Стаття paper, озаглавлена Ідентифікація особи на основі рук за допомогою глобальної та часткової глибокої функціональної репрезентації, і пропонує нову структуру машинного навчання під назвою Глобальна та часткова мережа (GPA-Net).

У GPA-Net дві різні 3D-тензори (глобальна та локальна) отримуються шляхом проходження вихідного зображення через стекові конволюційні шари на основі мережі ResNet50. Кожна з аналітичних напрямків зробить передбачення ідентичності. Джерело: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net створює локальні та глобальні гілки на конволюційному шарі, щоб створити окремі системи розпізнавання для всього рук (з окремим розпізнаванням лівих та правих рук, на відміну від деяких попередніх спроб у цій сфері) та частин рук, які самі по собі можуть діяти як допоміжні ознаки для кращої ідентифікації всієї руки.

Дослідження проводиться школою комп’ютерних наук та зв’язку університету Ланкастера під керівництвом Натанаеля Л. Байси, тепер доцента університету Де Монтфорта в Лестері.

Руки як постійні біометричні індикатори

Дослідники спостерігають, що руки пропонують постійну колекцію окремих біометричних характеристик, які можуть бути менш чутливими до віку, спробам маскування чи інших деформуючих факторів (таких як зміна виразів у випадку фоторозпізнавання), які можуть впливати на надійність більш популярних систем індикаторів, включаючи розпізнавання походження та фоторозпізнавання.

Хоча системи безпеки були розроблені для використання візерунків вен рук через інфрачервоне зображення, це малоймовірно стане доступним у типах реєстраторів, використовуваних у злочинах. Натомість поточні дослідження зосереджені на знімках, отриманих через стандартні цифрові камери, зазвичай вбудовані в мобільні пристрої, але у випадку сексуальних злочинів часто більш ймовірно отримані за допомогою “глухих” камер, які менш схильні передавати мережеві дані.

Іронічно, що відбиток долоні, можливо, найпопулярніший біометричний метод, представлений у науково-фантастичних фільмах останніх п’ятдесяти років, не отримав очікуваного прийняття, можливо, через те, що системи ідентифікації відбитків пальців вимагають менших та дешевших поверхонь розпізнавання. Однак Fujitsu створила промо-студію у 2016 році, яка стверджує, що розпізнавання візерунків вен долоні є вищим біометричним інструментом для систем безпеки.

Дані та тестування

GPA-Net, згідно з дослідниками, є першою системою, навченою з кінця в кінець, яка намагається розпізнати руки. Центральний хребет її мережі базується на ResNet50, навченому на ImageNet. Вони були вибрані за їхню здатність добре працювати на різних платформах, включаючи Google Inception (модуль GoogleNet, який перейшов до еволюціонуючої卷олюційної нейронної мережі, спеціалізованої на виявленні об’єктів та аналізі зображень).

Фреймворк GPA-Net був протестований на двох наборах даних – наборі даних 2016 року 11k Hands, спільному проєкті дослідників з Канади та Єгипту; та наборі даних Hand Dorsal (HD) університету Гонконгського політехнічного університету.

Фрагмент з ‘Особиста ідентифікація за допомогою малозначних візерунків з поверхні долоні’, що зосереджується на ідентифікації пальців.

Набір даних 11k містить 190 ідентифікаторів осіб, включаючи різноманітні метадані щодо ідентифікатора, віку, кольору шкіри, статі та інших факторів. Дослідники виключили будь-які зображення, які містили прикраси, оскільки вони неминуче стали б дисруптивними аутліерами. Вони також виключили зображення з набору даних HD, які не мали достатньої чіткості, оскільки зіставлення ідентичності є більш чутливим сектором, ніж синтез зображення, а затемнені дані становлять більшу загрозу.

GPA-Net був запущений на фреймворку глибокого навчання PyTorch на одному графічному процесорі NVIDIA GeForce RTX 2080 Ti з 11 ГБ відеопам’яті. Модель була навчена за допомогою перехрестної ентропії, а також міні-батч стохастичного градієнтного спуску (SGD) оптимізатора. Навчання відбулося протягом 60 епох при початковому коефіцієнті навчання 0,02, керованому подальшим планом скорочення коефіцієнта навчання з коефіцієнтом 0,1 для кожних 30 епох – фактично сповільнюючи навчання, коли високо вимірні функції швидко стають вбудованими, а система повинна згодом витратити більше часу на перехід даних для більш детальної інформації.

Оцінка була проведена за допомогою метрики накопичувальних характеристик (CMC) з середнім середнім значенням точності (mAP).

Дослідники виявили, що GPA-Net перевершує конкуруючі методи на ResNet50 на 24,74% за точністю рангу-1 і на 37,82% за mAP.

Якість результатів тестування системи GPA-Net. Верхні рядки – права дорсальна ідентифікація набору даних 11k, ліва дорсальна того ж набору, права пальмарна того ж набору, а також ліва пальмарна наборів даних 11k та HD. Зелені та червоні рамки вказують на правильні та неправильні збіги.

Дослідники вважають, що метод має “сильний потенціал для надійного ідентифікатору злочинців”.