Использование рук в качестве биометрического идентификатора в судебной видеофорензике

Исследователи в Великобритании разработали систему машинного обучения для биометрической идентификации, способную определять личность по форме рук. Целью работы является помощь в идентификации правонарушителей, особенно в случаях сексуальных преступлений, где информация о руках часто является единственным доступным биометрическим сигналом.

В статье, озаглавленной Идентификация человека по рукам с помощью глобального и частично-осведомленного глубокого обучения, предложена новая система машинного обучения под названием Global and Part-Aware Network (GPA-Net).

В GPA-Net два различных 3D-тензора (глобальный и локальный) получаются путем передачи исходного изображения через слои свертки в сети ResNet50. Каждый из аналитических подходов делает прогноз идентификации. Источник: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net создает локальные и глобальные ветви на слое свертки, чтобы создать различные системы распознавания как для всей руки (с отдельным распознаванием левой и правой руки, в отличие от некоторых предыдущих попыток в этой области), так и для частей руки, которые сами по себе могут служить флагами для лучшей идентификации всей руки.

Исследование было проведено в Школе информатики и связи Ланкастерского университета под руководством Натанаэля Л. Байсы, теперь доцента Университета Де Монтфорта в Лестере.

Руки как последовательные биометрические индикаторы

Исследователи отмечают, что руки предлагают последовательную коллекцию различных биометрических характеристик, которые могут быть менее подвержены влиянию возраста, попыткам маскировки или другим искажающим факторам (таким как вариации выражений лица в случае захвата лица), которые могут повлиять на надежность более популярных систем идентификации, включая распознавание походки и распознавание лица.

Хотя системы безопасности были разработаны для использования узоров вен рук через инфракрасное изображение, это вряд ли станет доступным в типах устройств записи, используемых при преступлениях. Вместо этого текущее исследование фокусируется на захвате, полученном через стандартные цифровые камеры, обычно встроенные в мобильные устройства, но в случае сексуальных преступлений часто более вероятно получается с помощью “глухих” камер, которые менее склонны делиться сетевой информацией.

Иронично, что отпечаток ладони, возможно, самый популярный биометрический метод, представленный в научно-фантастических фильмах последних пятидесяти лет, не получил ожидаемого распространения, возможно, потому что системы идентификации по отпечаткам пальцев требуют меньших и более дешевых поверхностей распознавания. Однако Fujitsu в 2016 году опубликовала промо-исследование, в котором утверждается, что распознавание узоров вен ладони является более надежным биометрическим инструментом для систем безопасности.

Наборы данных и тестирование

GPA-Net, по словам исследователей, является первой системой, обученной с нуля для распознавания рук. Центральная основа его сети основана на ResNet50, обученной на ImageNet. Эти были выбраны за их способность работать хорошо на различных платформах, включая Google Inception (модуль GoogleNet, который эволюционировал в развивающуюся свёрточную нейронную сеть, специализирующуюся на обнаружении объектов и анализе изображений).

Фреймворк GPA-Net был протестирован на двух наборах данных – наборе 11k Hands 2016 года, сотрудничестве исследователей из Канады и Египта, и наборе данных Hand Dorsal (HD) Гонконгского политехнического университета.

Фрагмент из ‘Личная идентификация с помощью узоров малых суставов с поверхности ладони’, фокусирующийся на идентификации суставов.

Набор данных 11k включает 190 объектов идентификации, включая различные метаданные о идентификаторе, возрасте, цвете кожи, поле и других факторах. Исследователи исключили любые изображения, содержащие ювелирные изделия, поскольку они неизбежно окажутся мешающими выбросами. Они также исключили изображения из набора данных HD, которые не имели достаточной ясности, поскольку сопоставление идентификаторов является более чувствительным сектором, чем синтез изображений, а загрязненная информация представляет большую опасность.

GPA-Net был запущен на фреймворке глубокого обучения PyTorch на одном графическом процессоре NVIDIA GeForce RTX 2080 Ti с 11 ГБ видеопамяти. Модель была обучена с помощью функции потерь перекрестной энтропии и мини-пакетного стохастического градиентного спуска (SGD) оптимизатора. Обучение происходило в течение 60 эпох с начальной скоростью обучения 0,02, обработанной затем планировщиком скорости обучения с коэффициентом снижения 0,1 для каждых 30 эпох – эффективно замедляя обучение, когда высокоразмерные особенности быстро включаются, и система должна затем тратить больше времени на遍ечение данных для более детальной информации.

Оценка была проведена с помощью метрики Cumulative Matching Characteristics (CMC) с средней точностью (mAP).

Исследователи обнаружили, что GPA-Net превосходит конкурирующие методы на ResNet50 на 24,74% по точности ранга-1 и на 37,82% по mAP.

Качественные результаты тестирования системы GPA-Net. Строки сверху вниз – правые дорсальные распознавания набора 11k, левые дорсальные того же, правые ладонные того же и левые ладонные наборов 11k и HD. Зеленые и красные рамки указывают на правильные и неправильные совпадения.

Исследователи считают, что метод имеет ‘сильный потенциал для надежной идентификации преступников, совершивших серьезные преступления’.