Использование рук как биометрического идентификатора в судебной видеофорензике

Исследователи в Великобритании разработали систему машинного обучения биометрической идентификации, способную идентифицировать людей по форме их рук. Целью работы является помощь в идентификации правонарушителей, особенно в случаях сексуальных преступников, которые записали свои преступления, где информация о руках часто является единственным доступным биометрическим сигналом.

Статья, озаглавленная Идентификация человека по рукам с помощью глобального и частного глубокого представления признаков, и предлагает новую структуру машинного обучения под названием Глобальная и Частная Сеть (GPA-Net).

В GPA-Net два различных 3D-тензора (глобальный и локальный) получаются путем передачи исходного изображения через слои свертки на основе сети ResNet50. Каждый из аналитических подходов сделает прогноз идентификации. Источник: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net создает локальные и глобальные ветви на слое свертки, чтобы создать различные системы распознавания как для всего рук (с отдельным распознаванием левой и правой руки, в отличие от некоторых предыдущих попыток в этой области), и для частей руки, которые сами по себе могут служить флагами для лучшей идентификации всей руки.

Исследование проводится в Школе информатики и коммуникаций Ланкастерского университета и возглавляется Натанаэлем Л. Байсой, теперь доцентом Университета Де Монтфорта в Лестере.

Руки как последовательные биометрические индикаторы

Исследователи отмечают, что руки предлагают последовательную коллекцию различных биометрических характеристик, которые могут быть менее подвержены либо возрасту, попыткам замаскироваться или другим искажающим факторам (таким как изменение выражений лица при захвате лица), которые могут повлиять на надежность более популярных систем индикаторов, включая распознавание походки и распознавание лица.

Хотя системы безопасности были разработаны, которые используют узоры вен рук через инфракрасное изображение, это вряд ли станет доступным в типах устройств записи, используемых при преступлениях. Вместо этого текущее исследование концентрируется на захвате, полученном через стандартные цифровые камеры, обычно встроенные в мобильные устройства, но в случае сексуальных преступлений часто более вероятно получить их с помощью “глухих” камер, которые менее склонны делиться сетевой информацией.

Иронично, что отпечаток ладони, возможно, самый популярный биометрический метод, представленный в научно-фантастических фильмах последних пятидесяти лет, не получил ожидаемого внедрения, возможно, потому что системы идентификации по отпечаткам пальцев требуют меньших и дешевых поверхностей распознавания. Однако Fujitsu произвела промо-исследование в 2016 году, в котором утверждается, что распознавание узоров вен ладони является лучшим биометрическим инструментом для систем безопасности.

Наборы данных и тестирование

GPA-Net, по словам исследователей, является первой системой, обученной с нуля для попытки распознавания рук. Центральная основа его сети основана на ResNet50, обученной на ImageNet. Эти были выбраны за их способность работать хорошо на различных платформах, включая Google Inception (модуль GoogleNet, который эволюционировал в развитую свёрточную нейронную сеть, специализирующуюся на обнаружении объектов и анализе изображений).

Фреймворк GPA-Net был протестирован на двух наборах данных – наборе 11k Hands 2016 года, сотрудничестве исследователей из Канады и Египта; и наборе Hand Dorsal (HD) Гонконгского политехнического университета.

Фрагмент из ‘Личная идентификация с помощью узоров минорных суставов ладонной поверхности’, фокусирующийся на идентификации суставов.

Набор данных 11k содержит 190 объектов идентификации, включая различные метаданные о идентификаторе, возрасте, цвете кожи, поле и других факторах. Исследователи исключили любые изображения, содержащие ювелирные изделия, поскольку они неизбежно окажутся дисруптивными аутлиерами. Они также исключили изображения из набора данных HD, которые не имели достаточной ясности, поскольку сопоставление идентификаторов является более чувствительным сектором, чем синтез изображений, а затемнение данных представляет большую опасность.

GPA-Net был запущен на фреймворке глубокого обучения PyTorch на единственной видеокарте NVIDIA GeForce RTX 2080 Ti с 11 ГБ видеопамяти. Модель была обучена с помощью функции потерь перекрестной энтропии и мини-батч стохастического градиентного спуска (SGD) оптимизатора. Обучение происходило в течение 60 эпох с начальным коэффициентом обучения 0,02, который затем обрабатывался планировщиком коэффициента обучения с коэффициентом衰ания 0,1 для каждых 30 эпох – эффективно замедляя обучение, когда высокоразмерные признаки быстро встраиваются, и система должна затем тратить больше времени на遍ечение данных для более детальной информации.

Оценка была проведена с помощью метрики кумулятивных характеристик совпадения (CMC) с средней точностью (mAP).

Исследователи обнаружили, что GPA-Net превосходит конкурирующие методы на ResNet50 на 24,74% в точности ранга-1 и на 37,82% по mAP.

Качественные результаты тестирования системы GPA-Net. Верхние и нижние строки являются правыми дорсальными распознаваниями набора 11k, левыми дорсальными одного и того же, правыми ладонными одного и того же, и левыми ладонными наборов 11k и HD. Зеленые и красные рамки указывают правильные и неправильные совпадения.

Исследователи считают, что метод имеет ‘сильный потенциал для прочной идентификации преступников’.