手をバイオメトリック識別子として使用する – 犯罪ビデオフォレンジックへの応用

イギリスの研究者は、手の形から個人を識別することができる機械学習バイオメトリックシステムを開発しました。この研究の目的は、特に性犯罪者の場合、手の情報が唯一のバイオメトリック信号である場合に、犯罪者を特定するのを支援することです。

論文では、Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning というタイトルで、新しいMLフレームワークであるGlobal and Part-Aware Network (GPA-Net) が提案されています。

GPA-Netでは、ソース画像をResNet50バックボーンネットワークのスタックされた畳み込み層を通過させることで、2つの異なる3Dテンソル（グローバルとローカル）が得られます。各分析経路は、アイデンティティ予測を行います。ソース：https://arxiv.org/pdf/2101.05260.pdf

GPA-Netは、畳み込み層にローカルとグローバルのブランチを作成し、手全体（左手と右手は別々に認識される）と手のパーツ（それ自体が手全体のより良い識別のためのフィーダーフラグとして機能する）に対する異なる認識システムを作成します。

この研究は、ランカスター大学のSchool of Computing and Communicationsから行われ、Nathanael L. Baisaによって行われました。現在、彼はレスターのデモントフォート大学の助教授です。

手のバイオメトリック識別子としての特性

研究者は、手には、年齢、変装の試み、または他の歪曲要因（顔認証の場合、表情の変化など）によって影響を受けにくい、一貫したバイオメトリック特性のコレクションがあることを観察しています。

セキュリティシステムでは、赤外線イメージングを使用した手の静脈パターンを利用するシステムが開発されていますが、これは犯罪で使用される記録装置では利用できない可能性があります。現在の研究では、標準のデジタルカメラ（通常、モバイルデバイスに埋め込まれている）で取得される画像に焦点を当てています。特に性犯罪の場合、ネットワーク情報を共有しない「ダム」カメラで取得される画像が多くなります。

皮膚のパターンは、科学フィクション映画で最も人気のあるバイオメトリック方法の1つですが、予想されたほど普及していません。フジツウは2016年に、手の静脈パターン認識はセキュリティシステムのための優れたバイオメトリックツールであると主張するプロモーション研究を発表しました。

データセットとテスト

GPA-Netは、研究者によると、手の認識を試みた最初のエンドツーエンドトレーニングシステムです。ネットワークの中心的なバックボーンは、ImageNetでトレーニングされたResNet50に基づいています。これらは、Google Inception（GoogleNetモジュール）を含むさまざまなプラットフォームで高性能を発揮する能力により選択されました。

GPA-Netフレームワークは、2つのデータセットでテストされました。1つは、2016年の11kハンドセット（カナダとエジプトの研究者の共同研究）で、もう1つは、香港理工大学のハンドドーサル（HD）データセットです。

「Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface」の詳細、手の関節識別に焦点を当てています。

11kデータセットには、ID、年齢、肌の色、性別など、さまざまなメタデータを含む190人のアイデンティティサブジェクトが含まれています。研究者は、ジャンワリーを含む画像を除外しました。これらは必然的に邪魔なアウトライアとして終わるからです。さらに、画像合成よりもアイデンティティマッチングのセクターがより繊細であるため、HDデータセットから明確性が不十分な画像を除外しました。

GPA-Netは、PyTorchディープラーニングフレームワークを使用して、シングルNVIDIA GeForce RTX 2080 Ti GPUで11GBのVRAMを使用して実行されました。モデルは、クロスエントロピー損失と、ミニバッチ確率的勾配降下法（SGD）オプティマイザを使用してトレーニングされました。トレーニングは、初期学習率0.02で60エポック実行され、30エポックごとに0.1の減衰係数で学習率スケジューラによって処理されました。つまり、高次元の特徴がすばやく埋め込まれると、システムはデータをより詳細に探索するために、トレーニングを減速させます。

評価は、CMCメトリックと平均平均精度（mAP）を使用して行われました。

研究者は、GPA-Netが、ランク1の精度で24.74%、mAPで37.82%で、ResNet50を上回ることを発見しました。

GPA-Netシステムのテスト結果。上から下への行は、11kセットの右側面認識、同じものの左側面認識、同じものの手の平面認識、11kセットとHDデータセットの手の平面認識です。緑と赤のバウンディングボックスは、正しいマッチと不正なマッチを示します。

研究者は、この方法が「重罪犯の強固な識別のための強力な潜在力を持っている」と考えています。