手をバイオメトリック識別子として使用する – 犯罪ビデオフォレンジック

イギリスの研究者は、手の形から個人の識別が可能なマシンラーニングバイオメトリックスステムを開発しました。この研究の目的は、特に犯罪を記録した性的犯罪者を識別するために、手の情報が唯一のバイオメトリック信号である場合に、犯罪者を識別するのを支援することです。

論文は、Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learningというタイトルで、Global and Part-Aware Network (GPA-Net)という新しいMLフレームワークを提案しています。

GPA-Netでは、ソースイメージをResNet50バックボーンネットワークのスタック化された畳み込み層に通すことで、2つの異なる3Dテンソル（グローバルとローカル）が取得されます。各分析アベニューは、アイデンティティ予測を行います。ソース: https://arxiv.org/pdf/2101.05260.pdf

GPA-Netは、畳み込み層にローカルとグローバルのブランチを作成して、手全体（左手と右手は明確に識別され、以前の試みとは異なります）と手のパーツの両方に対して異なる認識システムを作成します。手のパーツは、手全体のより良い識別のためのフィーダーフラグとして機能する可能性があります。

この研究は、ランカスター大学のSchool of Computing and Communicationsから行われ、Nathanael L. Baisaによって率いられています。現在、デモントフォート大学のAssistant Professorです。

手のバイオメトリック識別子としての可能性

研究者は、手には、年齢、変装の試み、またはその他の歪み要因（顔認証の場合の表情の変化など）によって影響を受けにくい、一貫したバイオメトリック特徴のコレクションがあることを観察しています。つまり、歩行認識や顔認識などの他のバイオメトリック識別システムよりも信頼性が高いということです。

セキュリティシステムでは、赤外線イメージングを使用した手の静脈パターンを利用するシステムが開発されてきましたが、犯罪で使用される記録装置では、これらのシステムが利用できる可能性は低いです。現在の研究は、主に標準的なデジタルカメラ、特に携帯電話に内蔵されたカメラで取得された映像に焦点を当てています。ただし、性犯罪の場合、ネットワーク情報を共有しない「ダム」カメラで取得された映像がより多く使用される可能性があります。

皮膚の凹凸パターンは、過去50年のSF映画で最も人気のあるバイオメトリック方法ですが、予測されたほど普及していません。ただし、2016年に富士通は、パーム静脈パターン認識がセキュリティシステムのための優れたバイオメトリックツールであることを主張するプロモーション研究を発表しました。

データセットとテスト

GPA-Netは、研究者によると、手の認識を試みる最初のエンドツーエンドトレーニングシステムです。ネットワークの中心的なバックボーンは、ImageNetでトレーニングされたResNet50に基づいています。これらは、Google Inception（GoogleNetモジュールが進化し、オブジェクト検出と画像分析を専門とするConvolutional Neural Networkに発展した）を含むさまざまなプラットフォームで優れたパフォーマンスを発揮する能力があるため選択されました。

GPA-Netフレームワークは、2つのデータセットでテストされました。1つは、2016年の11k Handsセットで、カナダとエジプトの研究者による共同研究です。もう1つは、香港理工大学のHand Dorsal (HD)データセットです。

パームドーサルサーフェスからのマイナーナックルパターンを使用したパーソナル識別の詳細。

11kデータセットには、ID、年齢、肌の色、性別など、さまざまなメタデータを含む190のIDサブジェクトが含まれています。研究者は、ジュエリーを含む画像を除外しました。なぜなら、これらは必ずしも邪魔になるアウトライアとして終わるからです。さらに、画像の明瞭性が不十分なHDデータセットの画像も除外しました。なぜなら、IDマッチングは画像合成よりも感度の高いセクターであるため、データが不明瞭になることは、より大きな危険となるからです。

GPA-Netは、11GBのVRAMを備えた単一のNVIDIA GeForce RTX 2080 Ti GPUで、PyTorchディープラーニングフレームワークで実行されました。モデルは、クロスエントロピー損失と、SGDオプティマイザを使用してトレーニングされました。トレーニングは、初期学習率0.02で60エポックで実行され、30エポックごとに0.1の減衰係数を持つ学習率スケジューラによって処理されました。つまり、トレーニングは、ハイ次元の特徴がすでに埋め込まれているため、データをより詳細に探索するために、時間の経過とともに減速します。

評価は、CMCメトリックと平均平均精度（mAP）を使用して実行されました。

研究者は、GPA-Netが、ランク1の精度で24.74%、mAPで37.82%で、ResNet50を使用する競合他社の方法を上回ることを発見しました。

GPA-Netシステムのテスト結果。上から下の行は、11kセットの右ドーサル認識、同じ左ドーサル、同じ右パルマー、11kセットとHDデータセットの左パルマーです。緑と赤のバウンディングボックスは、正しいマッチと不正なマッチを示します。

研究者は、この方法が「重大な犯罪の加害者を強固に識別する」ための強力な可能性を持っていることを考えています。