Menggunakan Tangan sebagai Pengidentifikasi Biometrik dalam Forensik Video Kriminal

Peneliti di UK telah mengembangkan sistem biometrik berbasis pembelajaran mesin yang dapat mengidentifikasi individu dari bentuk tangan mereka. Tujuan dari pekerjaan ini adalah untuk membantu mengidentifikasi pelaku kejahatan, terutama dalam kasus pelaku kejahatan seksual yang telah merekam kejahatan mereka, di mana informasi tangan sering kali merupakan satu-satunya sinyal biometrik yang tersedia.

Paper paper, berjudul Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, dan mengusulkan kerangka baru ML yang disebut Global and Part-Aware Network (GPA-Net).

Dalam GPA-Net, dua tensor 3D yang berbeda (global dan lokal) diperoleh dengan melewati gambar sumber melalui lapisan konvolusi yang ditumpuk pada jaringan backbone ResNet50. Setiap jalur analitis akan membuat prediksi identitas. Sumber: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net menciptakan cabang lokal dan global pada lapisan konvolusi, untuk membuat sistem pengenalan yang berbeda untuk keseluruhan tangan (dengan tangan kiri dan kanan diakui secara terpisah, tidak seperti beberapa upaya sebelumnya di sektor ini) dan bagian tangan, yang dapat bertindak sebagai bendera pengumpan untuk identifikasi tangan yang lebih baik.

Penelitian ini berasal dari Sekolah Komputasi dan Komunikasi di Lancaster University, dan dipimpin oleh Nathanael L. Baisa, yang sekarang menjadi Asisten Profesor di De Montfort University Leicester.

Tangan sebagai Indikator Biometrik yang Konsisten

Peneliti mengamati bahwa tangan menawarkan koleksi karakteristik biometrik yang konsisten yang dapat kurang dipengaruhi oleh usia, upaya penyamaran, atau faktor distorsi lainnya (seperti variasi ekspresi, dalam kasus penangkapan wajah) yang dapat mempengaruhi keandalan sistem indikator yang lebih populer, termasuk pengenalan gait dan pengenalan wajah.

Meskipun sistem keamanan telah dibuat yang menggunakan pola vena tangan melalui pengambilan gambar inframerah, ini tidak mungkin tersedia di jenis perangkat perekam yang digunakan dalam kejahatan. Sebaliknya, penelitian saat ini berfokus pada tangkapan yang diperoleh melalui kamera digital standar, biasanya tertanam di perangkat mobile, tetapi dalam kasus kejahatan seksual, seringkali lebih mungkin diperoleh oleh ‘kamera bodoh’ yang kurang cenderung berbagi informasi jaringan.

Ironisnya, sidik telapak tangan, mungkin metode biometrik paling populer yang ditampilkan dalam film fiksi ilmiah selama lima puluh tahun terakhir, belum menikmati penerimaan yang diharapkan oleh futuris, mungkin karena sistem pengenalan sidik jari memerlukan permukaan pengenalan yang lebih kecil dan lebih murah. Namun, Fujitsu menghasilkan studi promosi pada 2016 yang berargumen bahwa pengenalan pola vena telapak tangan adalah alat biometrik yang superior untuk sistem keamanan.

Dataset dan Pengujian

GPA-Net, menurut peneliti, adalah sistem pelatihan ujung-ke-ujung pertama yang mencoba pengenalan tangan. Tulang punggung jaringan terletak pada ResNet50 yang dilatih melalui ImageNet. Ini dipilih karena kemampuan mereka untuk berperforma dengan baik di berbagai platform termasuk Google Inception (modul GoogleNet yang berkembang menjadi Jaringan Saraf Konvolusi yang berkembang yang mengkhususkan diri dalam deteksi objek dan analisis gambar).

Kerangka GPA-Net diuji melintasi dua dataset – dataset 11k Hands 2016, kolaborasi antara peneliti dari Kanada dan Mesir; dan dataset Hand Dorsal (HD) Universitas Politeknik Hong Kong.

Detail dari ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, fokus pada identifikasi knuckle.

Dataset 11k fitur 190 subjek identitas, termasuk berbagai metadata tentang ID, usia, warna kulit, jenis kelamin, dan faktor lainnya. Peneliti mengecualikan gambar yang mengandung perhiasan, karena ini akan berakhir sebagai outlier yang mengganggu. Mereka juga mengecualikan gambar dari dataset HD yang tidak memiliki kejelasan yang memadai, karena pencocokan ID lebih sensitif daripada sintesis gambar, dan data yang tersembunyi merupakan bahaya yang lebih besar.

GPA-Net dijalankan pada kerangka pembelajaran dalam PyTorch pada satu NVIDIA GeForce RTX 2080 Ti GPU dengan 11gb VRAM. Model ini dilatih menggunakan cross-entropy loss, dan optimizer Stochastic Gradient Descent (SGD) mini-batch. Pelatihan terjadi selama 60 epoch dengan tingkat pembelajaran awal 0,02, yang kemudian diatur oleh scheduler tingkat pembelajaran dengan faktor penurunan 0,1 untuk setiap 30 epoch – secara efektif memperlambat pelatihan saat fitur dimensional tinggi dengan cepat menjadi tertanam, dan sistem harus kemudian menghabiskan waktu lebih lama untuk menelusuri data untuk detail yang lebih halus.

Evaluasi dilakukan menggunakan metrik Karakteristik Pencocokan Kumulatif (CMC) dengan Mean Average Precision (mAP).

Peneliti menemukan bahwa GPA-Net outperforms metode yang bersaing pada ResNet50 oleh 24,74% dalam akurasi peringkat-1 dan oleh 37,82% pada mAP.

Hasil kualitatif dari pengujian sistem GPA-Net. Baris atas ke bawah adalah pengenalan dorsal kanan dari set 11k, dorsal kiri dari set yang sama, palmar kanan dari set yang sama, dan palmar kiri dari dataset 11k dan HD. Kotak pembatas hijau dan merah menunjukkan cocok dan tidak cocok.

Peneliti menganggap bahwa metode ini memiliki ‘potensi kuat untuk identifikasi yang kuat dari pelaku kejahatan serius’.