Menggunakan Tangan sebagai Pengidentifikasi Biometrik dalam Forensik Video Kriminal

Peneliti di Inggris telah mengembangkan sistem biometrik berbasis pembelajaran mesin yang mampu mengidentifikasi individu dari bentuk tangan mereka. Tujuan dari pekerjaan ini adalah untuk membantu mengidentifikasi pelaku kejahatan, terutama dalam kasus pelaku kejahatan seksual yang telah merekam kejahatan mereka, di mana informasi tangan sering kali merupakan satu-satunya sinyal biometrik yang tersedia.

Makalah ini, yang berjudul Hand-based Person Identification Using Global and Part-aware Deep Feature Representation Learning, dan mengusulkan kerangka kerja baru ML yang disebut Global and Part-Aware Network (GPA-Net).

Dalam GPA-Net, dua tensor 3D yang berbeda (global dan lokal) diperoleh dengan melewati gambar sumber melalui lapisan konvolusi yang ditumpuk pada jaringan backbone ResNet50. Setiap jalur analitis akan membuat prediksi identitas. Sumber: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net membuat cabang lokal dan global pada lapisan konvolusi, untuk membuat sistem pengenalan yang berbeda untuk keseluruhan tangan (dengan tangan kiri dan kanan yang diakui secara terpisah, tidak seperti beberapa upaya sebelumnya di sektor ini) dan bagian tangan, yang dapat bertindak sebagai bendera pakan untuk identifikasi tangan yang lebih baik.

Penelitian ini berasal dari Sekolah Ilmu Komputer dan Komunikasi di Universitas Lancaster, dan dipimpin oleh Nathanael L. Baisa, yang sekarang menjadi Asisten Profesor di Universitas De Montfort Leicester.

Tangan sebagai Indikator Biometrik yang Konsisten

Para peneliti mengamati bahwa tangan menawarkan koleksi konsisten dari karakteristik biometrik yang berbeda yang dapat kurang dipengaruhi oleh usia, upaya penyamaran, atau faktor distorsi lainnya (seperti variasi ekspresi, dalam kasus pengambilan wajah) yang dapat mempengaruhi keandalan sistem indikator yang lebih populer, termasuk pengenalan gait dan pengenalan wajah.

Meskipun sistem keamanan telah dibuat yang menggunakan pola vena tangan melalui pencitraan inframerah, ini tidak mungkin tersedia di perangkat perekaman yang digunakan dalam kejahatan. Sebaliknya, penelitian saat ini berfokus pada pengambilan yang diperoleh melalui kamera digital standar, biasanya tertanam di perangkat seluler, tetapi dalam kasus kejahatan seksual, seringkali lebih mungkin diperoleh oleh ‘kamera bodoh’ yang kurang cenderung berbagi informasi jaringan.

Ironisnya, sidik telapak tangan, mungkin metode biometrik yang paling populer yang ditampilkan dalam film fiksi ilmiah selama lima puluh tahun terakhir, tidak menikmati penerimaan yang diharapkan oleh futuris, mungkin karena sistem pengenalan sidik jari memerlukan permukaan pengenalan yang lebih kecil dan lebih murah. Namun, Fujitsu memproduksi studi promosi pada 2016 yang berargumen bahwa pengenalan pola vena telapak tangan adalah alat biometrik yang lebih baik untuk sistem keamanan.

Dataset dan Pengujian

GPA-Net adalah, menurut para peneliti, sistem pelatihan ujung-ke-ujung pertama yang mencoba pengenalan tangan. Tulang punggung jaringan utamanya didasarkan pada ResNet50 yang dilatih melalui ImageNet. Ini dipilih karena kemampuan mereka untuk berperforma dengan baik di berbagai platform termasuk Google Inception (modul GoogleNet yang berkembang menjadi Jaringan Saraf Konvolusi yang berkembang yang mengkhususkan diri dalam deteksi objek dan analisis gambar).

Kerangka kerja GPA-Net diuji melintasi dua dataset – dataset 2016 11k Hands set, kolaborasi antara peneliti dari Kanada dan Mesir; dan dataset Hand Dorsal (HD) dari Universitas Politeknik Hong Kong.

Detail dari ‘Personal Identification Using Minor Knuckle Patterns From Palm Dorsal Surface’, fokus pada identifikasi knuckle.

Dataset 11k fitur 190 subjek identitas, termasuk berbagai metadata mengenai ID, usia, warna kulit, jenis kelamin, dan faktor lainnya. Para peneliti mengecualikan gambar yang mengandung perhiasan, karena ini akan menjadi outlier yang mengganggu. Mereka juga mengecualikan gambar dari dataset HD yang tidak memiliki kejelasan yang memadai, karena pencocokan ID lebih sensitif daripada sintesis gambar, dan data yang tersembunyi merupakan bahaya yang lebih besar.

GPA-Net dijalankan pada kerangka kerja pembelajaran dalam PyTorch pada satu NVIDIA GeForce RTX 2080 Ti GPU dengan 11gb VRAM. Model ini dilatih menggunakan kerugian cross-entropy, dan optimizer Stochastic Gradient Descent (SGD) mini-batch. Pelatihan terjadi selama 60 epoch dengan tingkat pembelajaran awal 0,02, yang kemudian diatur oleh scheduler tingkat pembelajaran dengan faktor penurunan 0,1 untuk setiap 30 epoch – secara efektif memperlambat pelatihan ketika fitur tinggi dimensi dengan cepat menjadi tertanam, dan sistem harus kemudian menghabiskan waktu lebih lama untuk menelusuri data untuk detail yang lebih halus.

Evaluasi dilakukan menggunakan metrik Karakteristik Pencocokan Kumulatif (CMC) dengan Mean Average Precision (mAP).

Para peneliti menemukan bahwa GPA-Net outperforms metode yang bersaing pada ResNet50 oleh 24,74% dalam akurasi peringkat-1 dan oleh 37,82% pada mAP.

Hasil kualitatif dari pengujian sistem GPA-Net. Baris atas ke bawah adalah pengenalan dorsal kanan dari dataset 11k, dorsal kiri dari yang sama, palmar kanan dari yang sama, dan palmar kiri dari dataset 11k dan HD. Kotak pembatas hijau dan merah menunjukkan pencocokan yang benar dan salah.

Para peneliti menganggap bahwa metode ini memiliki ‘potensi yang kuat untuk identifikasi yang kuat dari pelaku kejahatan serius’.