Sử dụng Tay như một Định danh Sinh trắc học trong Pháp y Video Tội phạm

Những nhà nghiên cứu tại Anh đã phát triển một hệ thống sinh trắc học máy học có khả năng xác định cá nhân dựa trên hình dạng của bàn tay. Mục đích của công việc này là hỗ trợ việc xác định tội phạm, đặc biệt là trong các trường hợp tội phạm tình dục đã được ghi lại, nơi thông tin về bàn tay thường là tín hiệu sinh trắc học duy nhất có sẵn.

Bài báo này, có tiêu đề Xác định Người dựa trên Tay sử dụng Học biểu diễn Tính năng Toàn cầu và Phần nhận thức, và đề xuất một khuôn khổ ML mới gọi là Mạng Toàn cầu và Phần nhận thức (GPA-Net).

Trong GPA-Net, hai tensor 3D riêng biệt (toàn cầu và địa phương) được thu được bằng cách truyền hình ảnh nguồn qua các lớp tích chập xếp chồng trên mạng xương sống ResNet50. Mỗi đường phân tích sẽ thực hiện dự đoán nhận dạng. Source: https://arxiv.org/pdf/2101.05260.pdf

GPA-Net tạo ra các nhánh địa phương và toàn cầu trên lớp tích chập, nhằm tạo ra các hệ thống nhận dạng riêng biệt cho cả bàn tay (với tay trái và tay phải được nhận dạng riêng biệt, không giống như một số nỗ lực trước đây trong lĩnh vực này) và phần của bàn tay, mà bản thân chúng có thể hoạt động như lá cờ cho việc nhận dạng tốt hơn của toàn bộ bàn tay.

Nghiên cứu này đến từ Trường Khoa học và Truyền thông tại Đại học Lancaster, và được dẫn dắt bởi Nathanael L. Baisa, hiện là Giảng viên trợ lý tại Đại học De Montfort Leicester.

Tay như Định danh Sinh trắc học Nhất quán

Những nhà nghiên cứu quan sát thấy rằng bàn tay cung cấp một bộ sưu tập nhất quán các đặc điểm sinh trắc học riêng biệt có thể được ít bị ảnh hưởng bởi tuổi tác, nỗ lực ngụy trang, hoặc các yếu tố làm sai lệch khác (như sự thay đổi trong biểu cảm, trong trường hợp chụp ảnh khuôn mặt) có thể ảnh hưởng đến độ tin cậy của các hệ thống chỉ thị phổ biến hơn, bao gồm nhận dạng đi bộ và nhận dạng khuôn mặt.

Mặc dù các hệ thống bảo mật đã được thiết kế để sử dụng mẫu tĩnh mạch tay thông qua hình ảnh hồng ngoại, điều này không có khả năng trở nên có sẵn trong các thiết bị ghi lại được sử dụng trong tội phạm. Thay vào đó, nghiên cứu hiện tại tập trung vào việc thu được từ các máy ảnh kỹ thuật số tiêu chuẩn, thường được nhúng trong thiết bị di động, nhưng trong trường hợp tội phạm tình dục, thường có nhiều khả năng được thu bằng ‘máy ảnh đơn giản’ ít có khả năng chia sẻ thông tin mạng.

Ironically, dấu vân tay, có thể là phương pháp sinh trắc học phổ biến nhất được giới thiệu trong các bộ phim khoa học viễn tưởng trong 50 năm qua, đã không được đón nhận như mong đợi bởi các nhà tương lai học, có lẽ vì hệ thống nhận dạng vân tay đòi hỏi bề mặt nhận dạng nhỏ hơn và rẻ hơn. Tuy nhiên, Fujitsu đã sản xuất một phân tích quảng cáo vào năm 2016 cho rằng nhận dạng mẫu tĩnh mạch bàn tay là một công cụ sinh trắc học ưu việt cho các hệ thống bảo mật.

Các Bộ dữ liệu và Kiểm tra

GPA-Net, theo các nhà nghiên cứu, là hệ thống đầu tiên được đào tạo từ đầu đến cuối để cố gắng nhận dạng tay. Xương sống trung tâm của mạng là dựa trên ResNet50 được đào tạo trên ImageNet. Những điều này đã được chọn vì khả năng hoạt động tốt trên nhiều nền tảng khác nhau, bao gồm Google Inception (một GoogleNet module đã phát triển thành một mạng nơ-ron tích chập tiến hóa chuyên về phát hiện đối tượng và phân tích hình ảnh).

Khung khổ GPA-Net đã được thử nghiệm trên hai bộ dữ liệu – bộ dữ liệu 11k Hands năm 2016, một sự hợp tác giữa các nhà nghiên cứu từ Canada và Ai Cập; và bộ dữ liệu Hand Dorsal (HD) của Đại học Bách khoa Hồng Kông.

Một chi tiết từ ‘Xác định Cá nhân sử dụng Mẫu Knuckle Nhỏ từ Bề mặt Dorsal của Bàn tay’, tập trung vào việc xác định knuckle.

Bộ dữ liệu 11k bao gồm 190 đối tượng nhận dạng, bao gồm các siêu dữ liệu về ID, tuổi, màu da, giới tính và các yếu tố khác. Các nhà nghiên cứu đã loại bỏ bất kỳ hình ảnh nào chứa đồ trang sức, vì những hình ảnh này sẽ vô tình trở thành các ngoại lệ gây nhiễu. Họ cũng loại bỏ các hình ảnh từ bộ dữ liệu HD không có độ rõ ràng đủ, vì việc ghép nối ID là một lĩnh vực nhạy cảm hơn so với tổng hợp hình ảnh, và dữ liệu bị che khuất là một nguy cơ lớn hơn.

GPA-Net đã được chạy trên khuôn khổ học sâu PyTorch trên một card đồ họa NVIDIA GeForce RTX 2080 Ti đơn với 11gb VRAM. Mô hình đã được đào tạo sử dụng cross-entropy loss, và một bộ tối ưu hóa Stochastic Gradient Descent (SGD) mini-batch. Việc đào tạo diễn ra trong 60 kỷ tại tốc độ học ban đầu là 0,02, sau đó được xử lý bởi một lịch trình tốc độ học với một yếu tố giảm 0,1 cho mỗi 30 kỷ – hiệu quả làm chậm quá trình đào tạo khi các tính năng chiều cao nhanh chóng được nhúng, và hệ thống phải sau đó dành nhiều thời gian hơn để đi qua dữ liệu cho chi tiết tốt hơn.

Đánh giá được thực hiện bằng cách sử dụng chỉ số Đặc điểm Ghép nối Tích lũy (CMC) với Độ chính xác Trung bình (mAP).

Các nhà nghiên cứu đã tìm thấy rằng GPA-Net vượt trội so với các phương pháp cạnh tranh trên ResNet50 với 24,74% về độ chính xác hạng 1 và 37,82% về mAP.

Kết quả định tính từ thử nghiệm hệ thống GPA-Net. Từ hàng trên xuống dưới là nhận dạng dorsal phải của bộ 11k, dorsal trái của cùng, palmar phải của cùng, và palmar trái của bộ 11k và HD. Các hộp giới hạn màu xanh lá cây và đỏ chỉ ra các trận đấu chính xác và không chính xác.

Các nhà nghiên cứu cho rằng phương pháp này có ‘tiềm năng mạnh mẽ cho việc nhận dạng chắc chắn của những người phạm tội nghiêm trọng’.