Menentukan Jenis Kelamin Melalui Gaya Berjalan dengan Pembelajaran Mesin

Peneliti dari Rumania telah mengembangkan sistem pembelajaran mesin yang dapat mengidentifikasi jenis kelamin seseorang dari cara mereka berjalan, tanpa perlu menganalisis komponen wajah (yang mungkin tersembunyi atau terhalang), dan tanpa mengandalkan analisis siluet atau petunjuk lain yang terkait dengan jenis kelamin (yang dapat dipalsukan oleh anggota jenis kelamin lain).

Sebaliknya, sistem baru ini menggunakan sistem pelabelan yang ada berdasarkan sinyal-sinyal yang bersifat sementara (dan dapat berubah) untuk mengidentifikasi karakteristik inti yang membedakan gaya berjalan pria dan wanita, sehingga menghasilkan sistem yang secara efektif mengidentifikasi jenis kelamin hanya dari gerakan “skeletal” seseorang yang berjalan.

Secara efektif, pendekatan baru ini mengkuantifikasi perbedaan cara pria dan wanita berjalan tanpa menggunakan sinyal lain; namun, karena sistem ini menggunakan karakteristik lain (seperti informasi wajah) untuk awalnya melabeli gaya berjalan, penelitian ini meninggalkan pertanyaan tentang trait khusus yang membedakan jenis kelamin saat berjalan.

Metode baru ini menghasilkan identitas jenis kelamin dari model analisis wajah yang beroperasi di bawah kendala (seperti sudut yang terbatas dan kebutuhan untuk pengumpulan dataset). Sistem kemudian mengassign karakteristik gerakan skeletal sebagai pria atau wanita, dan menghasilkan tanda tangan berjalan khas untuk masing-masing, mengabaikan wajah, pakaian, dan sumber data lain yang tidak dapat diandalkan. Sumber: https://arxiv.org/pdf/2111.00538.pdf

Makalah baru ini berjudul Dari Wajah ke Gaya Berjalan: Pembelajaran yang Lemah-Supervisi dari Informasi Jenis Kelamin dari Pola Berjalan, dan berasal dari peneliti di Universitas Politehnica di Bucharest.

Sistem ini bekerja setara dengan model analisis wajah, dan sering melebihi standar tersebut, dengan skor F1 hingga 91%, dan menawarkan tingkat generalisasi yang tinggi ke skenario baru, termasuk berbagai sudut pandang dan keadaan yang biasanya akan menghalangi efektivitas sistem pengenalan jenis kelamin berbasis wajah atau serupa. Ini termasuk sudut pandang yang terhalang, sudut non-depan, dan skenario yang sangat umum seperti resolusi gambar yang rendah, atau pengawasan orang yang jauh dalam gambar, di mana hanya gaya berjalan yang tersisa sebagai petunjuk yang dapat diandalkan dari jenis kelamin.

Gap Jenis Kelamin

Seperti yang disimpulkan oleh peneliti, sistem seperti ini memiliki potensi besar untuk kerangka pengumpulan data demografi yang saat ini terhambat tidak hanya oleh adopsi masker di bawah COVID, tetapi juga oleh keanehan mode dan kejadian yang membuat pakaian dan analisis siluet menjadi metode yang tidak dapat diandalkan untuk mengidentifikasi jenis kelamin dari footage pengawasan.

Dalam hal pengawasan, kemampuan untuk mengabaikan semua target potensial yang tidak sesuai dengan jenis kelamin subjek target dapat memotong pra-pengolahan dan kebutuhan perhatian manusia dan mesin hingga setengah – karena sistem pengenalan saat ini sering kesulitan untuk mengassign jenis kelamin yang benar kepada individu yang diawasi.

Dari makalah baru: berbagai contoh di mana sistem pengenalan jenis kelamin gagal. Pada baris atas, kita melihat sistem analisis gaya berjalan baru peneliti secara benar mencocokkan label sebenarnya untuk gambar (M atau F), sedangkan analisis wajah gagal dalam contoh yang sama. Pada baris di bawah kita melihat contoh di mana alat pelabelan yang digunakan oleh peneliti telah menghasilkan ‘label bising’ (yaitu label yang tidak benar). Untuk mengatasi ini, peneliti menggunakan PENCIL (‘Koreksi Noise Probabilistik dari Ujung ke Ujung untuk Pembelajaran dengan Label Bising’), di antara metode lain.

Secara alami, kemungkinan pengenalan jenis kelamin yang dapat diandalkan melalui analisis gaya berjalan kemungkinan akan meningkatkan minat saat ini dalam pendekatan gait-spoofing.

Penentuan Jenis Kelamin oleh Proksi

Secara teoretis, mungkin untuk mencapai fungsionalitas yang sama yang dicapai oleh proyek baru ini melalui analisis yang ketat dari data gerakan skeletal yang telah dikurasi dengan tangan. Jika ini telah dilakukan, maka proyek baru ini mungkin memiliki wawasan yang lebih dalam tentang karakteristik gerakan yang membedakan jenis kelamin. Namun, pendekatan seperti itu menandakan komitmen sumber daya yang besar, dan peneliti telah menggunakan sistem yang ada (yang kurang kuat) untuk menghasilkan label yang diperlukan.

Label ‘pseudo’ ini tidak menawarkan wawasan langsung tentang ciri-ciri berjalan berbasis jenis kelamin, tetapi memungkinkan untuk menyaring pola berjalan berdasarkan jenis kelamin dengan cara yang sangat umum dan dapat dicapai dalam keterbatasan sumber daya.

Awalnya peneliti menggunakan dataset Front View Gait (FVG) 2019, yang menangani tantangan pengenalan gaya berjalan dari sudut depan, yang menawarkan lebih sedikit petunjuk daripada sudut lateral. Dataset ini berisi sampel berjalan dengan banyak hambatan, seperti kecepatan berjalan yang bervariasi, latar belakang yang berantakan, resolusi yang bervariasi, dan perbedaan dalam pakaian.

Dari makalah FVG 2019, GaitNet secara otomatis mempelajari fitur gait yang diperlukan dari ‘video berjalan’, berdasarkan footage sudut depan, skenario tampilan yang umum dalam kamera yang menghadap ke publik. Sumber: https://arxiv.org/pdf/1904.04925.pdf

Karena FVG tidak diarahkan untuk identifikasi jenis kelamin, penulis telah mengannotasi 226 subjek dalam dataset dengan informasi jenis kelamin untuk mengembangkan kebenaran dasar untuk kerangka kerja.

Deteksi wajah difasilitasi melalui MTCNN, dan atribut demografi ditentukan oleh dataset IMDB-WIKI dataset. Karena analisis gaya berjalan potensialnya jauh lebih efektif pada jarak jauh daripada inferensi berbasis wajah, label akhir diperoleh dengan rata-rata tertimbang dari kepercayaan jenis kelamin yang diperoleh dari area kotak pembatas wajah relatif terhadap dimensi bingkai. Kerangka diperoleh dengan AlphaPose, yang menghilangkan ‘petunjuk’ potensial, seperti tinggi subjek (yang tidak dapat dievaluasi dengan pasti dalam skenario kamera publik ad hoc).

Pengujian

Sistem ini diuji melawan database gait CASIA-B, dengan mengundersample laki-laki yang berlebihan dalam dataset untuk memastikan kesetaraan pengujian, dengan data yang dibagi menjadi 80% pelatihan dan 20% validasi.

Peneliti menggunakan pekerjaan sebelumnya, yaitu jaringan WildGait (lihat gambar di bawah), untuk menghitung kesamaan antara urutan berjalan. ID jenis kelamin, yang telah ditetapkan sebelumnya, sekarang secara efektif diarahkan ke tahap proses kerangka ini.

WildGait adalah Jaringan Konvolusi Grafik Spatio-Temporal yang dilatih pada urutan kerangka yang diannotasi secara otomatis dengan volume tinggi, yang diperoleh dari aliran pengawasan dunia nyata. Sumber: https://arxiv.org/pdf/2105.05528.pdf

Dalam kesimpulan, penulis menyatakan bahwa sistem ini setara dengan sistem berbasis wajah dalam hal akurasi dalam menentukan jenis kelamin. Karena ada banyak sudut yang mungkin terjadi dalam video berjalan sumber, hasilnya didistribusikan di seluruh rentang sudut yang mungkin tersebut: