Yürüyüş Stilleri İle Cinsiyet Belirleme Makine Öğrenimi

Romanya’dan araştırmacılar, yüz özellikleri analiz edilmeksizin (ki bunlar gizli veya engellenmiş olabilir) ve silüet analizi veya diğer vücut giysileri ipuçlarına güvenmeksizin, bir kişinin yürüyüşünden cinsiyetini belirleyebilen bir makine öğrenimi sistemi geliştirdiler.

Bu yeni sistem, mevcut etiketleme sistemlerini kullanarak, erkek ve kadın yürüyüşünü ayıran temel özellikleri belirleyerek, yalnızca bir kişinin “iskelet” hareketlerinden cinsiyeti belirleyebilen bir sistem oluşturdu.

Aslında, bu yeni yaklaşım, diğer sinyallere başvurmadan erkek ve kadın yürüyüşünün farklı yönlerini nicelendirir; ancak gait stillerini ilk olarak etiketlemek için yüz bilgileri gibi diğer özellikler kullanılması, araştırmaların, cinsiyetin yürüyüş sırasında hangi özelliklerle belirlendiğini açıklamaktan uzak kalmasına neden olur.

Yeni yöntem, yüz analizi modellerinden cinsiyet kimliğini türeterek, sınırlamalar altında çalışır (sınırlı kullanılabilir açıyla ve veri kümesi düzenleme ihtiyacı). Sistem sonra iskelet hareket özelliklerini erkek veya kadın olarak atar ve her biri için karakteristik yürüyüş imzaları oluşturur, yüz, giysi ve diğer güvensiz veri kaynaklarını görmezden gelir. Kaynak: https://arxiv.org/pdf/2111.00538.pdf

Yeni makale, From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns olarak adlandırılmış ve Bucharest’teki Politehnica Üniversitesi’nden araştırmacılara aittir.

Sistem, yüz analizi modelleriyle aynı performans düzeyinde çalışır ve sık sık bu standartları aşar, F1 puanı %91’e kadar ulaşır ve yeni senaryolara, çeşitli açılara ve koşullara karşı yüksek düzeyde genelleme sağlar, bu da yüz tabanlı veya benzeri cinsiyet tanıma sistemlerinin etkinliğini genellikle engelleyen senaryolardır. Bunlar, yüz engellenmiş açılara,非 frontal açılara ve düşük çözünürlüklü görüntülere veya görüntüdeki uzaklıktaki insanların izlenmesine karşılık gelir, burada yalnızca yürüyüş stili güvenilir bir cinsiyet göstergesi olarak kalır.

Cinsiyet Açığı

Araştırmacılar, böyle bir sistemin, özellikle COVID nedeniyle maske kullanımı ve moda ve tesadüfi olayların giysi ve silüet analizi gibi diğer vücut giysileri ipuçlarını güvensiz hale getirdiği için, demografik veri toplama çerçevelerini büyük ölçüde kolaylaştırabileceğini belirtiyorlar.

Gözetim açısından, hedef konuya uymayan tüm potansiyel hedefleri dışlayabilme, ön işleme ve insan ve makine dikkatine duyulan ihtiyacı yarıya kadar azaltabilir – çünkü mevcut tanıma sistemleri souvent bir gözetlenen bireyin cinsiyetini doğru şekilde belirleyemez.

Yeni makaleden: cinsiyet tanıma sistemlerinin başarısız olduğu çeşitli örnekler. Üst satırda, araştırmacıların yeni yürüyüş analizi sisteminin aynı anda yüz analizi başarısız olmasına rağmen doğru etiketi (M veya F) doğru şekilde eşleştirdiğini görüyoruz. Üst satırda, araştırmacıların kullandığı etiketleme araçlarının ‘gürültülü’ (yani yanlış) cinsiyet etiketleri ürettiği örnekleri görüyoruz. Buna karşı, araştırmacılar PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’) gibi yöntemleri kullandılar.

Tabii ki, yürüyüş analizi yoluyla güvenilir cinsiyet tanıma olasılığı, mevcut yürüyüş sahteciliği yaklaşımlarına ilgiyi artıracaktır.

Cinsiyetin Vekil Belirlenmesi

Teorik olarak, yeni proje tarafından elde edilen aynı işlevselliğe, el ile oluşturulan iskelet hareket verilerinin titiz analizi yoluyla ulaşmak mümkündür. Böyle bir yaklaşım, cinsiyetle ilgili yürüyüş özelliklerine dair daha derin içgörüler sağlayabilirdi. Ancak böyle bir yaklaşım, büyük bir kaynak taahhüdü anlamına gelir ve araştırmacılar, gerekli etiketlerin oluşturulması için mevcut (daha az dayanıklı) sistemleri kullanmayı tercih ettiler.

Bu ‘sahte etiketler’, cinsiyetle ilgili yürüyüş özelliklerine dair hiçbir doğrudan bilgi sağlamaz, ancak yürüyüş modellerini cinsiyete göre filtreleme olanağı sağlar, bu da kaynak kısıtlamaları içinde gerçekleştirilebilir.

İlk olarak araştırmacılar, 2019 Front View Gait (FVG) veri kümesini kullandılar, bu veri kümesi, fewer ipuçlarının bulunduğu frontal açıyla gait tanıma zorluğunu ele alır. Veri kümesi, çeşitli engellerle birlikte yürüyüş örnekleri içerir: çeşitli yürüyüş hızları, karmaşık arka plan, farklı çözünürlükler ve giyim farklılıkları.

2019 FVG makalesinden, GaitNet otomatik olarak ‘yürüyüş videosu’ndan temel gait özelliklerini öğrenir, ön görünüşe dayalı bir senaryoda, kamu odaklı kameraların sıkça karşılaştığı bir senaryo.

Çünkü FVG, cinsiyet tanıma amaçlı değildir, yazarlar veri kümesindeki 226 kişiyi cinsiyet bilgileri ile elle etiketleyerek çerçeveye temel oluşturdular.

Yüz tanıma MTCNN ile sağlandı ve demografik özellikler IMDB-WIKI veri kümesi kullanılarak belirlendi. Yürüyüş analizi, yüz tabanlı çıkarıma göre uzun mesafede daha etkili olabileceğinden, nihai etiketler, yüz sınırlayıcı kutusunun alanının çerçeve boyutuna göre ağırlıklı ortalaması ile elde edildi. İskeletler AlphaPose ile çıkarıldı, bu da potansiyel ‘ipuçlarını’ (örneğin, konunun nesnel yüksekliğini) kaldırır, bu da kameraların ad hoc senaryolarında kesin olarak değerlendirilemez.

Test Edilmesi

Sistem, CASIA-B gait veri kümesi ile test edildi, över-represented erkeklerin veri kümesindeki örneklerinin azaltılması suretiyle testin dengeli olması sağlandı, veri %80 eğitim ve %20 doğrulama olarak bölündü.

Araştırmacılar, kendi önceki çalışması olan WildGait ağı (aşağıdaki resme bakınız), yürüyüş dizileri arasındaki benzerliği hesaplamak için kullandılar. Zaten belirlenmiş olan cinsiyet kimlikleri, şimdi bu çerçeve sürecinin bu aşamasına etkili bir şekilde iletilir.

WildGait, gerçek dünya gözetim akışlarından türetilen yüksek hacimli, otomatik olarak etiketlenmiş iskelet dizileri üzerinde eğitilmiş bir Uzay-Zamansal Grafik Konvolüsyonel Ağdır. Kaynak: https://arxiv.org/pdf/2105.05528.pdf

Sonuç olarak, yazarlar, sistemin yüz tabanlı sistemlerle aynı düzeyde cinsiyet belirleme doğruluğuna sahip olduğunu belirtiyorlar. Yürüyüş videolarında oluşabilecek birçok olası açının olması nedeniyle, sonuçlar bu olası açılara dağıtılır: