Yürüyüş Stilleri İle Cinsiyet Belirleme İle Makine Öğrenimi

Romanya’dan araştırmacılar, bir kişinin yürüyüş şeklinden cinsiyetini belirleyebilen bir makine öğrenimi sistemi geliştirdiler. Bu, yüz bileşenlerini analiz etme (ki bunlar gizli veya engellenmiş olabilir) ihtiyacını ortadan kaldırır ve ayrıca cinsiyetin belirlenmesi için silüet analizi veya diğer vücutta bulunan ipuçlarına güvenilmez (ki bunlar başka bir cinsiyet tarafından “sahteleştirilebilir”).

Araştırmacılar, bu geçici (ve değişebilir) sinyallere dayalı mevcut etiketleme sistemlerini kullanarak, erkek ve kadınların yürüyüşünü ayıran temel özellikleri belirleyerek, yalnızca bir kişinin “iskelet” hareketlerinden cinsiyeti etkili bir şekilde belirleyebilen bir sistem geliştirdiler.

Bu yeni yaklaşım, diğer sinyallere başvurmadan erkek ve kadınların farklı yürüyüş şekillerini nicelendirir; ancak yüz bilgileri (gibi diğer özellikler) gibi initially etiketleme için kullanılan diğer özelliklere dayanmaktadır, araştırma, cinsiyetin yürüyüş sırasında hangi özel özelliklerle ayırt edildiği sorusunu açık bırakır.

Yeni yöntem, yüz analizi modellerinden cinsiyet kimliğini türetmektedir, bunlar sınırlamalar altında çalışır (sınırlı kullanılabilir açı ve veri kümesi kürasyonu ihtiyacı gibi). Sistem daha sonra iskelet hareket özelliklerini erkek veya dişi olarak atar ve her biri için karakteristik yürüyüş imzalarını özümser, yüz, giyim ve diğer güvensiz veri kaynaklarını görmezden gelir. Kaynak: https://arxiv.org/pdf/2111.00538.pdf

Yeni makale, From Yüzden Yürüyüşe: Zayıf Denetimli Öğrenme Yürüyüş Kalıplarından Cinsiyet Bilgisi başlığını taşır ve Bucharest’teki University Politehnica’dan araştırmacılara aittir.

Sistem, yüz analizi modelleri ile aynı performansı gösterir ve sık sık bu standartları aşar, F1 puanı %91’e kadar ulaşır ve yeni senaryolara, çeşitli açılara ve koşullara karşı yüksek bir genellemeye sahiptir, bu koşullar genellikle yüz tabanlı veya benzeri cinsiyet tanıma sistemlerinin etkinliğini engelleyecektir. Bunlar, yüz gizlenmiş açılara, non-frontal açılara ve düşük çözünürlüklü görüntü gibi çok tipik bir senaryoya veya görüntüdeki uzakta olan kişilerin gözetlenmesine karşılık gelir, burada yalnızca yürüyüş tarzı cinsiyetin güvenilir bir göstergesi olarak kalır.

Cinsiyet Açığı

Araştırmacılar, böyle bir sistemin, özellikle COVID nedeniyle maske kullanımı ve moda ve tesadüfi olayların neden olduğu giysi ve silüet analizi gibi güvensiz bir cinsiyet belirleme yöntemi olan demografik veri toplama çerçeveleri için büyük bir potansiyele sahip olduğunu belirtiyorlar.

Gözetim açısından, hedef konuya uymayan tüm potansiyel hedefleri dışlayarak, ön işleme ve insan ve makine dikkatine duyulan ihtiyaç yarı yarıya azaltılabilir – çünkü mevcut tanıma sistemleri genellikle gözetlenen bir bireyin cinsiyetini doğru bir şekilde atamada mücadele eder.

Yeni makaleden: cinsiyet tanıma sistemlerinin başarısız olduğu çeşitli örnekler. Üst satırda, araştırmacıların yeni yürüyüş analizi sisteminin görüntüdeki gerçek etiketi doğru bir şekilde eşleştirdiğini, yüz analizi ise aynı anda başarısız olduğunu görüyoruz. Alt satırda, araştırmacıların kullandığı etiketleme araçlarının “gürültülü” (yani yanlış) cinsiyet etiketleri ürettiği örnekleri görüyoruz. Buna karşı, araştırmacılar PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’) dahil diğer yöntemleri kullandılar.

Tabii ki, yürüyüş analizi yoluyla güvenilir cinsiyet tanıma olasılığı, mevcut yürüyüş sahteciliği yaklaşımlarına ilgiyi artıracaktır.

Cinsiyet Belirleme Vekili

Teorik olarak, aynı işlevselliğe, titiz bir şekilde el ile oluşturulmuş iskelet hareket verilerinin analizi yoluyla ulaşmak mümkündür. Eğer böyle bir şey yapılsaydı, yeni proje, cinsiyeti en iyi tanımlayan hareket özelliklerine dair daha derin bir anlayışa sahip olabilirdi. Ancak, böyle bir yaklaşım büyük bir kaynak taahhüdü gerektirir ve araştırmacılar, gerekli etiketleri üretmek için mevcut (daha az dayanıklı) sistemleri kullanmışlardır.

Bu “sahte etiketler”, cinsiyet tabanlı yürüyüş özelliklerine dair hiçbir doğrudan fikir vermez, ancak yürüyüş kalıplarını cinsiyete göre yüksek bir genellemeye sahip bir şekilde filtreleme olanağı sağlar, bu da kaynak kısıtlamaları içinde elde edilebilir.

İlk olarak araştırmacılar, 2019 Front View Gait (FVG) veri kümesini kullandılar, bu, ön açından yürüyüş tanıma challenge’ini ele alır, bu da lateral görüntülere göre daha az ipucu sağlar. Veri kümesi, birçok engelle (çeşitli yürüyüş hızları, karmaşık arka plan, değişen çözünürlük ve giyim farklılıkları gibi) yürüyüş örnekleri içerir.

2019 FVG makalesinden, GaitNet, ön görünüşe dayalı “yürüyüş videolarından” temel gait özelliklerini otomatik olarak öğrenir, bu da kamu odaklı kameraların sıkça karşılaştığı bir görüntüleme senaryosudur. Kaynak: https://arxiv.org/pdf/1904.04925.pdf

FVG, cinsiyet tanımlamasına yönelik olmadığı için, yazarlar veri kümesindeki 226 kişiyi cinsiyet bilgileri ile elle etiketlediler, böylece çerçeveye temel oluşturdular.

Yüz algılama, MTCNN ile kolaylaştırıldı ve demografik özellikler IMDB-WIKI veri kümesi ile belirlendi. Yürüyüş analizi, yüz tabanlı çıkarıma göre uzun mesafede çok daha etkili olabileceğinden, nihai etiketler, yüz sınırlandırıcı kutusunun çerçeve boyutuna göre yüzey alanının ağırlıklı ortalaması olarak elde edildi. İskeletler, AlphaPose ile çıkarıldı, bu da yükseklik gibi potansiyel “ipuçlarını” (ki bunlar ad hoc kamu kameraları senaryolarında kesin olarak değerlendirilemez) ortadan kaldırır.

Test

Sistem, CASIA-B yürüyüş veri tabanı ile test edildi, veri kümesindeki over-represented erkeklerin örneklerini azaltarak testin dengesini sağlamak için, veriler %80 eğitim ve %20 doğrulama için bölündü.

Araştırmacılar, yürüyüş dizilerini arasındaki benzerliği hesaplamak için kendi önceki çalışması olan WildGait ağını (aşağıdaki resme bakınız) kullandılar. Zaten belirlenmiş olan cinsiyet kimlikleri, artık bu çerçeve sürecinin bu aşamasına etkili bir şekilde iletilir.

WildGait, yüksek hacimli, otomatik olarak etiketlenmiş iskelet dizilerinden oluşan bir Uzay-Zamansal Grafik Konvolüsyonel Ağdır, bu diziler gerçek dünya, gözetim akışlarından türetilmiştir. Kaynak: https://arxiv.org/pdf/2105.05528.pdf

Sonuç olarak, yazarlar, sistemin yüz tabanlı sistemlerle aynı düzeyde cinsiyet belirleme doğruluğuna ulaştığını belirtiyorlar. Olası yürüyüş videolarının birçok açısı olduğundan, sonuçlar bu olası açılara dağıtılmıştır: