Określanie płci za pomocą stylów chodzenia z użyciem uczenia maszynowego

Badacze z Rumunii opracowali system uczenia maszynowego, który potrafi identyfikować płeć osoby na podstawie sposobu jej chodzenia, bez konieczności analizy cech twarzy (które mogą być ukryte lub zasłonięte) oraz bez polegania na analizie sylwetki lub innych wskazówek dotyczących płci (które mogą być „oszukane” przez osoby innej płci).

Zamiast tego nowy system wykorzystuje istniejące systemy etykietowania oparte na tych efemerycznych (i zmiennych) sygnałach, aby zidentyfikować podstawowe cechy, które odróżniają chód mężczyzn i kobiet, w wyniku czego powstaje system, który skutecznie identyfikuje płeć tylko na podstawie „szkieletowych” ruchów osoby chodzącej.

Skutecznie, nowe podejście ilościowo określa różne sposoby, w jakie mężczyźni i kobiety chodzą, bez odwoływania się do innych sygnałów; jednakże, ponieważ wykorzystuje inne cechy (takie jak informacje o twarzy) do początkowego oznaczania stylów chodzenia, badanie pozostawia otwarte pytanie, które konkretnie cechy odróżniają płcie podczas chodzenia.

Nowa metoda wywnioskowuje tożsamość płciową z modeli analizy twarzy, które działają pod ograniczeniami (takimi jak ograniczony użyteczny kąt i potrzeba kuracji danych). System następnie przypisuje charakterystyki ruchu szkieletowego jako męskie lub żeńskie i destyluje charakterystyczne sygnatury chodzenia dla każdej, ignorując twarz, ubranie i inne niewiarygodne źródła danych. Źródło: https://arxiv.org/pdf/2111.00538.pdf

Nowy artykuł nosi tytuł Od twarzy do chodzenia: słabo nadzorowane uczenie informacji o płci z wzorców chodzenia i pochodzi od badaczy z Uniwersytetu Politechnicznego w Bukareszcie.

System działa na równi z modelami analizy twarzy i często przewyższa te standardy, z wynikiem F1 sięgającym do 91%, i oferuje wysoki poziom uogólnienia do nowych scenariuszy, w tym różne punkty widzenia i okoliczności, które zwykle blokują skuteczność systemów rozpoznawania płci opartych na twarzy lub podobnych. Obejmuje to punkty widzenia z zasłoniętą twarzą, niefrontalne kąty i bardzo typowy scenariusz niskiej rozdzielczości obrazu lub nadzoru osób, które są oddalonymi w obrazie, gdzie tylko styl ruchu pozostaje potencjalnym wiarygodnym wskaźnikiem płci.

Przewaga płci

Jak podsumowują badacze, taki system ma ogromny potencjał dla ram demograficznych, które są obecnie ograniczone nie tylko przez przyjęcie masek w czasie COVID, ale także przez ekstrawagancje mody i przypadkowość, które czynią ubranie i analizę sylwetki niewiarygodną metodą identyfikacji płci z nagrania nadzoru.

W kwestii nadzoru, możliwość odrzucenia wszystkich potencjalnych celów, które nie pasują do płci celu, mogłaby zmniejszyć przetwarzanie wstępne i potrzebę uwagi ludzkiej i maszynowej o połowę – ponieważ obecne systemy identyfikacji często mają trudności z poprawnym przypisaniem płci do osoby nadzorowanej.

<img class="wp-image-178491 size-full" src="https://www.unite.ai/wp-content/uploads/2021/11/false-positives-in-gender-recognition-through-facial-analysis-and-other-factors.jpg" alt="Z nowego artykułu: różne przykłady, w których systemy rozpoznawania płci zawodzą. W powyższym wierszu widzimy, jak nowy system analizy chodzenia badaczy poprawnie dopasowuje prawdziwą etykietę dla obrazu (M lub F), podczas gdy analiza twarzy zawiodła w tym samym przypadku. W wierszu poniżej widzimy przypadki, w których narzędzia etykietowania używane przez badaczy wyprodukowały „hałaśliwe” (tj. błędne) etykiety płci. Aby temu przeciwdziałać, badacze użyli PENCIL („Probabilistyczna korekta szumów w uczeniu z hałaśliwymi etykietami”), wśród innych metod.” width=”688″ height=”628″ /> Z nowego artykułu: różne przykłady, w których systemy rozpoznawania płci zawodzą. W powyższym wierszu widzimy, jak nowy system analizy chodzenia badaczy poprawnie dopasowuje prawdziwą etykietę dla obrazu (M lub F), podczas gdy analiza twarzy zawiodła w tym samym przypadku. W wierszu poniżej widzimy przypadki, w których narzędzia etykietowania używane przez badaczy wyprodukowały „hałaśliwe” (tj. błędne) etykiety płci. Aby temu przeciwdziałać, badacze użyli PENCIL („Probabilistyczna korekta szumów w uczeniu z hałaśliwymi etykietami”), wśród innych metod.

Naturalnie, możliwość wiarygodnego rozpoznawania płci za pomocą analizy chodzenia jest prawdopodobnie zwiększona przez obecne zainteresowanie podejściami do oszukiwania.

Określanie płci pośrednie

Teoretycznie możliwe jest osiągnięcie tej samej funkcjonalności, jaką osiągnął nowy projekt, poprzez rygorystyczną analizę ręcznie kuratorycznych danych ruchu szkieletowego. Gdyby to zrobiono, nowy projekt mógłby mieć głębsze spojrzenie na to, które cechy ruchu najlepiej definiują płeć. Jednakże, takie podejście oznaczałoby duże zaangażowanie zasobów, a badacze zamiast tego użyli istniejących (mniej wytrzymałych) systemów do wygenerowania etykiet niezbędnych.

Te „pseudo-etykiety” nie dają żadnej wprost wglądu w cechy chodzenia związane z płcią, ale umożliwiają filtrowanie wzorców chodzenia według płci w wysoko uogólniony sposób, który może być osiągnięty w ramach ograniczeń zasobowych.

Początkowo badacze użyli zbioru danych Front View Gait (FVG) z 2019 roku, który zajmuje się wyzwaniem rozpoznawania chodzenia z przodu, co oferuje mniej wskazówek niż widoki boczne. Zbiór danych zawiera próbki chodzenia z wieloma przeszkodami, takimi jak zróżnicowana szybkość chodzenia, zakłócona tło, różna rozdzielczość i różnice w ubraniu.

Z artykułu FVG z 2019 roku, GaitNet automatycznie uczy się istotnych cech chodzenia z „filmu chodzenia” opartego na widoku z przodu, częstym widoku w kamerach publicznych. Źródło: https://arxiv.org/pdf/1904.04925.pdf

Ponieważ FVG nie jest ukierunkowany na identyfikację płci, autorzy ręcznie oznaczyli 226 osób w zbiorze danych informacjami o płci, aby opracować podstawę dla ram.

Wykrywanie twarzy ułatwiono za pomocą MTCNN, a atrybuty demograficzne określono za pomocą zbioru danych IMDB-WIKI. Ponieważ analiza chodzenia jest potencjalnie bardziej skuteczna na duże odległości niż wnioskowanie oparte na twarzy, ostateczne etykiety uzyskano przez ważoną średnią ufności płci pochodzącej z pola twarzy względem wymiarów ramki. Szkielety wyodrębniono za pomocą AlphaPose, co usuwa potencjalne „zdradzające” cechy, takie jak obiektywny wzrost osoby (który nie może być oceniony z pewnością w przypadkowych scenariuszach kamer publicznych).

Testowanie

System został przetestowany wobec bazy danych CASIA-B gait, przy czym przetestowano niedoreprezentowane osoby męskie w zbiorze danych, aby zapewnić równość testów, z danymi podzielonymi na 80% treningu i 20% walidacji.

Badacze użyli swojej wcześniejszej pracy, sieci WildGait (patrz poniższy obraz), aby obliczyć podobieństwo między sekwencjami chodzenia. Identyfikatory płci, już ustalone, są teraz skutecznie wprowadzane do tego etapu procesu ramowego.

WildGait to Sieć Grafowa Przestrzenno-Czasowa wyuczona na dużym, automatycznie oznaczonym szkielecie sekwencji pochodzących z rzeczywistych, strumieniowych danych nadzoru. Źródło: https://arxiv.org/pdf/2105.05528.pdf

Podsumowując, autorzy stwierdzają, że system jest na równi z systemami opartymi na twarzy pod względem dokładności w określaniu płci. Ponieważ istnieje wiele możliwych kątów, które mogą wystąpić w źródłowym filmie chodzenia, wyniki są rozłożone na szereg tych możliwych punktów widzenia: