Určení pohlaví pomocí chůze s využitím strojového učení

Výzkumníci z Rumunska vyvinuli systém strojového učení, který je schopen identifikovat pohlaví osoby podle způsobu chůze, bez nutnosti analyzovat obličejové rysy (které mohou být skryté nebo zakryté), a bez použití siluetové analýzy nebo jiných tělesných znaků (které mohou být „podvrženy“ členy opačného pohlaví).

Rather, nový systém využívá existující označení založená na těchto efemérních (a měnitelných) signálech k identifikaci základních charakteristik, které odlišují chůzi mužů a žen, což vede k systému, který účinně identifikuje pohlaví pouze podle „skeletálních“ pohybů osoby při chůzi.

Účinně, tento nový přístup kvantifikuje různé způsoby, jak muži a ženy chodí, bez použití jiných signálů; ale protože využívá jiné charakteristiky (jako informace o obličeji) k inicializaci označení chůze, výzkum ponechává otevřenou otázku, které konkrétní rysy odlišují pohlaví při chůzi.

Nová metoda odvozuje pohlavní identitu z modelů obličejové analýzy, které fungují pod omezeními (jako omezený použitelný úhel a potřeba kurace dat). Systém pak přiřazuje charakteristiky skeletálních pohybů jako mužské nebo ženské a destiluje charakteristické chodecké signatury pro každé, ignoruje obličej, oblečení a další nespolehlivé zdroje dat. Source: https://arxiv.org/pdf/2111.00538.pdf

Nová práce se jmenuje From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns a pochází od výzkumníků z University Politehnica v Bukurešti.

Systém funguje na stejné úrovni jako modely obličejové analýzy a často tyto standardy překonává, s F1 skóre až 91%, a nabízí vysokou úroveň generalizace na nové scénáře, včetně různých úhlů pohledu a okolností, které obvykle znemožňují efektivní fungování systémů založených na obličeji nebo podobných systémech rozpoznávání pohlaví. Tyto zahrnují pohledy se zakrytým obličejem, nefrontální úhly a velmi typické scénáře s nízkým rozlišením obrazu, nebo sledování osob, které jsou vzdálené v obraze, kde zůstává pouze styl chůze jako potenciální spolehlivý indikátor pohlaví.

Pohlavní mezera

Jak výzkumníci uzavírají, takový systém má velký potenciál pro rámce sběru demografických údajů, které jsou目前 omezeny nejen použitím roušek během COVID, ale také excentricitou módy a náhodností, které činí oblečení a siluetovou analýzu nespolehlivou metodou identifikace pohlaví z bezpečnostních záznamů.

Co se týče sledování, schopnost vyloučit všechny potenciální cíle, které neodpovídají pohlaví cílové osoby, by mohla snížit předzpracování a potřebu lidské a strojové pozornosti až o polovinu – protože současné systémy identifikace často mají potíže s přesným přiřazením pohlaví sledované osobě.

Z nové práce: různé příklady, kde systémy rozpoznávání pohlaví selhávají. V horním řádku vidíme, že nový systém chodecké analýzy správně odpovídá skutečnému označení pro obraz (M nebo F), zatímco obličejová analýza selhala ve stejném případě. V řádku níže vidíme instance, kde nástroje označení použitých výzkumníky produkovaly „šumivé“ (tj. nesprávné) označení pohlaví. Aby tomu čelili, výzkumníci použili PENCIL („Probabilistická korekce šumu pro učení s nesprávnými označeními“), mezi jinými metodami.

Přirozeně, možnost spolehlivého rozpoznávání pohlaví pomocí chodecké analýzy je pravděpodobně zvýšena současným zájmem o přístupy ke chodeckému podvržení.

Určení pohlaví zástupcem

Teoreticky je možné dosáhnout stejné funkčnosti, jako má nový projekt, prostřednictvím důkladné analýzy ručně kurátorovaných dat skeletálních pohybů. Pokud by to bylo provedeno, je pravděpodobné, že nový projekt by mohl mít hlubší poznatky o tom, které pohybové charakteristiky nejlépe definují pohlaví. Nicméně, takový přístup vyžaduje velké množství zdrojů, a výzkumníci místo toho použili existující (méně odolné) systémy k vygenerování označení nutných.

Tato „pseudo-označení“ nenabízejí žádný přímý vhled do genderových chodeckých vlastností, ale umožňují filtrování chodeckých vzorců podle pohlaví způsobem, který je vysoce generalizovatelný a může být dosažen v rámci omezení zdrojů.

Původně výzkumníci použili dataset Front View Gait (FVG) z roku 2019, který řeší výzvu rozpoznávání chůze z frontálního úhlu, který nabízí méně indicií než laterální pohledy. Dataset obsahuje vzorky chůze s mnoha překážkami, jako je různá rychlost chůze, znečištěný pozadí, různé rozlišení a rozdíly v oblečení.

Z práce FVG, GaitNet automaticky učí esenciální charakteristiky chůze z „chodeckého videa“, založeného na frontálním pohledu, který je častým scénářem ve veřejných kamerách. Source: https://arxiv.org/pdf/1904.04925.pdf

Pokud FVG není zaměřen na identifikaci pohlaví, autoři ručně označili 226 subjektů v datasetu pohlavními informacemi, aby vyvinuli základní pravdu pro rámec.

Detekce obličeje byla usnadněna pomocí MTCNN, a demografické atributy byly určeny pomocí datasetu IMDB-WIKI dataset. Pokud je analýza chůze potenciálně účinnější na velké vzdálenosti než inference založená na obličeji, konečná označení byla získána pomocí váženého průměru pohlavní jistoty odvozené z oblasti obličejového rámečku vzhledem k rozměrům rámečku. Kostry byly extrahovány pomocí AlphaPose, které odstraňují potenciální „zrádce“, jako je objektivní výška subjektu (která nemůže být vyhodnocena s jistotou v ad hoc veřejných kamerových scénářích).

Testování

Systém byl testován proti CASIA-B gait databázi, s podvyživením nadměrně reprezentovaných mužů v datasetu, aby se zajistila parita testování, s daty rozdělenými na 80% pro trénování a 20% pro validaci.

Výzkumníci použili svou předchozí práci, WildGait síť (viz obrázek níže), aby vypočítali podobnost mezi chodeckými sekvencemi. Pohlavní identifikátory, již stanovené, jsou nyní účinně předány do této fáze procesu rámce.

WildGait je Spatio-Temporal Graph Convolutional Network trénovaný na velkém objemu automaticky označených skeletálních sekvencí odvozených z reálných, bezpečnostních toků. Source: https://arxiv.org/pdf/2105.05528.pdf

V závěru autoři uvádějí, že systém odpovídá systémům založeným na obličeji ve smyslu přesnosti při určování pohlaví. Pokud existuje tolik možných úhlů, které mohou nastat v zdrojovém chodeckém videu, výsledky jsou rozloženy napříč rozsahem těchto možných úhlů: