Determinarea genului prin stilul de mers cu ajutorul învățării automate

Cercetători din România au dezvoltat un sistem de învățare automată capabil să identifice genul unei persoane în funcție de modul în care aceasta merge, fără a fi nevoie să analizeze componentele faciale (care pot fi ascunse sau obscure) și fără a se baza pe analiza siluetei sau pe alte indicii vizuale legate de gen (care pot fi “spoofate” de membrii altui gen).

În schimb, noul sistem utilizează sisteme de etichetare existente bazate pe aceste semnale efemere (și schimbătoare) pentru a identifica caracteristicile de bază care diferențiază mersul bărbaților și femeilor, rezultând un sistem care identifică eficient genul doar din “mișcările scheletice” ale unei persoane care merge.

În esență, această nouă abordare cantifică modurile diferite în care bărbații și femeile merg fără a recurge la alte semnale; dar deoarece utilizează alte caracteristici (cum ar fi informații despre față) pentru a eticheta inițial stilurile de mers, cercetarea lasă deschisă întrebarea cu privire la care trăsături particulare diferențiază sexele în timp ce merg.

Noua metodă derivă identitatea de gen din modele de analiză facială care funcționează sub constrângeri (cum ar fi unghiul util limitat și nevoia de curățare a setului de date). Sistemul atribuie apoi caracteristici de mișcare scheletică ca masculine sau feminine și distilează semnături caracteristice de mers pentru fiecare, ignorând fața, îmbrăcămintea și alte surse de date nerezonabile. Sursă: https://arxiv.org/pdf/2111.00538.pdf

Noua lucrare se intitulează De la față la mers: Învățare slab supravegheată a informațiilor de gen din modele de mers și provine de la cercetători de la Universitatea Politehnică din București.

Sistemul funcționează la nivelul modelelor de analiză facială și depășește frecvent aceste standarde, cu un scor F1 de până la 91%, și oferă un nivel ridicat de generalizare la scenarii noi, inclusiv o varietate de puncte de vedere și împrejurări care ar putea în mod normal bloca eficacitatea sistemelor de recunoaștere a genului bazate pe față sau similare. Acestea includ puncte de vedere obscure, unghiuri nefrontale și scenariul foarte obișnuit al imaginilor de rezoluție scăzută, sau supravegherea persoanelor care sunt la distanță în imagine, unde doar stilul de mers rămâne ca un posibil indicator de gen fiabil.

Decalajul de gen

După cum concluzionează cercetătorii, un astfel de sistem are un potențial mare pentru cadrele de colectare a datelor demografice care sunt în prezent împiedicate nu numai de adoptarea măștilor sub COVID, ci și de excentricitățile modei și întâmplării care fac îmbrăcămintea și analiza siluetei o metodă nerezonabilă de identificare a genului din înregistrările de supraveghere.

În ceea ce privește supravegherea, posibilitatea de a exclude toți potențialii ținte care nu corespund genului subiectului țintă ar putea reduce prelucrarea și nevoia de atenție umană și mașină cu până la jumătate – deoarece sistemele actuale de identificare adesea au dificultăți în a atribui corect genul unei persoane supravegheate.

Din noua lucrare: diverse exemple în care sistemele de recunoaștere a genului eșuează. În rândul de sus, vedem noul sistem de analiză a mersului cercetătorilor care corespunde corect etichetei reale pentru imagine (M sau F), în timp ce analiza facială a eșuat în același caz. În rândul de jos, vedem exemple în care uneltele de etichetare utilizate de cercetători au produs etichete “zgomotoase” (adică incorecte) de gen. Pentru a contracara acest lucru, cercetătorii au utilizat PENCIL (‘Corectare probabilistică de la capăt la coadă a zgomotului pentru învățare cu etichete zgomotoase’), printre alte metode.

Este natural ca posibilitatea de recunoaștere a genului prin analiză a mersului să crească interesul actual pentru abordările de spoofing a mersului.

Determinarea genului prin proxy

Este teoretic posibil să se fi ajuns la aceeași funcționalitate realizată de noul proiect prin analiza riguroasă a datelor de mișcare scheletică curate manual. Dacă ar fi fost făcut acest lucru, este probabil că noul proiect ar fi avut o înțelegere mai profundă a caracteristicilor de mișcare care definesc cel mai bine genul. Cu toate acestea, o astfel de abordare semnifică o angajare semnificativă de resurse, iar cercetătorii au utilizat în schimb sisteme existente (mai puțin rezistente) pentru a genera etichetele necesare.

Aceste “pseudo-etichete” oferă nicio înțelegere directă a trăsăturilor de mers bazate pe gen, dar permit filtrarea modelelor de mers după gen într-un mod foarte generalizabil care poate fi realizat în cadrul constrângerilor de resurse.

Inițial, cercetătorii au utilizat setul de date Front View Gait (FVG) din 2019, care abordează provocarea recunoașterii mersului dintr-un unghi frontal, care oferă mai puține indicii decât vederile laterale. Setul de date conține mostre de mers cu multe obstacole, cum ar fi viteza de mers variată, fundal încărcat, rezoluție variabilă și diferențe de îmbrăcăminte.

Din lucrarea FVG din 2019, GaitNet învață automat caracteristicile esențiale ale mersului din ‘video de mers’, pe baza filmărilor din vedere frontală, un scenariu frecvent de vedere în camerele publice. Sursă: https://arxiv.org/pdf/1904.04925.pdf

Deoarece FVG nu este orientat spre identificarea genului, autorii au etichetat manual 226 de subiecți din setul de date cu informații de gen pentru a dezvolta un punct de referință pentru cadru.

Detectarea facială a fost facilitată prin MTCNN, iar atributele demografice au fost determinate de setul de date IMDB-WIKI. Deoarece analiza mersului este potențial mult mai eficientă la distanță decât inferența bazată pe față, etichetele finale au fost obținute printr-o medie ponderată a încrederii genului derivat din aria cutiei de delimitare facială în raport cu dimensiunile cadrului. Scheletele au fost extrase cu AlphaPose, care elimină orice “dăți” potențiale, cum ar fi înălțimea obiectivă a subiectului (care nu poate fi evaluată cu certitudine în scenarii de cameră publică ad hoc).

Testare

Sistemul a fost testat împotriva bazei de date CASIA-B de mers, subspecimând bărbații suprareprezentați în setul de date pentru a asigura paritatea testării, cu datele împărțite în 80% pentru antrenament și 20% pentru validare.

Cercetătorii au utilizat propria lor lucrare anterioară, o rețea WildGait (vezi imaginea de mai jos), pentru a calcula similaritatea între secvențele de mers. Identificatorii de gen, deja stabiliți, sunt acum efectiv introduși în această etapă a procesului cadrului.

WildGait este o rețea de convoluție grafică spațio-temporală antrenată pe secvențe de schelet de volum mare, etichetate automat, derivate din fluxuri de supraveghere din lumea reală. Sursă: https://arxiv.org/pdf/2105.05528.pdf

În concluzie, autorii afirmă că sistemul se ridică la nivelul sistemelor de analiză facială de ultimă generație în ceea ce privește acuratețea determinării genului. Deoarece există atâtea unghiuri posibile care pot apărea în videoclipurile de mers, rezultatele sunt distribuite pe o gamă de puncte de vedere posibile: