Sukupuolen määritys kävelytyylistä koneoppimisen avulla

Romanian tutkijat ovat kehittäneet koneoppimisjärjestelmän, joka pystyy tunnistamaan henkilön sukupuolen kävelytyylistä ilman kasvojen analyysiä (joka voi olla piilossa tai peitettynä) eikä riipu siitä, että se analysoi hahmoa tai muita kehon viittauksia sukupuoleen (jotka voidaan “väärentää” toisen sukupuolen jäsenillä).

Tämä uusi järjestelmä käyttää olemassa olevia merkintäjärjestelmiä, jotka perustuvat näihin hetkellisiin (ja muuttuvaisiin) signaaleihin, jotta voidaan tunnistaa sukupuolen määrittävät kävelytyylin ydinominaisuudet, jolloin järjestelmästä tulee tehokas sukupuolen tunnistaja pelkästään henkilön “luurankoliikkeiden” perusteella.

Todellisuudessa tämä uusi lähestymistapa kvantifioi sukupuolten väliset kävelytyylien erot ilman muiden signaaleiden turvaa; mutta koska se käyttää muita ominaisuuksia (kuten kasvotietoja) alkuperäisten kävelytyylien merkintöjen tekemiseen, tutkimus jättää avoimeksi kysymyksen, mitkä ominaisuudet erottavat sukupuolet niiden kävellessä.

Uusi menetelmä johtaa sukupuoli-identiteetin kasvoanalyysimalleista, jotka toimivat rajoituksissa (kuten rajoitettu käytettävissä oleva kulma ja tarve aineiston kuratointiin). Järjestelmä sitten määrittää luurankoliikkeen ominaisuuksia maskuliinisiksi tai feminiinisiksi ja tiivistää ominaiset kävely-signatuureja kullekin, jättäen kasvon, vaatetus- ja muut epäluotettavat tiedonlähteet huomiotta. Lähde: https://arxiv.org/pdf/2111.00538.pdf

Uusi artikkeli on otsikoitu From Kasvosta kävelyyn: Heikosti valvottu oppiminen sukupuolentiedosta kävelytyylistä, ja se on peräisin Bukarestin polyteknisesta yliopistosta.

Järjestelmä toimii kasvoanalyysimallien vertaisesti, ja usein ylittää nämä standardit, F1-lukeman ollessa jopa 91%, ja se tarjoaa korkean generalisaatiotason uusiin tilanteisiin, mukaan lukien monia näkökulmia ja olosuhteita, jotka tyypillisesti estävät kasvo- tai vastaavan sukupuolentunnistusjärjestelmien tehokkuuden. Nämä käsittävät kasvoja peittävät näkökulmat, ei-etuvakaiset kulmat ja erittäin tyypillisen tilanteen, jossa on matala resoluutio, tai ihmisten valvontaa, jotka ovat etäällä kuvassa, jossa ainoastaan liiketyyli on mahdollinen luotettava sukupuolen osoittaja.

Sukupuolien välinen ero

Tutkijat toteavat, että tällainen järjestelmä on suuri potentiaali demografiatietojen keräämiselle, jota estävät nykyisin sekä maskien käyttö koronan aikana että muodin ja sattuman ominaisuudet, jotka tekevät vaatetuksesta ja hahmoanalyysistä epäluotettavan sukupuolen määritysmenetelmän valvontakuvamateriaalissa.

Valvontanäkökulmasta käsin sukupuolen määritys voi leikata esikäsittelyn ja tarpeen sekä ihmisen että koneen huomiolle puoleen, koska nykyiset tunnistusjärjestelmät usein kamppailevat sukupuolen oikean määrityksen kanssa valvottavalle yksilölle.

<img class="wp-image-178491 size-full" src="https://www.unite.ai/wp-content/uploads/2021/11/false-positives-in-gender-recognition-through-facial-analysis-and-other-factors.jpg" alt="Uudesta artikkelista: erilaisia esimerkkejä, joissa sukupuolentunnistusjärjestelmät epäonnistuvat. Ylempänä olevassa rivissä näemme tutkijoiden uuden kävelyanalyysijärjestelmän oikein vastaavan todellista merkintää kuvassa (M tai F), kun taas kasvoanalyysi on epäonnistunut samassa tapauksessa. Alempaan riviin näemme tapauksia, joissa tutkijoiden käyttämät merkintätyökalut ovat tuottaneet "meluisia" (eli virheellisiä) sukupuolimerkintöjä. Tähän vastaan tutkijat käyttivät PENCILiä ('Probabilistic End-to-end Noise Correction for Learning with Noisy Labels'), muun muassa.

Luonnollisesti, luotettavan sukupuolentunnistuksen mahdollisuus kävelytyylistä on todennäköisesti lisää nykyistä kiinnostusta kävely-väärentämismenetelmiin.

Sukupuolen määritys välillisesti

On teoreettisesti mahdollista saavuttaa sama toiminnallisuus, jota uusi projekti on saavuttanut, käsittelyn kautta, joka perustuu tarkkaan analyysiin käsin kuratoiduista luurankoliikkeen aineistoista. Jos tämä olisi tehty, uusi projekti saattaisi antaa syvemmän ymmärryksen siitä, mitkä liikkeen ominaisuudet määrittävät parhaiten sukupuolen. Kuitenkin tällainen lähestymistapa edellyttäisi suurta resursseinvestointia, ja tutkijat ovat sen sijaan käyttäneet olemassa olevia (vähemmän kestäviä) järjestelmiä tarvittavien merkintöjen luomiseen.

Nämä “välimuotoiset merkinnät” eivät tarjoa mitään suoraa näkemystä sukupuoleen perustuviin kävelytyyliin, mutta ne mahdollistavat kävelytyylien suodattamisen sukupuolen mukaan hyvin yleistettävällä tavalla, jota voidaan saavuttaa resurssirajoituksissa.

Aluksi tutkijat käyttivät 2019 Front View Gait (FVG) -aineistoa, joka käsittää haasteen gait-tunnistamisesta etuvakaisesta kulmasta, joka tarjoaa vähemmän vihjeitä kuin sivukulmat. Aineisto sisältää kävely-näytteitä, joissa on monia esteitä, kuten vaihteleva kävelynopeus, sekava tausta, vaihteleva resoluutio ja vaatetus-eroja.

2019 FVG-artikkelista, GaitNet oppii gait-ominaisuudet “kävelyvideosta”, joka perustuu etuvakaisiin kuviin, jotka ovat yleisiä julkisissa kamerissa. Lähde: https://arxiv.org/pdf/1904.04925.pdf

Koska FVG ei ole suunnattu sukupuolen määritykseen, tutkijat merkitsivät 226 aineiston aiheita sukupuolittain, jotta voitiin kehittää perusviite kehykseen.

Kasvojen havaitseminen tapahtui MTCNN:llä, ja demografiatiedot määrittiin IMDB-WIKI aineistosta. Koska kävelyanalyysi on potentiaalisesti paljon tehokkaampi etäisyydellä kuin kasvojen perusteella tehty johtaminen, lopulliset merkinnät saatiin kasvojen rajauskolmiota kehyksen mittoihin nähden.

Testaus

Järjestelmä testattiin CASIA-B kävelyaineistolla, jossa yli-edustettuja miehiä aineistossa underrajattiin, jotta voidaan varmistaa testauksen tasapuolisuus, ja aineisto jaettiin 80% koulutukseen ja 20% validointiin.

Tutkijat käyttivät aiempaa työtään, WildGait-verkkoa (ks. kuva alla), laskemaan kävelyjonojen välistä samankaltaisuutta. Sukupuolimerkinnät, joita oli jo aiemmin määritelty, ohjataan nyt tehokkaasti tähän kehyksen prosessivaiheeseen.

WildGait on Spatio-Temporaalinen Graafinen Konvoluutioverkko, joka on koulutettu suuren määrän, automaattisesti merkittyjen luurankosekvenssien avulla, jotka on johdettu todellisista, valvontavirtauksista. Lähde: https://arxiv.org/pdf/2105.05528.pdf

Tutkijat toteavat johtopäätöksessään, että järjestelmä vastaa kasvojen perusteella toimivia järjestelmiä sukupuolen määrityksen tarkkuudessa. Koska on niin monta mahdollista kulmaa, joka voi esiintyä lähtökävelyvideossa, tulokset jakautuvat laajaan joukkoon näistä mahdollisista näkökulmista: