Tekoäly voi tunnistaa henkilön yhdestä askeleesta

Uusi tutkimushanke on tuottanut edullisen järjestelmän, joka pystyy tunnistamaan henkilön askelten äänen perusteella, jopa yhdestä askeleesta.

Julkaisussa Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), joka on yhteistyöhön perustuva tutkimus Nanyangin teknillisen yliopiston ja Kentuckyn yliopiston välillä, tunnistusprosentit olivat jopa 90 %, äänenäytteistä, jotka ovat erittäin lyhyitä.

Viisi erilaista askelprofiilia PURE-järjestelmässä.

PURE-järjestelmän arkkitehtuuri perustuu tietoihin, jotka on kerätty halpojen mikrofoniensaarejen avulla, ja raakaa äänenkaappausta on puhdistettu taustamelun poistamalla spektrisubtraktiolla. Kun signaali-melun suhde on korkea, kuten keskustelun aikana, lähteenseparaatioalgoritmi käynnistyy erillisen askelten erottamiseen.

Askelen ääni selkiytetään ja analysoidaan domain-vastaisen sovittamisen avulla, ja kehyksessä on mukana piirre-ekstraktori, identiteetin ennustaja ja domain-erottaja.

PURE-järjestelmän laitteisto

PURE-järjestelmän laitteistona käytetään mikrofoniensaareja, jotka on upotettu mukautettuun kehykseen, joka perustuu Raspberry Pi 4:ään.

Mikrofonit kaappaavat äänen korkeimmalla saatavilla nopeudella “rakennekuuluvien” signaalien (jalkojen kosketus maahan) osalta, koska tämä data on erittäin lyhytaikaista ja vaatii yksityiskohtaisuutta. Ilmassa kulkevat askeläänet (jalkojen ääni ilmassa) on näytteistetty 16 kHz:iin paikallisen prosessoinnin säästämiseksi rakennekuuluvien askelten osalta.

Tutkijat loivat koulutusaineiston Footsteps Sound Effects Soundboard:ista ja Footsteps Sound Effects:ista Epidemic Soundista. Ääni osasta Ted Talk -esityksistä käytettiin koulutusaineistona askelten erottamiseen taustakeskustelusta.

Estää “toistokuilun” hyökkäykset askeltunnistuksessa

Tällaisen järjestelmän on oltava kestävä “toistokuiluhyökkäyksille”, joissa hyökkääjä voisi tallentaa tietyn askelmallin ja toistaa sen toivoen, että järjestelmä tunnistaisi tallennetun äänen oikeana käyttäjänä.

PURE analysoi saapumisajan (ToA) “kosketusaskelissa” ja saapumissuunnan (AoA) ilmassa kulkevissa askelissa.

Toistettujen askelten dynaamisen tiedon puute paljastaa ne melko helposti, vaikka on tarpeen ottaa huomioon tämä datan prosessoinnissa. Havainnoimalla askelten luonnollista epäsäännöllisyyttä ja nopeutta ympäristössä (koska on epätodennäköistä, että joku juoksee tai kulkee hitaasti esim. toimistoympäristössä), on mahdollista varmistaa, että vastaanotettu data on aitoa.

Projekti käyttää suunnattujen aaltojen tekniikoita ToA:n laskemiseen, mutta AoA:n erottaminen on monimutkaisempaa ja vaatii R-Net-neuraaliverkon, joka käyttää jälleen vastakkaisen oppimisen menetelmää askelten etäisyyden laskemiseen. Tämä on periaatteessa sama malli kuin edellinen neuraaliverkko, paitsi että identiteetin ennustaja on korvattu etäisyyden arvioijalla.

Tarkkuus

PURE:ä testattiin laajasti eri akustisissa ympäristöissä ja eri kävelynopeuksilla eri etäisyyksillä. Kun askelten määrä kasvaa, tarkkuus luonnollisesti laskee, kuten myös kun useiden askelien nopeus kasvaa.

Kuitenkin riippuen domain-sovittamisesta, tulokset 100 kokeessa osoittivat, että järjestelmä pystyi tunnistamaan käyttäjän 3-5 askelsta tarkkuudella 90,73 % – 96,53 %; 2-3 askelsta tarkkuudella 88,16 % – 95,92 %; ja yhdestä askelsta tarkkuudella 81,75 % – 88,6 %.

Tutkijat ennustavat laajaa soveltamismahdollisuutta PURE:lle sen edullisen laitteiston ja sen ylittävän muiden vastaavien järjestelmien viiveen ja tarkkuuden vuoksi, ollessaan samalla kestävä ympäristöään ja toistokuiluhyökkäyksiä vastaan.

Askeltunnistuksen kasvu

Tämä konetekniikan tutkimuksen ala on keskittynyt pääasiassa tietokoneen näköön viimeisen kymmenen vuoden ajan, ja sai kulttuurisen lisäyksen, kun se käytettiin juonena Mission Impossible: Rogue Nation (2015) -elokuvassa.

Toistaiseksi askeltunnistusteknologioita on ehdotettu käytettäviksi vanhustenhuollossa, postoperatiivisessa kuntoutumisessa ja kiistanalaisemmin henkilökohtaisten mainosten toimittamisessa vähittäiskaupassa, vaikka tällainen järjestelmä voi myös olla käytössä työntekijöiden seuraamisessa turvallisuusympäristöissä.

Vuonna 2018 raportoitiin, että Kiinan viranomaiset käyttävät visuaalista askeltunnistusta Watrix-yrityksen AI-kehityksestä suljetun kiertäjärjestelmän osana.

Askeltunnistusta on myös toteutettu seuraamalla Wi-Fi-signaaleiden heijastusta.

Kuitenkin kaikki nämä lähestymistavat ovat sisäisiä rajoituksia, jotka vaativat valaistusolosuhteita, jotka eivät voida taata, esteettömiä näkymiä, kalliita erikoislaitteita, liian spesifejä paikallisia olosuhteita tai kehon mukana olevia laitteita, muun muassa.