AI kan identifisere en person fra ett enkelt skritt

En ny forskningsinitiativ har produsert et lavkostnads-system som kan identifisere en person basert på lyden av deres skritt, fra så lite som ett enkelt skritt.

I artikkelen Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), et samarbeid mellom forskere fra Nanyang Technological University og University of Kentucky, blant andre, ble identifiseringsrater fastsatt på opptil 90%, fra lydprøver som er ekstremt korte.

Fem distinkte skrittprofiler fanget i PURE.

Arkitekturen for PURE avhenger av data fra en rekke kommersielle mikrofoner, med rå lydopptak som renset via bakgrunn spektral substraksjon. Der signal-til-støy-forholdet er høyt, inkludert samtale som skjer på tidspunktet for opptak, aktiveres en kilde-separasjonsalgoritme for å utføre diskret ekstraksjon av skrittene.

Skrittlyden klareres og analyseres via domene-adversarial tilpasning, med rammen bestående av en funksjons-ekstraktor, en identitets-prediktor og en domene-diskriminatore.

Maskinvare for PURE

Utstyret brukt for PURE er en mikrofon-array innbygget i en tilpasset ramme basert på Raspberry Pi 4.

Mikrofonene fanger lyd med den høyeste tilgjengelige rate for ‘struktur-borne’ signaler (føtter som kommer i kontakt med bakken), siden denne dataen er av ekstremt kort varighet, og må være så detaljert som mulig. Imidlertid er luft-borne skritt (lyden føtter gjør i bue mot neste kontakt med bakken) nedsamplet til 16kHz for å spare lokal prosesseringskapasitet for struktur-borne skritt.

Forskerne syntetiserte en treningsdatamengde fra Footsteps Sound Effects Soundboard, samt fra Footsteps Sound Effects fra Epidemic Sound. Den lyd-komponenten fra ulike Ted Talks ble brukt til å produsere treningsdata for prosessen med å eksfiltrere skritt fra bakgrunnssamtale.

Forebygging av ‘Replay-angrep’ i skritt-gjenkjenning

Et system av denne typen må være motstandsdyktig mot ‘replay-angrep’, der en malaktør kan ta opp en bestemt skritt-mønster og gjenta det i håp om at systemet vil identifisere opptaket som en live-bruker.

For å forhindre dette, analyserer PURE ankomst-tid (ToA) i ‘kontakt’ skritt, og ankomst-vinkel (AoA) i luft-borne skritt.

Mangelen på dynamisk informasjon i gjentatte skritt avslører dem ganske enkelt, selv om det er nødvendig å ta hensyn til dette når dataene prosesseres. Ved å observere den naturlige uregelmessigheten av skritt, og også deres hastighet i sammenheng med miljøet (siden det er usannsynlig at en ville enten løpe eller gå sakte for eksempel, i et kontormiljø), er det mulig å sikre at dataene som mottas er ekte.

Prosjektet bruker beamforming-teknikker for å beregne ToA, men ekstraksjonen av AoA er mer kompleks, og krever en R-Net neuralt nettverk som igjen bruker adversarial læring for å beregne rekkevidden av et skritt. Dette er i realiteten det samme modellen som det tidligere neurale nettverket, bortsett fra at identitets-prediktoren er erstattet med en rekke-estimator.

Nøyaktighet

PURE ble testet i en rekke akustiske miljøer, og ved å bruke en rekke ganghastigheter over en rekke avstander. Ettersom antallet mennesker som skaper skritt øker, synker nøyaktigheten naturlig, og det samme gjør det når hastigheten på flere skritt-kilder øker.

Likevel, avhengig av domene-tilpasning, viste resultater over 100 forsøk at systemet kunne identifisere en bruker fra 3-5 skritt med en nøyaktighet fra 90,73% til 96,53%; fra 2-3 skritt med en nøyaktighet fra 88,16% til 95,92%; og fra ett enkelt skritt med en nøyaktighet fra 81,75% til 88,6%.

Forskerne forutser en bred anvendelse for PURE, på grunn av den lave kostnaden av kommersiell maskinvare involvert, og det faktum at det også overgår lignende systemer i forhold til forsinkelse og nøyaktighet, samtidig som det er robust mot miljø-forstyrrelser og replay-angrep.

Veksten av gait-analyse

Dette spesielle området av maskinlæringsforskning har i hovedsak vært fokusert på datavisjon de siste ti årene, og fikk en kulturell impuls når brukt som en plot-enhet i Mission Impossible: Rogue Nation (2015).

Hittil har gait-gjenkjenningsteknologier blitt foreslått for bruk i pleie av eldre, post-operativ rehabilitering, og mer kontroversielt for personlig annonsering i detaljhandelsmiljøer, selv om et slikt system åpenbart har potensielle bruksområder for ansatt-overvåking i sikre miljøer.

I 2018 ble det rapportert at kinesiske myndigheter bruker visuell gait-analyse fra AI-utviklingsselskapet Watrix som en del av sine lukkede kretssystemer for offentlig overvåking.

Gait-gjenkjenning er også implementert ved å overvåke refleksjonen av Wi-Fi-signaler.

Likevel har alle disse tilnærmingene innebygde begrensninger, enten ved å kreve lysforhold som ikke kan garanteres, uforstyrrede utsikter, prohibitivt dyrt spesialisert utstyr, overhodet spesifikke lokale forhold, eller kroppsbåret utstyr, blant andre hindringer.