AI kan identificere en person fra et enkelt skridt

Et nyt forskningsinitiativ har produceret et lavpris-system, der kan identificere en person baseret på lyden af deres skridt, fra så lidt som et enkelt skridt.

I artiklen Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), et samarbejde mellem forskere fra Nanyang Technological University og University of Kentucky, blandt andre, blev identifikationsrater fastsat til op til 90%, fra lydprøver, der er ekstremt korte.

Fem karakteristiske skridtprofiler fanget i PURE.

Arkitekturen for PURE afhænger af data fra en matrix af commodity-mikrofoner, med den rå lydindfanging renset via baggrund spektralsubtraktion. Hvor signal-støj-forholdet er højt, herunder samtale, der finder sted på tidspunktet for indfanging, aktiveres en kilde-separationsalgoritme for at udføre diskret ekstraktion af skridtene.

Skridtlyden klargøres og analyseres via domæne-adversarial tilpasning, med en ramme, der består af en funktionsekstraktor, en identitetsprædiktor og en domænediskriminator.

Hardware til PURE

Udstyret brugt til PURE er en mikrofonmatrix indbygget i en tilpasset ramme baseret på Raspberry Pi 4.

Mikrofonerne indfanger lyd med den højeste tilgængelige rate for ‘struktur-bårne’ signaler (fødder, der kommer i kontakt med jorden), da denne data er af ekstremt kort varighed, og skal være så detaljeret som muligt. Imidlertid er luft-bårne skridt (lyden, fødder laver i bue mod næste kontakt med jorden) nedsamplet til 16kHz for at spare lokal proceskapacitet for struktur-bårne skridt.

Forskerne syntetiserede en træningsdatasaet fra Footsteps Sound Effects Soundboard, samt fra Footsteps Sound Effects fra Epidemic Sound. Den lyd-del fra forskellige Ted Talks blev brugt til at producere træningsdata for processen med at eksfiltrere skridt fra baggrundssamtale.

Forebyggelse af ‘Replay Attacks’ i skridtgenkendelse

Et system af denne natur skal være robust over for ‘replay-angreb’, hvor en malæfik person muligvis optager en bestemt skridt-mønster og afspiller det i håb om, at systemet vil identificere optagelsen som en live-bruger.

For at forhindre dette analyserer PURE ankomsttidspunktet (ToA) i ‘kontakt’-skridt, og ankomstvinklen (AoA) i luft-bårne skridt.

Manglen på dynamisk information i genspillede skridt afslører dem ret let, selvom det er nødvendigt at tage hensyn til dette under dataprocessen. Ved at observere den naturlige uregelmæssighed af skridt, og også deres hastighed i konteksten af miljøet (da det er usandsynligt, at man enten løber eller slentrer, for eksempel, i et kontormiljø), er det muligt at sikre, at de modtagne data er ægte.

Projektet bruger beamforming-teknikker til at beregne ToA, men udtrækningen af AoA er mere kompleks og kræver et R-Net neuralt netværk, der igen bruger adversarial læring til at beregne rækkevidden af et skridt. Dette er essentieligt det samme model som det tidligere neurale netværk, bortset fra, at identitetsprædiktoreren er erstattet med en rækkevidds-estimator.

Nøjagtighed

PURE blev testet i en bred vifte af akustiske miljøer og ved brug af forskellige ganghastigheder over en række afstande. Da antallet af personer, der skaber skridt, øges, falder nøjagtigheden naturligt, ligesom den også gør, når hastigheden af multiple skridtkilder øges.

Imidlertid fandt resultaterne over 100 forsøg, at systemet kunne identificere en bruger fra 3-5 skridt med en nøjagtighed på 90,73% til 96,53%; fra 2-3 skridt med en nøjagtighed på 88,16% til 95,92%; og fra et enkelt skridt med en nøjagtighed på 81,75% til 88,6%.

Forskerne forudser en bred anvendelighed for PURE, på grund af den lave omkostning af den involverede commodity-hardware, og det faktum, at det også overgår lignende systemer i terms of latency og nøjagtighed, samtidig med at det er robust over for miljø-forstyrrelser og genspillede angreb.

Væksten af gait-analyse

Denne bestemte sfære af maskinlæringsforskning har primært centreret sig omkring computer-vision over de sidste ti år, og fik et kulturelt løft, da den blev brugt som en plot-enhed i Mission Impossible: Rogue Nation (2015).

Indtil nu er gait-genkendelses-teknologier blevet foreslået til brug i ældrepleje, post-kirurgisk rehabilitering, og mere kontroversielt til personlig annonce-service i detail-miljøer, selvom et sådant system åbenbart har potentiale til brug i medarbejder-overvågning i sikre miljøer.

I 2018 blev det rapporteret, at kinesiske myndigheder bruger vision-baseret gait-analyse fra AI-udviklingsselskabet Watrix som en del af deres lukkede kreds offentlige overvågningssystemer.

Gait-genkendelse er også blevet implementeret ved overvågning af refleksionen af Wi-Fi-signaler.

Imidlertid har alle disse tilgange indbyggede begrænsninger, enten krævende lysforhold, der ikke kan garanteres, uforstyrrede udsigter, prohibitivt dyrt specialudstyr, over-specifikke lokale forhold eller krop-bårne udstyr, blandt andre forhindringer.