AI kan identifiera en person från ett enda steg

En ny forskningsinitiativ har producerat ett lågkostnadssystem som kan identifiera en person baserat på ljudet av deras steg, från så lite som ett enda steg.

I artikeln Passiv mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), ett samarbete mellan forskare från Nanyang Technological University och University of Kentucky, bland andra, etablerades identifieringsfrekvenser på upp till 90%, från ljudprover som är extremt korta.

Fem distinkta fotstegsprofiler som fångats i PURE.

Arkitekturen för PURE bygger på data från en matris av kommersiella mikrofoner, med rå ljudinspelning som rensas via bakgrund spektralsubtraktion. Där signal-till-brus-förhållandet är högt, inklusive samtal som pågår vid inspelning, aktiveras en källseparationsalgoritm för att utföra diskret extraktion av fotstegen.

Fotstegsljudet klargörs och analyseras via domänadversarial adaptation, med en ram som består av en funktionsextraherare, en identitetsprediktor och en domän diskriminatör.

Maskinvara för PURE

Utrustningen som används för PURE är en mikrofonmatris som är inbäddad i en anpassad rigg baserad på Raspberry Pi 4.

Mikrofonerna fångar ljud med den högsta tillgängliga hastigheten för “struktur-burna” signaler (fötter som kommer i kontakt med marken), eftersom dessa data är av extremt kort varaktighet och behöver vara så detaljerade som möjligt. Men luftburna fotsteg (ljudet fötter gör i banan mot nästa kontakt med marken) är nedsampled till 16 kHz för att spara lokal bearbetningskapacitet för struktur-burna steg.

Forskarna syntetiserade en träningsdatamängd från Fotstegsljud effekter ljudbräda, samt från Fotstegsljud effekter från Epidemic Sound. Ljudkomponenten från olika Ted Talks användes för att producera träningsdata för processen att exfiltrera fotsteg från bakgrundssamtal.

Förhindra ‘Replay-attacker’ i fotstegsigenkänning

Ett system av denna natur måste vara robust mot “replay-attacker”, där en angripare kan spela in ett visst fotstegsmönster och upprepa det i hopp om att systemet kommer att identifiera inspelningen som en levande användare.

För att förhindra detta analyserar PURE ankomsttiden (ToA) i “kontakt” fotsteg, och ankomstvinkeln (AoA) i luftburna fotsteg.

Bristen på dynamisk information i uppspelade fotsteg avslöjar dem ganska lätt, men det är nödvändigt att ta hänsyn till detta när data bearbetas. Genom att observera den naturliga oregelbundenheten i fotsteg och också deras hastighet i sammanhanget (eftersom det är osannolikt att man antingen springer eller släpar efter i till exempel en kontorsmiljö), är det möjligt att säkerställa att de mottagna data är äkta.

Projektet använder beamforming-tekniker för att beräkna ToA, men extraktionen av AoA är mer komplex och kräver ett R-Net neuronnätverk som, igen, använder adversarial learning för att beräkna fotstegsintervallet. Detta är i princip samma modell som det tidigare neuronnätverket, förutom att identitetsprediktorn ersätts med ett intervallestimator.

Noggrannhet

PURE testades i en mängd olika akustiska miljöer och med olika gånghastigheter över en mängd avstånd. När antalet personer som skapar fotsteg ökar, sjunker noggrannheten naturligt, liksom när hastigheten på flera fotstegskällor ökar.

Men beroende på domänanpassning, visade resultaten från 100 försök att systemet kunde identifiera en användare från 3-5 fotsteg med en noggrannhet på 90,73% till 96,53%; från 2-3 fotsteg med en noggrannhet på 88,16% till 95,92%; och från ett enda fotsteg med en noggrannhet på 81,75% till 88,6%.

Forskarna förutser en bred tillämpning för PURE, på grund av den låga kostnaden för den inblandade kommersiella hårdvaran och det faktum att det också presterar bättre än liknande system när det gäller latency och noggrannhet, samtidigt som det är robust mot miljöstörningar och replay-attacker.

Tillväxten av gaitanalys

Denna specifika sfär av maskinlärningsforskning har under de senaste tio åren främst fokuserat på datorseende och fick en kulturell skjuts när den användes som en plot-enhet i Mission Impossible: Rogue Nation (2015).

Hittills har gait-igenkännings-teknologier föreslagits för användning inom äldreomsorg, postoperativ rehabilitering och mer kontroversiellt för personlig annonsutdelning i detaljhandelsmiljöer, även om ett sådant system uppenbarligen har potential för användning vid anställdövervakning i säkra miljöer.

2018 rapporterades det att kinesiska myndigheter använder vision-baserad gaitanalys från AI-utvecklingsföretaget Watrix som en del i dess slutna kretspubliceringsövervakningssystem.

Gait-igenkänning har också implementerats genom övervakning av Wi-Fi-signalers reflektans.

Men alla dessa tillvägagångssätt har inneboende begränsningar, antingen kräver de belysningsförhållanden som inte kan garanteras, ooccluderade vyer, förbjudande dyra specialutrustning, alltför specifika lokala förhållanden eller kroppsburna enheter, bland andra hinder.