Umí AI identifikovat osobu podle jediného kroku

Nová výzkumná iniciativa vyvinula nízkonákladový systém, který je schopen identifikovat osobu na základě zvuku jejích kroků, a to i z jediného kroku.

V studii Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), která je výsledkem spolupráce výzkumníků z Nanyang Technological University a University of Kentucky, mezi jinými, byly stanoveny identifikační míry až 90%, a to z audio vzorků, které jsou extrémně krátké.

Pět rozlišitelných profilů kroků zachycených v PURE.

Architektura PURE spoléhá na data z pole commodity mikrofonů, se syrovým audio zachycením denoised prostřednictvím pozadí spectral subtraction. Kde je poměr signálu k šumu vysoký, včetně konverzace, která probíhá v době zachycení, je aktivován algoritmus pro separaci zdrojů, aby provedl diskrétní extrakci kroků.

Zvuk kroků je vyjasněn a analyzován prostřednictvím domain adversarial adaptation, se rámcem, který zahrnuje extraktor funkcí, prediktora identity a diskriminátor domény.

Hardwarový vybavení pro PURE

Zařízení použité pro PURE je mikrofonový pole zabudovaný do přizpůsobené konstrukce založené na Raspberry Pi 4.

Mikrofony zachycují audio na nejvyšší dostupné rychlosti pro “strukturálně přenášené” signály (nohy v kontaktu se zemí), protože tato data jsou extrémně krátká a musí být co nejpodrobnější. Nicméně, “vzdušně přenášené” kroky (zvuk nohou v oblouku směrem k dalšímu kontaktu se zemí) jsou downsampleny na 16kHz, aby se ušetřila lokální procesní kapacita pro strukturálně přenášené kroky.

Výzkumníci syntetizovali trénovací datovou sadu z Footsteps Sound Effects Soundboard, stejně jako z Footsteps Sound Effects od Epidemic Sound. Audio komponenty z různých Ted Talks byly použity k vytvoření trénovacích dat pro proces exfiltrace kroků z pozadí konverzace.

Předcházení “Replay Attack” v rozpoznávání kroků

Systém tohoto typu musí být odolný vůči “replay attack”, kde by útočník mohl nahrát určitý vzorec kroků a přehrát jej v naději, že systém identifikuje nahrávku jako živého uživatele.

Pro zmaření tohoto, PURE analyzuje Time-of-Arrival (ToA) v “kontaktních” krocích a Angle-of-Arrival (AoA) ve vzdušných krocích.

Chybějící dynamické informace v přehráných krocích je odhalí poměrně snadno, nicméně je nutné k tomu přihlédnout při zpracování dat. Sledováním přirozené nepravidelnosti kroků a jejich rychlosti v kontextu prostředí (protože je nepravděpodobné, že by někdo buď běžel nebo vázl v kancelářském prostředí), je možné zajistit, aby přijímaná data byla autentická.

Projekt používá beamforming techniky pro výpočet ToA, ale extrakce AoA je složitější a vyžaduje R-Net neuronovou síť, která opět používá adversarial learning pro výpočet rozsahu kroku. To je esenciálně stejný model jako předchozí neuronová síť, kromě toho, že prediktor identity je nahrazen odhadovačem rozsahu.

Přesnost

PURE byl testován v širokém spektru akustických prostředí a pomocí různých rychlostí chůze na různých vzdálenostech. Jakmile se zvyšuje počet lidí, kteří vytvářejí kroky, přesnost přirozeně klesá, stejně jako když se zvyšuje rychlost více zdrojů kroků.

Nicméně, v závislosti na adaptaci domény, výsledky z 100 pokusů ukázaly, že systém může identifikovat uživatele z 3-5 kroků s přesností od 90,73% do 96,53%; z 2-3 kroků s přesností od 88,16% do 95,92%; a z jediného kroku s přesností od 81,75% do 88,6%.

Výzkumníci předpovídají širokou aplikovatelnost pro PURE, díky nízkým nákladům na komoditní hardwarový vybavení a skutečnosti, že také překonává podobné systémy z hlediska latence a přesnosti, zatímco je odolný vůči environmentálním rušivým signálům a replay attack.

Růst analýzy chůze

Tato konkrétní oblast výzkumu strojového učení se zaměřila primárně na počítačové vidění za posledních deset let a získala kulturní impuls, když použita jako zápletka v Mission Impossible: Rogue Nation (2015).

Dosud byly technologie rozpoznávání chůze navrženy pro použití v péči o seniory, pooperační rehabilitaci, a více kontroverzně pro personalizované reklamy v maloobchodním prostředí, i když takový systém má samozřejmě potenciální použití pro monitorování zaměstnanců v zabezpečených prostředích.

V roce 2018 bylo hlášeno, že čínské úřady používají založenou na vidění analýzu chůze od společnosti Watrix jako součást svého uzavřeného okruhu veřejného dohledu.

Rozpoznávání chůze bylo také implementováno monitorováním odrazu Wi-Fi signálů.

Avšak všechny tyto přístupy mají inherenty omezení, buď vyžadují osvětlení, které nemůže být zaručeno, nezakryté výhledy, prohibitivně drahé specializované vybavení, příliš specifické místní podmínky, nebo vybavení nošené na těle, mezi jinými překážkami.