AI kan een persoon identificeren op basis van één enkele voetstap

Een nieuw onderzoeksinitiatief heeft een low-costsysteem ontwikkeld dat in staat is om een persoon te identificeren op basis van het geluid van hun voetstappen, vanaf slechts één stap.

In de paper Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), een samenwerking tussen onderzoekers van de Nanyang Technological University en de University of Kentucky, onder anderen, werden identificatiesnelheden vastgesteld tot 90%, van audio-voorbeelden die extreem kort zijn.

Vijf distinctieve voetstapprofielen vastgelegd in PURE.

De architectuur van PURE is afhankelijk van gegevens van een array van commodity-microfoons, met de raw audio-opname gedenoised via achtergrond spectrale subtractie. Waar het signaal-ruisverhouding hoog is, inclusief conversatie die plaatsvindt op het moment van opname, wordt een bron-scheidingalgoritme geactiveerd om discrete extractie van de voetstappen uit te voeren.

De voetstapaudio wordt verduidelijkt en geanalyseerd via domain-adversarial adaptation, met een framework dat bestaat uit een feature-extractor, een identiteitspredictor en een domeindiscriminator.

Hardware voor PURE

De apparatuur die voor PURE wordt gebruikt, is een microfoonarray ingebed in een aangepaste rig op basis van de Raspberry Pi 4.

De microfoons registreren audio op de hoogste beschikbare snelheid voor ‘structureel geboren’ signalen (voeten die contact maken met de grond), aangezien deze gegevens van extreem korte duur zijn en zo gedetailleerd mogelijk moeten zijn. Echter, luchtgeboren voetstappen (het geluid dat voeten maken in de boog naar het volgende contact met de grond) worden gedownsampeld naar 16kHz om lokale verwerkingssnelheid te besparen voor structureel geboren stappen.

De onderzoekers hebben een trainingsdataset gesynthetiseerd van de Footsteps Sound Effects Soundboard, evenals van Footsteps Sound Effects van Epidemic Sound. De audio-component van verschillende Ted Talks werden gebruikt om trainingsdata te produceren voor het proces van exfiltratie van voetstappen uit achtergrondconversatie.

Voorkomen van ‘Replay-aanvallen’ in voetstapherkenning

Een systeem van deze aard moet bestand zijn tegen ‘replay-aanvallen’, waarbij een kwaadwillige persoon een bepaald voetstappatroon kan opnemen en afspelen in de hoop dat het systeem de opname zal identificeren als een live-gebruiker.

Om dit te verhinderen, analyseert PURE de Time-of-Arrival (ToA) in ‘contact’ voetstappen en de Angle-of-Arrival (AoA) in luchtgeboren voetstappen.

Het gebrek aan dynamische informatie in herhaalde voetstappen onthult ze vrij gemakkelijk, hoewel het noodzakelijk is om hiermee rekening te houden bij het verwerken van de gegevens. Door de natuurlijke onregelmatigheid van voetstappen en ook hun snelheid in de context van de omgeving (aangezien het onwaarschijnlijk is dat iemand zou rennen of slenteren, bijvoorbeeld, in een kantooromgeving), is het mogelijk om ervoor te zorgen dat de ontvangen gegevens authentiek zijn.

Het project gebruikt beamforming-technieken om ToA te berekenen, maar de extractie van AoA is complexer, waarvoor een R-Net-neuraal netwerk nodig is dat, opnieuw, gebruik maakt van adversarial learning om de bereik van een voetstap te berekenen. Dit is in wezen hetzelfde model als het eerder genoemde neurale netwerk, behalve dat de identiteitspredictor wordt vervangen door een bereiksschatting.

Nauwkeurigheid

PURE werd getest in een breed scala aan akoestische omgevingen en met een variëteit aan loopsnelheden over een bereik van afstanden. Naarmate het aantal mensen dat voetstappen maakt toeneemt, daalt de nauwkeurigheid natuurlijk, evenals wanneer de snelheid van meerdere voetstapbronnen toeneemt.

Echter, afhankelijk van domeinadaptatie, vonden de resultaten over 100 trials dat het systeem een gebruiker kon identificeren van 3-5 voetstappen met een nauwkeurigheidsbereik van 90,73% tot 96,53%; van 2-3 voetstappen met een nauwkeurigheidsbereik van 88,16% tot 95,92%; en van één enkele voetstap met een nauwkeurigheidsbereik van 81,75% tot 88,6%.

De onderzoekers voorzien een brede toepasbaarheid voor PURE, vanwege de lage kosten van de commodity-hardware en het feit dat het ook beter presteert dan soortgelijke systemen in termen van latentie en nauwkeurigheid, terwijl het robuust is tegen omgevingsinterferentie en replay-aanvallen.

De groei van gait-analyse

Dit specifieke gebied van machine learning-onderzoek heeft zich de afgelopen tien jaar voornamelijk gericht op computerzicht, en kreeg een culturele impuls toen gebruikt als een plotapparaat in Mission Impossible: Rogue Nation (2015).

Tot nu toe zijn gait-herkenningstechnologieën voorgesteld voor gebruik in ouderenzorg, post-chirurgische revalidatie en, meer omstreden, voor persoonlijke advertenties in retailomgevingen, hoewel een dergelijk systeem duidelijk potentieel heeft voor medewerkersbewaking in beveiligde omgevingen.

In 2018 werd gerapporteerd dat Chinese autoriteiten visiegebaseerde gait-analyse van AI-ontwikkelingsbedrijf Watrix gebruiken als een facet in hun gesloten circuit openbare bewakingsystemen.

Gait-herkenning is ook geïmplementeerd door bewaking van de reflectie van Wi-Fi-signalen.

Echter, alle deze benaderingen hebben inherente beperkingen, die ofwel verlichtingsomstandigheden vereisen die niet kunnen worden gegarandeerd, onbelemmerde zichten, prohibitief dure gespecialiseerde apparatuur, te specifieke lokale omstandigheden of lichaamsgebonden apparatuur, onder andere hindernissen.