AI kan een persoon identificeren op basis van één voetstap

Een nieuw onderzoeksinitiatief heeft een low-costsysteem ontwikkeld dat in staat is om een persoon te identificeren op basis van het geluid van hun voetstappen, vanaf slechts één stap.

In het artikel Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), een samenwerking tussen onderzoekers van de Nanyang Technological University en de University of Kentucky, onder anderen, werden identificatiesnelheden vastgesteld tot 90%, van audiosteekproeven die extreem kort zijn.

Vijf distinctieve voetstapprofielen vastgelegd in PURE.

De architectuur voor PURE is gebaseerd op gegevens van een array van commodity-microfoons, met de ruwe audiocapture gedenoised via achtergrond spectrale subtractie. Waar het signaal-ruisverhouding hoog is, inclusief conversatie die plaatsvindt op het moment van opname, wordt een bronafscheiding-algoritme geactiveerd om discrete extractie van de voetstappen uit te voeren.

De voetstapaudio wordt verduidelijkt en geanalyseerd via domain-adversarial adaptatie, met een framework dat bestaat uit een functie-extractor, een identiteitspredictor en een domein-discriminator.

Hardware voor PURE

De apparatuur die voor PURE wordt gebruikt, is een microfoonarray ingebed in een aangepaste rig op basis van de Raspberry Pi 4.

De microfoons registreren audio op de hoogste beschikbare snelheid voor ‘structureel geboren’ signalen (voeten die contact maken met de grond), aangezien deze gegevens van extreem korte duur zijn en zo gedetailleerd mogelijk moeten zijn. Echter, luchtgeboren voetstappen (het geluid dat voeten maken in de boog naar het volgende contact met de grond) worden gedownsampeld tot 16 kHz om lokale verwerkingssnelheid te besparen voor structureel geboren stappen.

De onderzoekers hebben een trainingsdataset gesynthetiseerd uit de Footsteps Sound Effects Soundboard, evenals van Footsteps Sound Effects van Epidemic Sound. De audiocomponent van verschillende Ted Talks werden gebruikt om trainingsdata te produceren voor het proces van het extraheren van voetstappen uit achtergrondconversatie.

Voorkoming van ‘Replay-aanvallen’ in voetstapherkenning

Een systeem van deze aard moet bestand zijn tegen ‘replay-aanvallen’, waarbij een kwaadwillige persoon een bepaald voetstappatroon kan opnemen en afspelen in de hoop dat het systeem de opname zal identificeren als een live-gebruiker.

Om dit te voorkomen, analyseert PURE de Time-of-Arrival (ToA) in ‘contact’ voetstappen en de Angle-of-Arrival (AoA) in luchtgeboren voetstappen.

Het gebrek aan dynamische informatie in herhaalde voetstappen onthult ze vrij gemakkelijk, hoewel het nodig is om hiermee rekening te houden bij het verwerken van de gegevens. Door de natuurlijke onregelmatigheid van voetstappen en hun snelheid in de context van de omgeving (aangezien het onwaarschijnlijk is dat iemand zou rennen of slenteren, bijvoorbeeld, in een kantooromgeving), is het mogelijk om ervoor te zorgen dat de ontvangen gegevens authentiek zijn.

Het project gebruikt beamforming-technieken om ToA te berekenen, maar de extractie van AoA is complexer en vereist een R-Net-neuraal netwerk dat, opnieuw, gebruik maakt van adversarial learning om de reikwijdte van een voetstap te berekenen. Dit is in wezen hetzelfde model als het eerder genoemde neurale netwerk, behalve dat de identiteitspredictor wordt vervangen door een reikwijdte-schatting.

Accuratesse

PURE werd getest in een breed scala aan akoestische omgevingen en met verschillende loopsnelheden over een reeks afstanden. Naarmate het aantal personen dat voetstappen maakt toeneemt, daalt de accuratesse natuurlijk, evenals wanneer de snelheid van meerdere voetstapbronnen toeneemt.

Echter, afhankelijk van domeinadaptatie, toonden de resultaten over 100 trials aan dat het systeem een gebruiker kon identificeren van 3-5 voetstappen met een reeks van accuratesse van 90,73% tot 96,53%; van 2-3 voetstappen met een reeks van accuratesse van 88,16% tot 95,92%; en van één voetstap met een reeks van accuratesse van 81,75% tot 88,6%.

De onderzoekers voorzien een brede toepasbaarheid voor PURE, vanwege de lage kosten van de commodity-hardware en het feit dat het ook beter presteert dan soortgelijke systemen in termen van latentie en accuratesse, terwijl het robuust is tegen omgevingsinterferentie en replay-aanvallen.

De groei van gait-analyse

Dit specifieke gebied van machine learning-onderzoek heeft zich de afgelopen tien jaar voornamelijk gericht op computerzicht en kreeg een culturele impuls toen gebruikt als een plotapparaat in Mission Impossible: Rogue Nation (2015).

Tot nu toe zijn gait-herkenningstechnologieën voorgesteld voor gebruik in ouderenzorg, post-chirurgische revalidatie en meer omstreden voor gepersonaliseerde advertentie-inhoud in winkelomgevingen, hoewel een dergelijk systeem duidelijk potentieel heeft voor werknemermonitoring in beveiligde omgevingen.

In 2018 werd gerapporteerd dat Chinese autoriteiten visiegebaseerde gait-analyse van AI-ontwikkelingsbedrijf Watrix gebruiken als een facet in hun gesloten circuitpublieke bewakingsystemen.

Gait-herkenning is ook geïmplementeerd door monitoring van de reflectie van Wi-Fi-signalen.

Echter, al deze benaderingen hebben inherente beperkingen, ofwel vereisen verlichtingscondities die niet gegarandeerd kunnen worden, onbelemmerde zicht, prohibitief dure gespecialiseerde apparatuur, overmatig specifieke lokale condities of draagbare apparatuur, onder andere hindernissen.