KI kann eine Person anhand eines einzelnen Schritts identifizieren

Ein neues Forschungsprojekt hat ein kostengünstiges System entwickelt, das in der Lage ist, eine Person anhand des Klangs ihrer Schritte zu identifizieren, und zwar bereits nach einem einzigen Schritt.

In der Studie Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), einer Zusammenarbeit zwischen Forschern der Nanyang Technological University und der University of Kentucky, unter anderen, wurden Identifizierungsraten von bis zu 90% ermittelt, und zwar aus Audiodaten, die extrem kurz sind.

Fünf charakteristische Schrittparameter, die in PURE erfasst wurden.

Die Architektur von PURE basiert auf Daten von einem Array von Standard-Mikrofonen, wobei die Rohaudiodaten durch Hintergrund-Spektralsubtraktion entrauscht werden. Wenn das Signal-Rausch-Verhältnis hoch ist, einschließlich Gesprächen, die zum Zeitpunkt der Aufnahme stattfinden, wird ein Quellentrennungs-Algorithmus aktiviert, um die Schritte diskret zu extrahieren.

Die Schrittaudiodaten werden durch Domänen-adversarialen Anpassung analysiert, wobei das Framework aus einem Feature-Extractor, einem Identitätsvorhersager und einem Domänen-Diskriminator besteht.

Hardware für PURE

Die für PURE verwendete Ausrüstung ist ein Mikrofon-Array, das in einem benutzerdefinierten Rahmen auf Basis des Raspberry Pi 4 eingebettet ist.

Die Mikrofone erfassen Audiodaten mit der höchsten verfügbaren Rate für “strukturgebundene” Signale (Füße, die den Boden berühren), da diese Daten extrem kurz sind und daher so detailliert wie möglich sein müssen. Allerdings werden luftgebundene Schritte (die Geräusche, die die Füße machen, wenn sie sich auf den Weg zum nächsten Bodenkontakt bewegen) auf 16 kHz heruntergesampelt, um die lokale Verarbeitungskapazität für strukturgebundene Schritte zu schonen.

Die Forscher haben ein Trainingsdatenset aus der Footsteps Sound Effects Soundboard sowie aus Footsteps Sound Effects von Epidemic Sound synthetisiert. Die Audio-Komponente aus verschiedenen Ted-Talks wurde verwendet, um Trainingsdaten für den Prozess der Extraktion von Schritten aus Hintergrundgesprächen zu erstellen.

Verhinderung von “Replay-Angriffen” bei der Schritterkennung

Ein System dieser Art muss widerstandsfähig gegen “Replay-Angriffe” sein, bei denen ein Angreifer ein bestimmtes Schrittmuster aufzeichnet und es in der Hoffnung abspielt, dass das System die Aufzeichnung als live-Benutzer identifiziert.

Um dies zu verhindern, analysiert PURE die Zeit der Ankunft (ToA) bei “Kontakt”-Schritten und den Winkel der Ankunft (AoA) bei luftgebundenen Schritten.

Der Mangel an dynamischen Informationen in abgespielten Schritten gibt sie ziemlich leicht preis, es ist jedoch notwendig, dies bei der Datenverarbeitung zu berücksichtigen. Durch die Beobachtung der natürlichen Unregelmäßigkeit von Schritten und auch ihrer Geschwindigkeit im Kontext der Umgebung (da es unwahrscheinlich ist, dass man in einem Büroumfeld beispielsweise rennt oder trödelt), kann sichergestellt werden, dass die empfangenen Daten authentisch sind.

Das Projekt verwendet Beamforming-Techniken, um die Zeit der Ankunft zu berechnen, aber die Extraktion des Winkels der Ankunft ist komplexer und erfordert ein R-Net-Neuronales Netzwerk, das wiederum adversarialen Lernen verwendet, um den Bereich eines Schritts zu berechnen. Dies ist im Wesentlichen das gleiche Modell wie das frühere neuronale Netzwerk, außer dass der Identitätsvorhersager durch einen Bereichsschätzer ersetzt wird.

Genauigkeit

PURE wurde in einer Vielzahl von akustischen Umgebungen getestet und mit verschiedenen Gehgeschwindigkeiten über eine Reihe von Entfernungen hinweg. Je mehr Menschen Schritte machen, desto niedriger ist die Genauigkeit natürlich, ebenso wie bei zunehmender Geschwindigkeit mehrerer Schritquellen.

Je nach Domänenanpassung ergaben die Ergebnisse über 100 Tests, dass das System einen Benutzer aus 3-5 Schritten mit einer Genauigkeit von 90,73% bis 96,53% identifizieren kann; aus 2-3 Schritten mit einer Genauigkeit von 88,16% bis 95,92%; und aus einem einzigen Schritt mit einer Genauigkeit von 81,75% bis 88,6%.

Die Forscher sehen eine breite Anwendbarkeit für PURE, aufgrund der geringen Kosten der verwendeten Standard-Hardware und der Tatsache, dass es auch ähnliche Systeme in Bezug auf Latenz und Genauigkeit übertrifft, während es robust gegen Umgebungsstörungen und Replay-Angriffe ist.

Das Wachstum der Ganganalyse

Dieser spezielle Bereich der maschinellen Lernforschung hat sich in den letzten zehn Jahren hauptsächlich auf die Computer-Vision konzentriert und erhielt einen kulturellen Schub, als er in Mission Impossible: Rogue Nation (2015) als Handlungselement verwendet wurde.

Bisher wurden Ganganerkennungstechnologien für die Altenpflege, die Rehabilitation nach Operationen und kontroverserweise für personalisierte Werbung in Einzelhandelsumgebungen vorgeschlagen, obwohl ein solches System offensichtlich auch potenzielle Anwendungen für die Überwachung von Mitarbeitern in sicheren Umgebungen hat.

2018 wurde berichtet, dass chinesische Behörden eine visionbasierte Ganganalyse von der AI-Entwicklungsunternehmen Watrix als Teil ihrer geschlossenen Schleifen-Überwachungssysteme verwenden.

Ganganalyse wurde auch durch Überwachung der Reflexion von Wi-Fi-Signalen umgesetzt.

Alle diese Ansätze haben jedoch inhärente Einschränkungen, entweder weil sie Beleuchtungsbedingungen erfordern, die nicht garantiert werden können, unversperrte Sicht, prohibitiv teure Spezialausrüstung, übermäßig spezifische lokale Bedingungen oder körpergetragene Ausrüstung, unter anderem.