Искусственный интеллект может идентифицировать человека по одному шагу

Новая исследовательская инициатива создала систему с низкими затратами, способную идентифицировать человека по звуку его шагов, даже по одному шагу.

В статье Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), сотрудничество между исследователями из Наньянского технологического университета и Университета Кентукки, среди других, показало, что система может идентифицировать человека с точностью до 90% по аудио-примерам, которые чрезвычайно кратки.

Пять характерных профилей шагов, захваченных в PURE.

Архитектура PURE основана на данных из массива коммерческих микрофонов, с сырым аудио-capture, очищенным посредством фоновой спектральной субтракции. Когда соотношение сигнал-шум высоко, включая разговор, происходящий во время захвата, алгоритм разделения источников активируется для дискретного извлечения шагов.

Аудио шагов уточняется и анализируется посредством домен-адверсарной адаптации, с фреймворком, включающим извлекатель особенностей, предсказатель идентичности и дискриминатор домена.

Аппаратура для PURE

Оборудование, используемое для PURE, представляет собой микрофонный массив, встроенный в настраиваемую конструкцию на основе Raspberry Pi 4.

Микрофоны захватывают аудио с наивысшей доступной скоростью для “структурных” сигналов (ног, соприкасающихся с землей), поскольку эти данные чрезвычайно коротки и должны быть как можно более подробными. Однако “воздушные” шаги (звук, который издают ноги в дуге к следующему контакту с землей) снижаются до 16 кГц, чтобы сэкономить местную обработку для “структурных” шагов.

Исследователи синтезировали набор данных для обучения из Footsteps Sound Effects Soundboard, а также из Footsteps Sound Effects от Epidemic Sound. Аудио-компонент из различных Ted Talks был использован для создания тренировочных данных для процесса извлечения шагов из фоновых разговоров.

Предотвращение “атак повторного воспроизведения” в распознавании шагов

Система такого типа должна быть устойчивой к “атакам повторного воспроизведения”, когда злоумышленник может записать определенный узор шагов и воспроизвести его в надежде, что система идентифицирует запись как живого пользователя.

Чтобы предотвратить это, PURE анализирует время прибытия (ToA) в “контактных” шагах и угол прибытия (AoA) в воздушных шагах.

Отсутствие динамической информации в повторно воспроизведенных шагах довольно легко обнаруживается, хотя необходимо учитывать это при обработке данных. Наблюдая за естественной нерегулярностью шагов и их скоростью в контексте окружающей среды (поскольку маловероятно, что кто-то будет либо бежать, либо медлить, например, в офисной среде), можно обеспечить, чтобы получаемые данные были аутентичными.

Проект использует техники формирования луча для расчета ToA, но извлечение AoA более сложно и требует нейронной сети R-Net, которая, в свою очередь, использует адверсарное обучение для расчета диапазона шага. Это по сути та же модель, что и предыдущая нейронная сеть, за исключением того, что предсказатель идентичности заменяется оценщиком диапазона.

Точность

PURE был протестирован в широком диапазоне акустических сред и с использованием различных скоростей ходьбы на различных расстояниях. По мере увеличения количества людей, создающих шаги, точность естественно падает, как и при увеличении скорости источников шагов.

Однако, в зависимости от адаптации домена, результаты более 100 испытаний показали, что система может идентифицировать пользователя по 3-5 шагам с точностью от 90,73% до 96,53%; по 2-3 шагам с точностью от 88,16% до 95,92%; и по одному шагу с точностью от 81,75% до 88,6%.

Исследователи предвидят широкое применение PURE благодаря низкой стоимости используемого коммерческого оборудования и тому факту, что оно также превосходит подобные системы по задержке и точности, будучи устойчивым к помехам окружающей среды и атакам повторного воспроизведения.

Рост анализа походки

Эта конкретная сфера исследований в области машинного обучения в основном была сосредоточена на компьютерном зрении за последние десять лет и получила культурный импульс, когда использовалась как сюжетный прием в Миссия невыполнима: Племя изгоев (2015).

На сегодняшний день технологии распознавания походки были предложены для использования в уходе за пожилыми людьми, послехирургической реабилитации и более спорно для персонализированной подачи рекламы в розничных средах, хотя такая система, очевидно, имеет потенциальное применение для мониторинга сотрудников в безопасных средах.

В 2018 году было сообщено, что китайские власти используют визуальный анализ походки от компании Watrix как один из аспектов своих систем видеонаблюдения.

Распознавание походки также было реализовано путем мониторинга отражения сигналов Wi-Fi.

Однако все эти подходы имеют врожденные ограничения, либо требуя условий освещения, которые не могут быть гарантированы, неограниченных видов, чрезвычайно дорогого специализированного оборудования, слишком конкретных местных условий или носимого оборудования, среди других препятствий.