Штучна інтелект може ідентифікувати людину за одним кроком

Нова дослідницька ініціатива створила низькобюджетну систему, здатну ідентифікувати людину за звуком її кроків, навіть за один крок.

У документі Пасивна ідентифікація особи через розділення та розпізнавання кроків (PURE), створеному у співробітництві з дослідниками Наньянського технологічного університету та Університету Кентуккі, серед інших, встановлено рівень ідентифікації до 90%, за аудіозразками, які надзвичайно короткі.

П’ять характерних профілів кроків, захоплених у PURE.

Архітектура PURE базується на даних з масиву мікрофонів, з сирим аудіозаписом, очищеним за допомогою фонового спектрального видалення. Коли співвідношення сигналу до шуму високе, включаючи розмову, яка відбувається під час запису, алгоритм розділення джерел активується для дискретного виділення кроків.

Аудіозапис кроків уточнюється та аналізується за допомогою доменної адаптації, з рамкою, що складається з витягувача ознак, передбачувача ідентичності та дискримінатора домену.

Апаратне забезпечення для PURE

Обладнання, використане для PURE, являє собою масив мікрофонів, вбудований у спеціальну конструкцію на основі Raspberry Pi 4.

Мікрофони захоплюють аудіо з найбільшою доступною швидкістю для “структурних сигналів” (кроки, що вступають у контакт з землею), оскільки ці дані мають надзвичайно коротку тривалість і повинні бути якомога більш детальними. Однак “повітряні” кроки (звук, який ноги роблять у повітрі до наступного контакту з землею) знизькають частоту дискретизації до 16 кГц, щоб зберегти місцеву обробку для “структурних” кроків.

Дослідники створили навчальний набір даних з Footsteps Sound Effects Soundboard, а також з Footsteps Sound Effects від Epidemic Sound. Аудіокомпонент з різних TED-конференцій використовувався для створення навчальних даних для процесу виділення кроків з фонової розмови.

Запобігання “атакам повторного відтворення” у розпізнаванні кроків

Система такого типу повинна бути стійкою до “атак повторного відтворення”, коли зловмисник може записати певний шаблон кроків і відтворити його, сподіваючись, що система ідентифікує запис як живого користувача.

Щоб запобігти цьому, PURE аналізує час прибуття (ToA) у “контактних” кроках і кут прибуття (AoA) у “повітряних” кроках.

Відсутність динамічної інформації у повторно відтворених кроках досить легко виявляється, хоча необхідно врахувати це при обробці даних. За допомогою спостереження за природною нерегулярністю кроків та їх швидкістю в контексті середовища (оскільки малоймовірно, що хтось буде або бігати, або повзати, наприклад, в офісному середовищі) можна забезпечити автентичність отримуваних даних.

Проект використовує техніку формування променя для розрахунку ToA, але виділення AoA є більш складним і вимагає нейронної мережі R-Net, яка знову використовує адверсарне навчання для розрахунку діапазону кроку. Це по суті та сама нейронна мережа, що і попередня, окрім того, що передбачувач ідентичності замінюється на оцінювач діапазону.

Точність

PURE була протестована у широкому діапазоні акустичних середовищ та за допомогою різноманітних швидкостей ходьби на різних відстанях. За кількістю людей, які створюють кроки, точність природно знижується, як і при збільшенні швидкості джерел кроків.

Однак залежно від адаптації домену результати за 100 спроб показали, що система може ідентифікувати користувача за 3-5 кроків з точністю від 90,73% до 96,53%; за 2-3 кроки з точністю від 88,16% до 95,92%; і за один крок з точністю від 81,75% до 88,6%.

Дослідники передбачають широке застосування PURE через низьку вартість використовуваного апаратного забезпечення та те, що вона також перевершує подібні системи за.latency та точністю, залишаючись стійкою до перешкод середовища та атак повторного відтворення.

Ріст аналізу ходьби

Ця галузь досліджень з машинного навчання протягом останніх десяти років основну увагу приділяла комп’ютерному зору, і отримала культурний імпульс, коли використовувалася як сюжетний пристрій у Місія неможлива: Плем’я ізгоїв (2015).

На сьогодні технології розпізнавання ходьби були запропоновані для використання в догляді за літніми людьми, післяопераційній реабілітації, і більш суперечливо для персоналізованого підбору реклами в роздрібних середовищах, хоча така система очевидно має потенційне застосування для моніторингу працівників у безпечних середовищах.

У 2018 році було повідомлено, що китайські влади використовують візуальний аналіз ходьби від компанії з розробки штучного інтелекту Watrix як складову частини своїх систем відеоспостереження.

Розпізнавання ходьби також було реалізовано шляхом моніторингу відбиття сигналів Wi-Fi.

Однак усі ці підходи мають внутрішні обмеження, які полягають у вимогах до умов освітлення, які не можуть бути гарантовані, не перекритих видів, надзвичайно дорогого спеціального обладнання, надто специфічних місцевих умов або обладнання, яке носиться на тілі, серед інших перешкод.