AIは一歩から人物を特定できる

新しい研究プロジェクトにより、低コストのシステムが開発され、歩行音から人物を特定できるようになった。このシステムは、わずか一歩からで人物を特定できる。

研究論文「Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition」（PURE）では、南洋理工大学とケンタッキー大学の研究者らの共同研究により、最大90%の精度で人物を特定できることが示された。この精度は、非常に短いオーディオサンプルから得られたものである。

PUREで取得された5つの特徴的な足音プロファイル

PUREのアーキテクチャは、コモディティマイクの配列からのデータに基づいており、生のオーディオキャプチャはバックグラウンドノイズ除去を通じてノイズ除去される。信号対雑音比が高く、同時に会話が行われている場合、ソース分離アルゴリズムが活性化され、足音を個別に抽出する。

足音オーディオは、ドメインアダプテーションを通じて分析され、フレームワークは特徴抽出器、アイデンティティ予測器、ドメインディスクリミネーターで構成される。

PUREのハードウェア

PUREのハードウェアは、Raspberry Pi 4をベースとしたカスタマイズされたラッパーに組み込まれたマイクの配列である。

マイクは、構造音（足が地面に接触する音）を最も高いサンプリングレートでキャプチャし、これは非常に短い時間で発生するため、可能な限り詳細なデータを取得する必要がある。ただし、空気音（足が次の接地に向けて移動する音）は、ローカル処理能力を節約するために16kHzにダウンサンプリングされる。

研究者は、Footsteps Sound Effects SoundboardとFootsteps Sound Effectsから音声データセットを合成し、Ted Talksのオーディオ部分を使用して、背景会話から足音を抽出するためのトレーニングデータを作成した。

歩行認識におけるリプレイアタックの防止

このようなシステムは、悪意のある人物が特定の足音パターンを録音し、それを再生してシステムがそれを生のユーザーとして識別することを防ぐ必要がある。

これを防ぐために、PUREは「接触」足音の到着時間（Time-of-Arrival、ToA）と「空気」足音の到着角（Angle-of-Arrival、AoA）を分析する。

再生された足音には、動的情報が欠如しているため、それらを容易に検出できる。ただし、データを処理する際にこれを考慮する必要がある。足音の自然な不規則性と、環境の状況における速度を観察することで、受信しているデータが本物であることを確認できる。

このプロジェクトでは、ビームフォーミング技術を使用してToAを計算するが、AoAの抽出はより複雑で、R-Netニューラルネットワークを使用して、足音の範囲を計算する。これは、基本的に前のニューラルネットワークと同じモデルであるが、アイデンティティ予測器が範囲推定器に置き換えられる。

精度

PUREは、さまざまな音響環境と歩行速度でテストされ、100回の試行で、システムは3〜5歩から90.73%〜96.53%の精度でユーザーを識別でき、2〜3歩から88.16%〜95.92%の精度でユーザーを識別でき、1歩から81.75%〜88.6%の精度でユーザーを識別できることが示された。

研究者は、PUREの適用範囲が広いと予測しており、これはコモディティハードウェアの低コストと、遅延と精度の点で類似のシステムを上回ることによる。

歩行分析の成長

この分野の研究は、過去10年間で主にコンピュータビジョンに焦点を当ててきたが、Mission Impossible：Rogue Nation（2015）でプロットデバイスとして使用されたことで文化的なブーストを受けた。

現在、歩行認識技術は、高齢者ケア、手術後のリハビリテーション、および小売環境での個別化広告配信に使用されることが提案されているが、後者は論争の的となっている。このシステムは、セキュアな環境での従業員モニタリングにも使用できる。

2018年には、中国の当局が、AI開発会社Watrixのビジョンに基づく歩行分析を、公共の監視システムの一部として使用していると報告された。

歩行認識は、Wi-Fiシグナルの反射を監視することによっても実現できる。

しかし、これらのアプローチには、保証できない照明条件、遮蔽されていない視野、非常に高価な専用機器、特定のローカル条件、または着用型機器などの内在的な制限がある。