AIが白い壁に映し出された秘密の活動を明らかにする

NVIDIAとMITを含む共同研究により、間接的な照明を観察するだけで、隠れた人物を特定できる機械学習方法が開発されました。照明源の近くにある壁に映し出された間接的な照明を観察するだけで、隠れた人物を特定できるというものです。この方法は、隠れた人物の数を特定する際に94%の精度を達成し、さらに隠れた人物の特定の活動も、人間の目や標準的な画像増幅方法では見えない光の反射を大量に増幅することで特定できます。

新しい方法によって増幅された、目に見えない光の変動。変化する領域を特定するために、畳み込みニューラルネットワークを使用しています。 ソース: https://www.youtube.com/watch?v=K4PapXyX-bI

新しい論文は、NVIDIAとMIT、イスラエル工科大学の貢献により、白い壁を凝視することで何を学ぶことができるかというタイトルで発表されました。

「壁の向こう側を見る」ための従来のアプローチは、制御可能な光源や既知の遮蔽源に関する事前の知識に依存していましたが、新しいテクノロジーは、どの部屋でも再調整する必要なく一般化できます。隠れた人物を特定するために使用される2つの畳み込みニューラルネットワークは、20のシーンから得られたデータを使用しました。

このプロジェクトは、高リスクのセキュリティクリティカルな状況、捜索と救助作戦、一般的な法執行機関の監視タスク、緊急対応シナリオ、高齢者の転倒検知、自動運転車の隠れた歩行者検知などの用途を目的としています。

パッシブ評価

コンピュータビジョンプロジェクトでは、画像ストリームの認識された状態の変化を特定、分類、操作化することが中心的なタスクでした。変化を連結することで、個人の数を特定するために使用できるシグネチャパターンが生成されます。

この研究は、反射面、Wi-Fi信号、レーダー、音などの「特別な状況」が必要となる他の研究とは異なり、完全にパッシブなシーン評価の可能性を開きました。

新しい研究で使用されたデータ収集シナリオのサンプル。被験者は、影を落とさないように、または光を直接遮らないように慎重に配置され、反射面やその他の「チート」ベクトルは許可されません。 ソース: https://arxiv.org/pdf/2108.13027.pdf

有効的に、想定されるシナリオのための通常の環境の周囲の光は、他の場所に隠れている人々から反射された光による小さな変動を圧倒します。研究者は、個人の光干渉の寄与は、通常、総可視光の1%未満であると計算しています。

静的照明の除去

静的な壁画像から動きを抽出するには、ビデオの時間平均を計算し、各フレームから除去する必要があります。結果として得られる動きのパターンは、通常、良質なビデオ機器のノイズしきい値以下になります。実際、多くの動きは、負のピクセル空間内で発生します。

これを補うために、研究者はビデオを16倍にダウンサンプリングし、結果の映像を50倍にアップスケールしながら、負のピクセルを検出するために中間グレーレベルのベースを追加します。

人間が認識する壁と、抽出された隠れた個人の変動の違い。画像の品質はこの研究では重要な問題であるため、記事の最後にある公式ビデオを参照してください。

動きを認識するための時間枠は非常に脆弱で、60 HzのAC周波数で点滅する光によってさえ影響を受ける可能性があります。したがって、この自然な変動も、人物による動きが現れる前に評価され除去する必要があります。

最終的に、システムは、隠れた部屋の居住者の特定の数を示す空間時間プロットを生成します。

部屋に隠れている人数の異なる数を表すシグネチャ空間時間プロット。

さまざまな人間の活動も、分類および後で認識できるシグネチャ変動を生成します。

不活性、歩行、しゃがみ、手の振る、ジャンプの空間時間プロットシグネチャ。

隠れた人物の認識のための自動化された機械学習ベースのワークフローを生成するために、20のシナリオからのさまざまな映像を使用して、2つのニューラルネットワークを訓練しました。1つはシーン内の人物の数を数えるために、もう1つは発生する動きを特定するために訓練されました。

テスト

研究者は、最終的な展開のために予想される制限を再現するように設計された10の未見のリアルワールド環境で訓練されたシステムをテストしました。システムは、256フレーム（通常は8秒以上のビデオ）で隠れた人物の数を分類する際に最大94.4%の精度を達成し、同じ条件で活動を分類する際に最大93.7%の精度を達成しました。フレーム数が減少すると精度は低下しますが、線形的な低下ではありません。64フレームでは、人物の数の評価に対して79.4%の精度率を達成します（4倍のフレーム数では約95%）。

この方法は、天候による照明の変化には強いですが、テレビで照らされたシーンや、人々が壁と同じ色の単色の服を着ている状況では苦労します。

この研究の詳細、抽出の高品質の映像については、以下の公式ビデオを参照してください。