インドアユーザーの位置認識による視覚的場所認識

視覚的場所認識は、コンピュータビジョンの開発とロボティクスの基盤技術の一つです。VPRアルゴリズムの役割は、画像に基づいて特定の場所を特定することです。この技術は、自律ロボットと人間の労働力の両方をサポートし、周囲を特定し、望ましいアクションの実行を容易にします。

研究者は、NeuroSYSで、開発されたARプラットフォームNsflowの一部として、コンピュータビジョンアルゴリズムを使用しています。Nsflowは、インタラクティブな作業手順とハンドスオントレーニングを可能にし、ユーザーの位置を特定します。VPRの使用により、事前のトレーニングと監督の必要性が減り、オンボーディングと学習プロセスが大幅に加速されます。

GPSを使用して人の位置や場所を特定することは、すでに古い技術です。ただし、衛星ベースのナビゲーションシステムが使用できない場合にはどうすればよいのでしょうか。インドアポジショニングシステム（IPS）が登場しています。

針をハヤに探す場合、様々な手法を使用できます。ビーコン、磁気ポジショニング、慣性測定ユニット（IMU）と加速度計、ジャイロスコープ、最後に知られているポイントからの動きの測定、Wi-Fiベースのポジショニング、または単純に視覚マーカーを使用することができます。

上記の方法すべてに欠点があります（例：マーカーまたはビーコンの設置の必要性、IMUの測定誤差の増加、再配置の必要性）。解決策は、アルゴリズムの範囲内にあります。ユーザーの位置を特定するために、数メートル単位の精度が必要です。

場所を認識するプロセスは、2つのデータベースを作成する2ステップの手順に基づいています。まず、対象の場所を写真に撮り、特徴検出器によって特徴的な要素を特定します。次に、ラベル付きポイントを参照画像と比較します。評価されたキーポイントが特徴マッチャーによって十分に似ていると判断されると、写真は同じ場所を示していることが確認できます。

画像データベースは、対象の場所（この場合はワークスペース）の画像と一意の識別子、ローカルデスクリプタ、グローバルデスクリプタなどのプロパティのセットで構成されます。もう一つのデータベースであるルームデータベースは、特定のキーポイントと特定のスペース内の特定のエリアをマッチングします。

視覚的場所認識の分野から、SuperPoint、SuperGlue、netVLADのニューラルネットワークを使用して、上記のプロセスをユーザーの位置認識に適用しました。SuperPointとSuperGlueのニューラルネットワークは、特徴検出とマッチングに協力し、データベースから情報を抽出します。

グローバルデスクリプタの登場

プロセスでは、場所を区別するベクトルとして機能するグローバルデスクリプタが必要です。ベクトルは、照明や視点に関係なく、場所を一意に識別できる必要があります。グローバルデスクリプタは、変化するオブジェクトに依存しない必要があります。家具や機器などのアイテムは変更される可能性があるため、場所を定義する特徴として使用できません。

コンピュータビジョンに基づく場所認識は、ドア、窓、階段などの恒久的な特徴を使用します。この研究では、NetVLADニューラルネットワークを使用して、必要なベクトルを計算しました。グローバルデスクリプタのマッチングプロセスでは、最も類似したベクトルの画像を処理し、各特徴的なアンカー点間の距離を計算します。

ルームデータベースとキーポイントおよびグローバルデスクリプタを含むもう一つのデータベースを処理する際に、システムは画像の属性を処理します。類似性と最短距離の推定を実行した後、SuperGlueニューラルネットワークは場所の画像を識別します。VPRを使用するシステムは、基本的に、キーポイントの数に基づいてユーザーの位置を特定します。

アルゴリズムは、AIおよびARプラットフォームに適用され、スマートグラスを使用したトレーニングを実行するユーザーをサポートします。VPRにより、ワークプレイスでのトレーニーの位置を特定し、特定のスポットに割り当てられたチュートリアルとガイドを起動し、安全性を向上させ、直接の監督の必要性を減らすことができます。

欧州連合の欧州地域開発基金から資金提供されたスマートグロースオペレーション・プログラムの一環として、欧州連合の資金からプロジェクトが共同で資金提供されました。国立研究開発センター：ファストトラックの一環としてプロジェクトが実施されました。