ドローンの直接視覚による制御

中国の研究者は、ユーザーの視覚を直接解釈してドローンの飛行を制御できる新しいアルゴリズムを開発しました。実質的に、人間のオペレーターは「ドローンになり」、ユーザーの視線の方向に基づいてその軌道を導きます。

下左にユーザーの視点が表示され、ドローンの飛行経路は影のデバイスによって外部からキャプチャされています。記事の最後にビデオを参照してください。 ソース：https://www.youtube.com/watch?v=WYujLePQwB8

この 論文 は、GPA-Teleoperation：Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation と呼ばれ、浙江大学のサイバーシステムおよび制御研究所と、南京理工大学の自動化学校の研究者によるものです。研究者は、システムの機能を示すビデオも公開しました（記事の最後を参照してください）。

抽象的な制御を超えて

研究者は、ドローンの制御における抽象的なレイヤーを除去しようとしています。二次的な制御ユニットはトレーニングが必要であり、ユーザーの意図を粗い抽象化にしかなり得ないため、予測不可能な操作とガイダンスの動きの誤解を招く可能性があると主張しています。

今年の初めに同じ研究者によって発表された論文では、ドローンのナビゲーションにおける視界の重要性を強調し、現在の研究はその研究の成果を発展させたものです。

上部、ドローンのテストラボの「アサルトコース」の軌道の合成（自然な空気環境での外部テストのビデオは記事の最後を参照してください）。下部、オペレーターはアイトラッカーを着用し、ドローンの前方カメラの直接の視界を提供します（下右）。 ソース：https://arxiv.org/pdf/2109.04907.pdf

アルゴリズム

GPA は、ユーザーの視線を最も安全な最適なパスに精製するバックエンドの最適化器を使用します。実質的に、ビデオゲームの「オートエイム」に相当し、ほぼゼロの遅延で動作します。

UAV サブシステム モジュールは、ドローンに直接インストールされています。これには、状態推定、計画、地図化、制御モジュールが含まれます。ローカル システムは、ユーザーが着用するヘッドマウント デバイスからアイ ゲイズ データを受信し、初期のトポロジー パスを提供します。このパスは、システムによってオンザフライでサニタイズされます。

リモート コントローラーに一貫した体験を提供するために、ユーザーが受け取るモノクロのビューは、ドローンのオンボード システムによって自動的にセンタリングされます。そうでない場合、ルートの新しい予想外の偏差（視線の方向の変更によって示される）を解釈することは困難になります。

システムは、画像ストリームから推定ベクトル座標を解析して最初に処理します。研究者のシステムのビデオ入力は現在モノキュラーなので、カメラの深度認識境界を使用して、2D ベクトルから派生した 2 番目の（深度）ベクトルを取得します。理論的には、将来のバージョンでは、3D 感知のハードウェアベースの利点を維持しながら、このパイプラインを改善するためにステレオ カメラを使用できますが、追加の処理オーバーヘッドが残るかどうかはまだ不明です。

いずれにせよ、3D 値が取得されると、Breadth First Search (BFS) の起点として使用されます。BFS によって除外されるピクセル（すでに境界内にあるピクセル）は、DBSCAN クラスタリング（すでにクラスタリングされていない場合）のアンカー ポイントとして使用され、ルーチンは最後のブレーク ポイントから BFS の評価に戻ります。

GPA のアーキテクチャ。

プロセスは、オブジェクトが指定されたマージン パラメータに応じて識別され、視野（FOV – この場合は絶対に明確でなければならない）内でラベル付けされるまで繰り返されます。

最後に、ベクトル計算は、明確なパスを生成するために使用されるか、ユーザーの視線の方向がすでに障害物を通過または回避するための安全なパスであることを検証するために使用されます。

視界を無視するテスト（左）と、視界をフライト パスの重要な要素として考慮して軌道を再計算するテスト（右）。

テスト

視線ベースのドローン制御システムをテストするために、中国の研究者は、システムの知識がなく、ドローンのフライトを制御したことがないボランティアを使用しました。被験者は、基本的な操作方法について簡単な説明を受けた後、閉じた環境と外部環境で障害物コースをナビゲートする必要がありました。

さらに、ボランティアに障害物の基本的なトポロジーについて説明した後、研究者はブリーフィングに含まれていない「サプライズ障害物」を追加しました。

上部、オンラインの四輪ドローンの軌道、高度別に色付け。下部、ナビゲーション可能な障害物、ボックスとリング。

実践では、システムは効果的に視線データを修正して、使用された空間クリティカル ドローンがリングとボックスの障害物を衝突せずに通過または通過できるようにしました。研究者は、システムが直感的で安全であり、運用で高い安全性を持っていることを結論付けています。

研究者はまた、Mavic Air 2 システムの FocusTrack アーキテクチャと彼らのアプローチのパフォーマンスを比較し、精密なユーザーの意図を測定して対応できるため、後者が優れていることを結論付けています。

アイ トラッキング技術は、自動運転車のマシン ラーニング ベースの SDV システムのデータ収集や、パイロットの注意パターンの研究などの分野で広く研究されてきました。この年の中頃、ブルガリアの研究チームは、発表 した研究で、初心者の学習者にとって、フライトの着陸段階が最も困難であることを示しました。

GPA の公式ビデオを以下に参照してください。