ドローンを直接の視覚で制御する

中国の研究者は、ユーザーの視覚を直接解釈してドローンの飛行を制御できる新しいアルゴリズムを開発しました。実質的に、人間のオペレーターは「ドローンになり」、ユーザーの視線の方向に基づいてその軌道を導きます。

ユーザーの視点は下左に表示され、ドローンの飛行経路は影デバイスによって外部からキャプチャされます。記事の最後のビデオを参照してください。 Source: https://www.youtube.com/watch?v=WYujLePQwB8

この論文は、GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperationと呼ばれ、浙江大学のサイバーシステムおよび制御研究所と、南京理工学院の自動化学校の研究者によって発表されました。研究者はまた、今日、システムの機能を実証するビデオを公開しました（記事の最後を参照してください）。

抽象的な制御を超えて

研究者は、ドローンの制御における抽象的な層を除去しようとしています。二次的な制御ユニットは、訓練が必要であり、ユーザーの意図の粗い抽象化にしかなりません。これにより、予測不可能な操縦と、指示動作の誤解が生じます。

今年の初めに、同じ研究者から発表された論文は、ドローンのナビゲーションにおける視線の可視性の重要性を強調しており、現在の研究は、その研究の成果の発展です。

上部、ドローンのテストラボの軌道の合成（外部テストのビデオは記事の最後にあります）。下部、オペレーターは、四輪ドローンの前方カメラ（下右）の直接の視点を提供するアイトラッカーを着用しています。 Source: https://arxiv.org/pdf/2109.04907.pdf

アルゴリズム

GPAは、ユーザーの視線を最も安全な最適なパスに精製するバックエンドの最適化器を使用します。実質的に、ビデオゲームの「オートエイム」に相当し、ほぼゼロの遅延で動作します。

UAVサブシステムモジュールは、状態推定、計画、マッピング、制御モジュールを含むドローンに直接インストールされます。ローカルシステムは、ユーザーの視線データを、基本的な操作に慣れるために3つの簡単なオリエンテーションルーチンを使用して、シングルアイユニットから受け取ります。

ユーザーが新しい経路の偏差を解釈するのが難しいことから、ユーザーが受け取るモノクロのビューは、オンボードドローンシステムによって自動的に中央に配置されます。

システムは、画像ストリームから推定されたベクトル座標を解析します。研究者のシステムのビデオ入力は現在モノキュラーなので、カメラの深度認識境界を使用して、2Dベクトルから導出された2番目の（深度）ベクトルを取得します。理論的には、後続のイテレーションでは、パイプラインを改善するためにステレオカメラを使用できますが、ハードウェアベースの3D認識の利点が残るかどうかは、追加の処理オーバーヘッドによって決定されます。

いずれにせよ、3D値を取得した後、BFS（幅優先探索）の起点として使用されます。BFSによって既に境界内にあると識別されたピクセル（すでにクラスタリングされている場合は）は、DBSCANクラスタリングのアンカー点として使用され、ルーチンは最後のブレークポイントからのBFS評価に戻ります。

GPAのアーキテクチャ

プロセスは、視野（FOV – この場合は、衝突を避けるために絶対に明確である必要があります）に対応するマージンパラメータ内でオブジェクトが識別およびラベル付けされるまで繰り返されます。

最後に、ベクトル計算は、明確なパスを生成するために使用され、またはユーザーの視線の方向がすでに障害物を通過または回避するための安全なパスであることを検証するために使用されます。

システムが視認性を無視するテスト（左）と、視認性を飛行経路に重要な要素として再計算するテスト（右）

テスト

システムのテストのために、中国の研究者は、システムの知識がなく、ドローンの飛行を制御したことがないボランティアを使用しました。被験者は、基本的な操作の3つの簡単なオリエンテーションルーチンでしかないシステムを使用して、閉じた環境と屋外環境で障害物コースをナビゲートする必要がありました。

さらに、研究者は、ボランティアに障害物の基本的なトポロジーについて説明した後、「サプライズ障害」を追加しました。これらはブリーフィングに含まれていませんでした。

上部、オンライン四輪ドローンの軌道、高度別に色付け。下部、ナビゲーション可能な障害物、ボックスから始まり、リングに進みます。

実践では、システムは、空間クリティカルドローンがリングやボックス形の障害物を通過または回避することなく、視線データを効果的に修正できたことがわかりました。研究者は、システムが直感的で安全であると結論付け、運用で高い安全性の余地があることを示しました。

研究者はまた、Mavic Air 2システムのFocusTrackアーキテクチャとの比較を行い、ユーザーの意図を正確に測定および実行できるため、後者を上回ると結論付けました。

アイトラッキング技術は、自動運転車のマシンラーニングベースのSDVシステムのデータ収集や、パイロットの注意パターンに関する研究など、さまざまな分野で広く研究されてきました。この年7月、ブルガリアの研究チームは、研究から得られた結果を発表し、UAVパイロットにとって、飛行の着陸段階が最も挑戦的なものであることを示しました。

研究者の公式ビデオGPAを以下に参照してください。

https://www.youtube.com/watch?v=WYujLePQwB8