通过直接视觉控制无人机

中国的研究人员开发了一种新的算法，可以通过直接解释用户的视觉来控制无人机的飞行。有效地，人类操作员“成为”无人机，并根据用户的凝视方向来引导其轨迹。

用户的视角显示在左下角，无人机的飞行路径由阴影设备外部捕获。请参阅文章末尾的视频以获取完整的动态图像。 来源:https://www.youtube.com/watch?v=WYujLePQwB8

该 论文 名为 GPA-Teleoperation:凝视增强的感知安全辅助空中遥控，来自浙江大学的网络系统与控制研究所和南京理工大学的自动化学院的研究人员。研究人员还发布了一段视频，展示了该系统的功能（请参阅文章末尾）。

超越抽象控制

研究人员旨在消除无人机控制的抽象层，认为次要控制单元需要培训，并且只是一种对用户意图的粗略抽象，从而导致不可预测的机动和指令运动的误解。

今年早些时候，同一研究人员发表的一篇论文强调了无人机导航中视线可见性的重要性，而当前的工作是对该研究的发现进行了发展。

上图显示无人机测试实验室的轨迹组合（请参阅末尾视频以获取自然开阔环境中的外部测试）。下图显示操作员佩戴的眼动跟踪器，直接将四轴飞行器的前置摄像头的视野传输给操作员（右下）。 来源:https://arxiv.org/pdf/2109.04907.pdf

算法

GPA 使用后端优化器来完善用户的凝视，并以几乎为零的延迟生成最安全的最优路径，相当于视频游戏中的“自动瞄准”。

无人机子系统模块直接安装在无人机上，包括状态估计、规划、映射和控制模块。局部系统从操作员佩戴的单眼跟踪器中接收眼动数据，该跟踪器提供初始拓扑路径，系统必须实时清理该路径。

为了为远程控制器创建一个连贯的体验，用户接收到的单色视图由无人机上的系统自动居中，因为没有这一点，解释新的预期路线偏差（如凝视方向的变化）将会很困难。

系统首先从图像流中解析估计的矢量坐标。由于研究人员系统的当前视频输入是单ocular的，摄像头的深度感知边界用于获取第二个（深度）矢量，该矢量被叠加到从图像中派生的 2D 矢量上。在理论上，后续迭代可以使用立体相机来改进这一流程，尽管还需要确定是否会保留基于硬件的 3D 感知的好处。

无论如何，使用获得的 3D 值作为起点，计算用于 广度优先搜索（BFS）的起点。BFS 可能会忽略的像素（即已确定在界限内的像素）被用作 DBSCAN 聚类（如果尚未聚类）的锚点，程序从最后一个断点恢复到 BFS 评估。

GPA 的架构。

该过程迭代，直到在视野（FOV – 在本例中必须绝对清晰以避免碰撞）对应的边距参数内识别和标记对象。

最后，矢量计算用于生成清晰的路径，或者验证用户的凝视方向已经是安全的路径，通过或绕过障碍物。

系统忽略可见性（左）和重新计算轨迹以考虑可见性对飞行路径至关重要（右）的测试。

测试

为了测试基于凝视的无人机控制系统，中国研究人员使用了一组对该系统完全没有知识且没有无人机飞行控制经验的志愿者。受试者被要求仅使用三个简短的定向程序来熟悉系统的基本操作，在封闭和外部环境中导航障碍课程。

此外，在简要介绍了障碍的基本拓扑后，研究人员添加了“惊喜障碍”，这些障碍没有包含在简介中。

上图显示在线四轴飞行器的轨迹，按高度着色。下图显示可导航的障碍，从盒子开始，到环形障碍。

在实践中，该系统能够有效地纠正凝视数据，使得使用的空间关键无人机能够在不发生碰撞的情况下通过（或绕过）环形和盒形障碍，研究人员得出结论，他们的系统既直观又安全，在运行中具有很高的安全裕度。

研究人员还将他们的方法与 Mavic Air 2 系统中的 FocusTrack 架构进行了比较，得出结论，它通过能够准确判断和响应用户的意图而优于后者。

眼动跟踪技术在自主车辆数据采集、机器学习的 SDV 系统、飞行员注意力模式研究等领域得到了广泛的研究。在今年的 7 月，保加利亚的一组研究人员 发表 了对无人机飞行员的观察结果，发现飞行的着陆阶段对于新手学习者来说是最具挑战性的阶段。

请参阅研究人员为 GPA 制作的官方视频，见下文。