드론을 직접 시야로 제어하는 기술

중국 연구진은 사용자의 시야를 직접 해석하여 드론 비행을 제어할 수 있는 새로운 알고리즘을 개발했습니다. 효과적으로, 인간 운용자는 ‘드론이 됩니다’하고 사용자의 시선 방향에 따라其의 궤도를 안내합니다.

사용자의 시야는 아래 왼쪽에 표시되며, 드론의 비행 경로는 외부에서 그림자 장치로 캡처됩니다. 아래 비디오를 참조하십시오. 출처: https://www.youtube.com/watch?v=WYujLePQwB8

이 논문은 GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation이라고 불리며, 浙江大学의 사이버 시스템 및 제어 연구소와 난징 공과 대학의 자동화 학교의 연구진이 발표했습니다. 연구진은 또한 시스템의 기능을展示하는 비디오를 오늘 발표했습니다 (아래 참조).

추상적인 제어를 넘어서

연구진은 드론 제어의 추상적인 계층을 제거하려고 합니다. 그들은 두 번째 제어 단위가 훈련을 필요로 하며 사용자의 의도를 대략적으로 추상화할 뿐이며, 이는 예측할 수 없는 조종과 지시 동작의 잘못된 해석으로 이어진다고 주장합니다.

同じ 연구진은今年초에 발표한 논문에서 드론 항법에서 시야의 중요성을 강조했으며, 현재 연구는 그 연구의 결과를 발전시킨 것입니다.

위: 드론 테스트 랩의 궤도 합성 (아래 비디오 참조). 아래: 운용자가 눈 추적기를 착용하여 쿼드콥터 드론의 전방 카메라를 통해 직접 시야를 전달합니다. 출처: https://arxiv.org/pdf/2109.04907.pdf

알고리즘

GPA는 백엔드 최적화기를 사용하여 사용자의 시야를 가장 안전한 최적 경로로 精製합니다. 이는 비디오 게임의 ‘자동 조준’과 유사하며, 거의 제로 지연시간으로 작동합니다.

UAV 하위 시스템 모듈은 드론에 직접 설치되어 있으며, 상태 추정, 계획, 매핑, 제어 모듈을 포함합니다. 로컬 시스템은 사용자가 착용하는 헤드 웨어 하네스에 장착된 싱글 아이 유닛에서 눈 추적 데이터를 수신하여 초기 토폴로지 경로를 제공합니다.

원격 제어기를 위한 일관된 경험을 만들기 위해, 사용자가 수신하는 모노크롬 뷰는 드론의 온보드 시스템에 의해 자동으로 중앙에 맞춰집니다. 이는 새로운 경로 편차를 해석하기 어렵기 때문입니다 (시선 방향의 변경으로 표시됨).

시스템은 이미지 스트림에서 추정된 벡터 좌표를 파싱합니다. 연구진의 시스템은 현재 모노큘러 카메라를 사용하므로, 카메라의 깊이 인식 경계를 사용하여 2D 벡터에서 얻은 깊이 벡터를 얻습니다. 理論적으로, 이후 버전에서는 스테레오 카메라를 사용하여 이 파이프라인을 개선할 수 있지만, 추가 처리 오버헤드가 하드웨어 기반 3D 인식의 이점을 유지할 수 있는지 여부는 확인되지 않았습니다.

어쨌든, 3D 값을 얻은 후, 계산은 BFS의起点으로 사용됩니다. BFS에 의해 생략되는 픽셀(즉, 이미 경계 내에 있는 픽셀)은 DBSCAN 클러스터링의 앵커 포인트로 사용되며(이미 클러스터링되지 않은 경우), 루틴은 마지막 브레이크 포인트에서 BFS 평가로 돌아갑니다.

GPA 아키텍처

프로세스는 물체가 Margin 매개변수에 해당하는 시야각(FOV) 내에서 식별되고 레이블링될 때까지 반복됩니다 (이 경우 충돌을 피하기 위해 반드시 명확해야 함).

마지막으로, 벡터 계산은 명확한 경로를 생성하거나 사용자의 시선 방향이 이미 안전한 경로임을 확인하는 데 사용됩니다.

시스템이 가시성을 무시하는 테스트(왼쪽)와 비행 경로를 계산하는 테스트(오른쪽)

테스트

시선 기반 드론 제어 시스템을 테스트하기 위해, 중국 연구진은 시스템에 대한 지식이나 드론 비행 제어 경험이 없는 자원봉사자를 사용했습니다. 참가자들은 기본적인 시스템 작동에 대한 3가지 간단한 지침만으로 닫힌 환경과 외부 환경에서 장애물 코스를 탐색해야 했습니다.

또한, 참가자들에게 장애물의 기본적인 토폴로지에 대해 설명한 후, 연구진은 설명에 포함되지 않은 ‘서프라이즈 장애물’을 추가했습니다.

위: 온라인 쿼드콥터 드론의 궤도, 높이별 색상 표시. 아래: 탐색 가능한 장애물, 박스와 링으로 시작합니다.

실제로, 시스템은 효과적으로 시선 데이터를 보정하여 공간 임계 드론을 사용하여 링과 박스 모양의 장애물을 충돌하지 않고 통과할 수 있었습니다. 연구진은 시스템이 직관적이고 안전하며, 운영에서 높은 안전률을 가지고 있다고 결론지었습니다.

연구진은 또한 Mavic Air 2 시스템의 FocusTrack 아키텍처와 자신의 접근 방식을 비교하여, 사용자의 의도를 정확하게 측정하고 작동할 수 있음을 확인했습니다.

눈 추적 기술은 자율 주행차 데이터 수집을 위한 기계 학습 기반 SDV 시스템 및 조종사 주의 패턴 연구를 포함한 분야에서 광범위하게 연구되어 왔습니다.今年 7월, 불가리아 연구 팀은 발표에서 초보 학습자에게 가장 어려운 비행 단계가 着陸 단계라는 것을 확인했습니다.

GPA에 대한 연구진의 공식 비디오를 확인하십시오.