Điều khiển máy bay không người lái thông qua tầm nhìn trực tiếp

Những nhà nghiên cứu từ Trung Quốc đã phát triển một thuật toán mới có thể cho phép điều khiển chuyến bay của máy bay không người lái bằng cách giải thích trực tiếp tầm nhìn của người dùng. Hiệu quả, người điều khiển con người “trở thành” máy bay không người lái và hướng dẫn đường đi của nó dựa trên hướng nhìn của người dùng.

Tầm nhìn của người dùng được hiển thị ở góc dưới bên trái, với đường đi của máy bay không người lái được chụp từ bên ngoài bởi một thiết bị bóng. Xem video ở cuối bài viết để xem toàn bộ hình ảnh chuyển động. Nguồn: https://www.youtube.com/watch?v=WYujLePQwB8

Bài báo này có tên GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, và đến từ các nhà nghiên cứu tại Viện Hệ thống và Kiểm soát Cyber tại Đại học Zhejiang, và Trường Tự động hóa tại Viện Công nghệ Nam Kinh. Các nhà nghiên cứu cũng đã phát hành một video ngày hôm nay để chứng minh khả năng của hệ thống (xem cuối bài viết).

Beyond Abstract Control

Các nhà nghiên cứu đang tìm cách loại bỏ lớp trừu tượng cho điều khiển máy bay không người lái, cho rằng các đơn vị điều khiển thứ cấp yêu cầu đào tạo và chỉ là một sự trừu tượng thô của ý định của người dùng, dẫn đến điều khiển không thể đoán trước và hiểu lầm các chuyển động hướng dẫn.

Một bài báo trước đó trong năm, từ cùng các nhà nghiên cứu, nhấn mạnh tầm quan trọng của khả năng nhìn thấy đường đi trong điều hướng máy bay không người lái, và công việc hiện tại là một sự phát triển của các phát hiện từ nghiên cứu đó.

Trên, một hợp thành của đường đi của phòng thí nghiệm kiểm tra máy bay không người lái ‘khóa học’ (xem video cuối để xem các thử nghiệm bên ngoài trong môi trường không khí mở tự nhiên). Dưới, người điều khiển đeo một thiết bị theo dõi mắt mà cung cấp tầm nhìn trực tiếp của máy ảnh phía trước của máy bay không người lái (dưới bên phải). Nguồn: https://arxiv.org/pdf/2109.04907.pdf

Algorithm

GPA sử dụng một bộ tối ưu hóa phía sau mà tinh chỉnh tầm nhìn của người dùng thành đường đi an toàn tối ưu, có thể tương đương với ‘tự động nhắm’ trong các trò chơi video, với độ trễ gần như bằng không (vì lý do rõ ràng).

Các mô-đun con của hệ thống máy bay không người lái được cài đặt trực tiếp vào máy bay không người lái, bao gồm các tiện ích cho ước tính trạng thái, lập kế hoạch, lập bản đồ và điều khiển. Hệ thống cục bộ nhận dữ liệu tầm nhìn từ một đơn vị mắt đơn được gắn trong một bộ phận đeo đầu bởi người dùng cuối, cung cấp một đường đi topo ban đầu, mà hệ thống phải làm sạch trên đường đi.

Để tạo ra một trải nghiệm nhất quán cho người điều khiển từ xa, tầm nhìn đơn sắc mà người dùng nhận được được tự động căn giữa bởi hệ thống máy bay không người lái trên tàu, không chỉ vì nếu không nó sẽ khó giải thích các偏差 đường đi mới (như được chỉ định bởi một thay đổi hướng nhìn).

Hệ thống đầu tiên phân tích các tọa độ vector ước tính từ luồng hình ảnh. Vì đầu vào video của hệ thống các nhà nghiên cứu hiện tại là đơn sắc, ranh giới nhận thức sâu của máy ảnh được sử dụng để có được một vector thứ hai (sâu) được áp đặt lên vector 2-D được dẫn xuất từ hình ảnh. Về lý thuyết, các phiên bản sau có thể sử dụng máy ảnh stereo để cải thiện đường dẫn này, mặc dù vẫn còn phải xem liệu việc xử lý thêm có để lại lợi ích của việc nhận thức 3D dựa trên phần cứng hay không.

Bất kể, với các giá trị 3D được thu được, tính toán được sử dụng làm điểm xuất phát cho Breadth First Search (BFS). Các pixel mà nếu không sẽ bị loại bỏ bởi BFS (tức là các pixel được xác định là đã nằm trong giới hạn) được sử dụng làm điểm neo cho DBSCAN clustering (nếu chưa được nhóm), và quy trình quay lại đánh giá BFS từ điểm cuối.

Cấu trúc của GPA.

Quá trình lặp lại cho đến khi một đối tượng được xác định và gắn nhãn trong các tham số biên tương ứng với một trường nhìn (FOV – trong trường hợp này, phải hoàn toàn rõ ràng để tránh va chạm).

Cuối cùng, các tính toán vector được sử dụng để tạo ra các đường đi rõ ràng, hoặc để xác nhận rằng hướng nhìn của người dùng đã là một đường đi an toàn qua hoặc qua một chướng ngại vật.

Các thử nghiệm nơi hệ thống bỏ qua tầm nhìn (bên trái) và nơi đường đi được tính toán lại để xem xét tầm nhìn là quan trọng đối với một đường bay (bên phải).

Testing

Để kiểm tra hệ thống điều khiển máy bay không người lái dựa trên tầm nhìn, các nhà nghiên cứu Trung Quốc đã sử dụng một loạt các tình nguyện viên không có kiến thức về hệ thống và không có kinh nghiệm trong việc điều khiển chuyến bay của máy bay không người lái. Các đối tượng được yêu cầu điều hướng các khóa học chướng ngại vật trong môi trường đóng và ngoài trời với chỉ ba quy trình định hướng ngắn để làm quen với hoạt động cơ bản của hệ thống.

Ngoài ra, sau khi đã thông báo cho các tình nguyện viên về topo cơ bản của các chướng ngại vật, các nhà nghiên cứu đã thêm ‘chướng ngại vật bất ngờ’ không được bao gồm trong thông báo.

Trên, các đường đi của máy bay không người lái trực tuyến, được tô màu theo chiều cao. Dưới, các chướng ngại vật có thể điều hướng, bắt đầu với các hộp và di chuyển đến các vòng.

Trên thực tế, hệ thống đã có thể hiệu chỉnh dữ liệu tầm nhìn một cách hiệu quả để máy bay không người lái được sử dụng có thể đi qua (hoặc qua) các chướng ngại vật hình hộp và hình vòng mà không va chạm, và các nhà nghiên cứu đã kết luận rằng hệ thống của họ là trực quan và an toàn, với một biên độ an toàn cao trong hoạt động.

Các nhà nghiên cứu cũng đã so sánh hiệu suất của phương pháp của họ với kiến trúc FocusTrack trong hệ thống Mavic Air 2, kết luận rằng nó vượt trội hơn bằng cách có thể đo lường và hành động trên ý định chính xác của người dùng.

Công nghệ theo dõi mắt đã được nghiên cứu rộng rãi trong các lĩnh vực như thu thập dữ liệu xe tự động cho các hệ thống SDV dựa trên học máy, và trong nghiên cứu về các mẫu chú ý của các phi công, trong số các lĩnh vực khác. Vào tháng 7 năm nay, một nhóm nghiên cứu từ Bulgaria đã xuất bản các phát hiện từ quan sát của các phi công máy bay không người lái rằng đã thiết lập giai đoạn hạ cánh của một chuyến bay là thách thức nhất đối với người học mới.

Xem video chính thức của các nhà nghiên cứu cho GPA, dưới đây.