Điều khiển máy bay không người lái thông qua tầm nhìn trực tiếp

Các nhà nghiên cứu từ Trung Quốc đã phát triển một thuật toán mới có thể cho phép điều khiển chuyến bay của máy bay không người lái bằng cách giải thích trực tiếp tầm nhìn của người dùng. Hiệu quả, người vận hành ‘trở thành’ máy bay không người lái và hướng dẫn đường bay của nó dựa trên hướng nhìn của người dùng.

Tầm nhìn của người dùng được thấy ở góc dưới bên trái, với đường bay của máy bay không người lái được chụp từ bên ngoài bởi một thiết bị bóng. Xem video ở cuối bài viết để xem toàn bộ chuyển động. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Bài báo này được gọi là GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, và đến từ các nhà nghiên cứu tại Viện Hệ thống và Kiểm soát mạng tại Đại học Zhejiang, và Trường Tự động hóa tại Viện Công nghệ Nam Kinh. Các nhà nghiên cứu cũng đã phát hành một video hôm nay để chứng minh khả năng của hệ thống (xem cuối bài viết).

Beyond Abstract Control

Các nhà nghiên cứu đang tìm cách loại bỏ lớp trừu tượng cho điều khiển máy bay không người lái, lập luận rằng các đơn vị điều khiển thứ cấp yêu cầu đào tạo và chỉ là một trừu tượng thô của ý định của người dùng, dẫn đến điều khiển không thể đoán trước và hiểu lầm các chuyển động hướng dẫn.

Một bài báo trước đó trong năm, từ cùng các nhà nghiên cứu, nhấn mạnh tầm quan trọng của khả năng nhìn thấy đường bay trong điều hướng máy bay không người lái, và công việc hiện tại là một phát triển của các phát hiện từ nghiên cứu đó.

Trên, một hợp成 của đường bay của phòng thí nghiệm thử nghiệm máy bay không người lái ‘khóa học’ (xem video cuối để thử nghiệm ngoài trời trong môi trường tự nhiên). Dưới, người vận hành đeo một thiết bị theo dõi mắt mà cung cấp tầm nhìn trực tiếp của máy ảnh phía trước của máy bay không người lái (phía dưới bên phải). Source: https://arxiv.org/pdf/2109.04907.pdf

Thuật toán

GPA sử dụng một bộ tối ưu hóa phía sau để tinh chỉnh tầm nhìn của người dùng thành đường bay tối ưu an toàn nhất, có thể tương đương với ‘tự động nhắm’ trong trò chơi video, với độ trễ gần như bằng không (vì những lý do rõ ràng).

Các mô-đun con của hệ thống UAV được cài đặt trực tiếp vào máy bay không người lái, bao gồm các tiện ích cho ước tính trạng thái, lập kế hoạch, lập bản đồ và điều khiển. Hệ thống cục bộ nhận dữ liệu tầm nhìn từ một đơn vị mắt đơn được gắn trong một bộ phận đeo đầu bởi người dùng cuối, cung cấp một đường bay ban đầu, mà hệ thống phải làm sạch trong thời gian thực.

Để tạo ra một trải nghiệm nhất quán cho người điều khiển từ xa, tầm nhìn đơn sắc mà người dùng nhận được được tự động căn giữa bởi hệ thống trên máy bay không người lái, không chỉ vì nếu không nó sẽ khó giải thích các偏差 mới của đường bay (như được chỉ định bởi sự thay đổi của hướng nhìn).

Hệ thống đầu tiên phân tích các tọa độ vector ước tính từ luồng hình ảnh. Vì đầu vào video của hệ thống các nhà nghiên cứu hiện tại là đơn sắc, ranh giới nhận thức sâu của máy ảnh được sử dụng để có được một vector thứ hai (sâu) được áp đặt lên vector 2D được dẫn xuất từ hình ảnh. Về lý thuyết, các phiên bản sau có thể sử dụng máy ảnh stereo để cải thiện đường ống này, mặc dù vẫn còn phải xem liệu việc tăng thêm tải trọng xử lý có để lại lợi ích của nhận thức 3D dựa trên phần cứng.

Trong mọi trường hợp, với các giá trị 3D được thu thập, tính toán được sử dụng làm nguồn gốc cho Breadth First Search (BFS). Các pixel mà nếu không sẽ bị loại bỏ bởi BFS (tức là các pixel được xác định là đã nằm trong giới hạn) được sử dụng làm điểm neo cho DBSCAN clustering (nếu chưa được nhóm), và quy trình trở lại đánh giá BFS từ điểm cuối cùng.

Kiến trúc của GPA.

Quá trình lặp lại cho đến khi một đối tượng được xác định và gắn nhãn trong các tham số biên tương ứng với một trường nhìn (FOV – trong trường hợp này, phải hoàn toàn rõ ràng để tránh va chạm).

Cuối cùng, các tính toán vector được sử dụng để tạo ra các đường bay rõ ràng, hoặc để xác nhận rằng hướng nhìn của người dùng đã là một đường bay an toàn qua hoặc qua một chướng ngại vật.

Các thử nghiệm nơi hệ thống bỏ qua khả năng nhìn thấy (bên trái) và nơi đường bay được tính toán lại để xem xét khả năng nhìn thấy là quan trọng đối với đường bay (bên phải).

Thử nghiệm

Để thử nghiệm hệ thống điều khiển máy bay không người lái dựa trên tầm nhìn, các nhà nghiên cứu Trung Quốc đã sử dụng một loạt các tình nguyện viên không có kiến thức về hệ thống và không có kinh nghiệm trong việc điều khiển chuyến bay của máy bay không người lái. Các đối tượng được yêu cầu điều hướng các khóa học chướng ngại vật trong môi trường đóng và ngoài trời với chỉ ba quy trình định hướng ngắn để làm quen với hoạt động cơ bản của hệ thống.

Ngoài ra, sau khi đã thông báo cho các tình nguyện viên về bản chất cơ bản của các chướng ngại vật, các nhà nghiên cứu đã thêm ‘chướng ngại vật bất ngờ’ không được bao gồm trong thông báo.

Trên, các đường bay của máy bay không người lái trực tuyến, được tô màu theo chiều cao. Dưới, các chướng ngại vật có thể điều hướng, bắt đầu với các hộp và di chuyển đến các vòng.

Trong thực tế, hệ thống đã có thể hiệu chỉnh dữ liệu tầm nhìn một cách hiệu quả để các máy bay không người lái quan trọng không gian sử dụng được có thể đi qua (hoặc qua) các chướng ngại vật hình hộp và vòng mà không va chạm, và các nhà nghiên cứu đã kết luận rằng hệ thống của họ là trực quan và an toàn, với một biên độ an toàn cao trong hoạt động.

Các nhà nghiên cứu cũng đã so sánh hiệu suất của phương pháp của họ với kiến trúc FocusTrack trong hệ thống Mavic Air 2, kết luận rằng nó vượt trội hơn bằng cách có thể đo lường và hành động trên ý định chính xác của người dùng.

Công nghệ theo dõi mắt đã được nghiên cứu rộng rãi trong các lĩnh vực như thu thập dữ liệu phương tiện tự động cho các hệ thống SDV dựa trên học máy, và trong nghiên cứu về các mẫu chú ý của phi công, trong số các lĩnh vực khác. Vào tháng 7 năm nay, một nhóm nghiên cứu từ Bulgaria đã xuất bản các phát hiện từ quan sát của các phi công máy bay không người lái rằng giai đoạn hạ cánh của một chuyến bay là thách thức nhất đối với người học mới.

Xem video chính thức của các nhà nghiên cứu cho GPA, dưới đây.

https://www.youtube.com/watch?v=WYujLePQwB8