Ελέγχοντας Drone Μέσω Άμεσης Όρασης

Ερευνητές από την Κίνα έχουν αναπτύξει einen νέο αλγόριθμο που μπορεί να ενεργοποιήσει τον έλεγχο της πτήσης του drone με την άμεση ερμηνεία της όρασης του χρήστη. Αποτελεσματικά, ο ανθρώπινος χειριστής «γίνεται» το drone και καθοδηγεί την τροχιά του με βάση την κατεύθυνση του βλέμματος του χρήστη.

Η άποψη του χρήστη φαίνεται στο κάτω αριστερό μέρος, με την πτήση του drone που καταγράφεται εξωτερικά από μια σκιώδη συσκευή. Δείτε το βίντεο στο τέλος του άρθρου για πλήρη κίνηση. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Το έγγραφο ονομάζεται GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, και προέρχεται από ερευνητές στο Ινστιτούτο Κυβερνο-Συστημάτων και Ελέγχου στο Πανεπιστήμιο Zhejiang, και το Τμήμα Αυτοματισμού στο Ινστιτούτο Τεχνολογίας Nanjing. Οι ερευνητές έχουν επίσης κυκλοφορήσει ένα βίντεο σήμερα που демонстрирует τις ικανότητες του συστήματος (δείτε το τέλος του άρθρου).

Πέρα από τον Αφηρημένο Έλεγχο

Οι ερευνητές επιδιώκουν να αφαιρέσουν το επίπεδο αφαίρεσης για τον έλεγχο του drone, υποστηρίζοντας ότι οι δευτερεύοντες μονάδες ελέγχου απαιτούν εκπαίδευση και είναι μόνο μια χονδρή αφαίρεση της πρόθεσης του χρήστη, οδηγώντας σε απρόβλεπτες ελιγμούς και λανθασμένη ερμηνεία των κινήσεων καθοδήγησης.

Ένα έγγραφο νωρίτερα μέσα στη χρονιά, από τους ίδιους ερευνητές, τόνιζε τη σημασία της ορατότητας στην πτήση του drone, και η τρέχουσα εργασία είναι μια εξέλιξη των ευρημάτων από αυτή την έρευνα.

Πάνω, ένα σύνθετο της τροχιάς του drone testing lab ‘assault course’ (δείτε το βίντεο στο τέλος για εξωτερικές δοκιμές σε φυσικό ανοιχτό περιβάλλον). Κάτω, ο χειριστής φοράει einen眼 tracker που μεταβιβάζει την άμεση άποψη της κάμερας του quadrotor drone (κάτω δεξιά). Source: https://arxiv.org/pdf/2109.04907.pdf

Αλγόριθμος

Το GPA χρησιμοποιεί einen back-end optimizer που βελτιώνει την όραση του χρήστη στο ασφαλέστερο οπτικό μονοπάτι, ουσιαστικά ισοδύναμο με ‘auto aim’ στα βιντεοπαιχνίδια, με prakticky μηδενική καθυστέρηση (για σαφείς λόγους).

Τα υποσυστήματα του UAV εγκαθίστανται απευθείας στο drone, συμπεριλαμβανομένων των εγκαταστάσεων για εκτίμηση καταστάσεων, σχεδιασμό, χαρτογράφηση και μονάδες ελέγχου. Το τοπικό σύστημα λαμβάνει δεδομένα από την όραση του χρήστη από μια μονάδα με einen眼 tracker που φοράει ο χρήστης, η οποία παρέχει einen αρχικό τοπολογικό μονοπάτι, το οποίο το σύστημα πρέπει να καθαρίσει στην πτήση.

Για να δημιουργηθεί μια συνεκτική εμπειρία για τον απομακρυσμένο χειριστή, η μονόχρωμη άποψη που λαμβάνει ο χρήστης είναι αυτο-κεντραρισμένη από το σύστημα του drone, όχι λιγότερο επειδή χωρίς αυτό θα ήταν δύσκολο να ερμηνευθούν νέες προθέσεις αποκλίσεων της διαδρομής (όπως υποδεικνύεται από μια αλλαγή της κατεύθυνσης του βλέμματος).

Το σύστημα πρώτα αναλύει τις εκτιμώμενες συντεταγμένες του διανύσματος από τη ροή εικόνας.既然 το βίντεο εισόδου του συστήματος των ερευνητών είναι目前 monocular, η οριοθέτηση του βάθους της κάμερας χρησιμοποιείται για να ληφθεί ένας δεύτερος (βάθος) διανυσμάτων που επιβάλλεται στο 2-D διανυσματικό που προέρχεται από την εικόνα. Σε θεωρία, μεταγενέστερες ιτεράции θα μπορούσαν να χρησιμοποιήσουν stereo κάμερες για να βελτιώσουν αυτή τη διαδικασία, αν και παραμένει να δούμε εάν η πρόσθετη επεξεργασία θα αφήσει το όφελος της υλικο-βασισμένης 3D αντίληψης ακέραιο.

Σε κάθε περίπτωση, με τις 3D τιμές που λαμβάνονται, η υπολογισμός χρησιμοποιείται ως προέλευση για einen Breadth First Search (BFS). Τα pixels που θα εξαλειφθούν από την BFS (δηλ. pixels που έχουν ήδη αναγνωριστεί ως εντός ορίων) χρησιμοποιούνται ως σημείο αναφοράς για DBSCAN clustering (εάν δεν έχουν ήδη ομαδοποιηθεί), και η διαδικασία επιστρέφει στην αξιολόγηση BFS από το τελευταίο σημείο διακοπής.

Η αρχιτεκτονική του GPA.

Η διαδικασία επαναλαμβάνεται μέχρι να αναγνωριστεί και να επισημανθεί ένα αντικείμενο εντός προϋπολογιστικών παραμέτρων που αντιστοιχούν σε ένα πεδίο όρασης (FOV – το οποίο, σε αυτή την περίπτωση, πρέπει να είναι απολύτως σαφές για να αποφευχθούν συγκρούσεις).

Τέλος, οι υπολογισμοί διανυσμάτων χρησιμοποιούνται για να δημιουργήσουν σαφείς διαδρομές, ή αλλιώς για να επικυρώσουν ότι η κατεύθυνση του βλέμματος του χρήστη είναι ήδη μια ασφαλής διαδρομή μέσω ή πέρα από ένα εμπόδιο.

Δοκιμές όπου το σύστημα αγνοεί την ορατότητα (αριστερά) και όπου η τροχιά επαναυπολογίζεται για να ληφθεί υπόψη η ορατότητα ως κρίσιμη για μια πτήση (δεξιά).

Δοκιμές

Για να δοκιμάσουν το σύστημα ελέγχου του drone με βάση την όραση, οι Κινέζοι ερευνητές χρησιμοποίησαν μια σειρά από εθελοντές με μηδενική γνώση του συστήματος, και χωρίς εμπειρία στον έλεγχο της πτήσης του drone. Οι συμμετέχοντες απαιτούνταν να πλοηγηθούν σε δοκιμαστικές διαδρομές σε κλειστά και εξωτερικά περιβάλλοντα με μόνο τρεις σύντομες διαδικασίες προσανατολισμού με τις οποίες να εξοικειωθούν με τη βασική λειτουργία του συστήματος.

Επιπλέον, μετά από μια σύντομη ενημέρωση των εθελοντών σχετικά με τη βασική τοπολογία των εμποδίων, οι ερευνητές πρόσθεσαν ‘έκπληξη εμπόδια’ που δεν περιλαμβάνονταν στην ενημέρωση.

Πάνω, οι τροχιές του online quadrotor drone, χρωματισμένες ανάλογα με το ύψος. Κάτω, τα πλοήγησιμα εμπόδια, αρχίζοντας από κουτιά και μεταβαίνοντας σε δαχτυλίδια.

Στην πράξη, το σύστημα ήταν σε θέση να διορθώσει αποτελεσματικά τα δεδομένα της όρασης ώστε τα drones που χρησιμοποιήθηκαν να μπορέσουν να περάσουν από (ή μέσα από) τα εμπόδια σε σχήμα δαχτυλιδιού και κουτιού χωρίς συγκρούσεις, και οι ερευνητές έχουν συμπεράνει ότι το σύστημά τους είναι και ευφυές και ασφαλές, με ένα υψηλό περιθώριο ασφαλείας στη λειτουργία.

Οι ερευνητές επίσης σύγκριναν την απόδοση της προσέγγισής τους με την αρχιτεκτονική FocusTrack στο Mavic Air 2 σύστημα, συμπεραίνοντας ότι το υπερβαίνει αυτό το τελευταίο με την khảότητα να μετρήσει και να ενεργήσει με ακριβή πρόθεση του χρήστη.

Η τεχνολογία παρακολούθησης της όρασης έχει ερευνηθεί εκτενώς σε πεδία όπως η συλλογή δεδομένων για συστήματα αυτονομίας οχημάτων με βάση τη μηχανική μάθηση, και στην έρευνα για τα πρότυπα προσοχής των πιλότων, μεταξύ άλλων τομέων. Το Ιούλιο του τρέχοντος έτους, μια ερευνητική ομάδα από τη Βουλγαρία δημοσίευσε ευρήματα από παρατηρήσεις πιλότων Unmanned Aerial Vehicle (UAV) που καθόρισαν το στάδιο της προσγείωσης ως το πιο απαιτητικό για τους νέους μαθητές.

Δείτε το επίσημο βίντεο των ερευνητών για το GPA, παρακάτω.

https://www.youtube.com/watch?v=WYujLePQwB8