Έλεγχος Drone Μέσω Απευθείας Οπτικής

Ερευνητές από την Κίνα έχουν αναπτύξει einen νέο αλγόριθμο που μπορεί να ενεργοποιήσει τον έλεγχο της πτήσης του drone μέσω της άμεσης ερμηνείας της οπτικής του χρήστη. Αποτελεσματικά, ο ανθρώπινος χειριστής “γίνεται” το drone και καθοδηγεί την πορεία του με βάση την κατεύθυνση του βλέμματος του χρήστη.

Η οπτική του χρήστη φαίνεται στο κάτω αριστερό μέρος, με την πορεία του drone να καταγράφεται εξωτερικά από ένα σκιώδες συσκευή. Δείτε το βίντεο στο τέλος του άρθρου για πλήρη κίνηση. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Το έγγραφο ονομάζεται GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, και προέρχεται από ερευνητές στο Ινστιτούτο Κυβερνο-Συστημάτων και Ελέγχου του Πανεπιστημίου Zhejiang, και τη Σχολή Αυτοματοποίησης του Ινστιτούτου Τεχνολογίας Nanjing. Οι ερευνητές έχουν επίσης κυκλοφορήσει ένα βίντεο σήμερα που展示 τις ικανότητες του συστήματος (δείτε το τέλος του άρθρου).

Πέρα από τον Αφηρημένο Έλεγχο

Οι ερευνητές προσπαθούν να αφαιρέσουν το στρώμα αφαίρεσης για τον έλεγχο του drone, υποστηρίζοντας ότι οι δευτερεύοντες μονάδες ελέγχου απαιτούν εκπαίδευση και είναι μόνο μια χονδρή αφαίρεση της πρόθεσης του χρήστη, οδηγώντας σε απρόβλεπτη χειρισμό και λανθασμένη ερμηνεία των κινήσεων καθοδήγησης.

Ένα έγγραφο νωρίτερα μέσα στη χρονιά, από τους ίδιους ερευνητές, τόνιζε τη σημασία της ορατότητας της γραμμής οράσεως στη ναυτιλία του drone, και η τρέχουσα εργασία είναι μια ανάπτυξη των ευρημάτων από αυτή την έρευνα.

Πάνω, ένα σύνθετο της τροχιάς του drone testing lab ‘assault course’ (δείτε τα εξωτερικά βίντεο για δοκιμές σε φυσικό ανοιχτό περιβάλλον). Κάτω, ο χειριστής φορεί ένα eye tracker που παρέχει την άμεση οπτική της κάμερας του drone (κάτω δεξιά). Source: https://arxiv.org/pdf/2109.04907.pdf

Αλγόριθμος

Το GPA χρησιμοποιεί έναν back-end optimizer που βελτιώνει την οπτική του χρήστη σε ασφαλή οπτική διαδρομή, που είναι ισοδύναμη με το ‘auto aim’ στα βιντεοπαιχνίδια, σε πρακτικά μηδενική καθυστέρηση (για σαφείς λόγους).

Τα υποσυστήματα του UAV εγκαθίστανται απευθείας στο drone, συμπεριλαμβανομένων των εγκαταστάσεων για εκτίμηση της κατάστασης, σχεδιασμού, χαρτογράφησης και ελέγχου. Το τοπικό σύστημα λαμβάνει δεδομένα από το eye-gaze από μια μονάδα που είναι εγκατεστημένη σε ένα κεφαλόδεσμο από τον τελικό χρήστη, η οποία παρέχει μια αρχική τοπολογική διαδρομή, η οποία το σύστημα πρέπει να καθαρίσει σε πραγματικό χρόνο.

Για να δημιουργηθεί μια συνεκτική εμπειρία για τον απομακρυσμένο χειριστή, η μονοχρωματική οπτική που λαμβάνει ο χρήστης είναι αυτόματα κεντραρισμένη από το σύστημα του drone, όχι τουλάχιστον επειδή χωρίς αυτό θα ήταν δύσκολο να ερμηνευτεί η νέα προτεινόμενη απόκλιση της διαδρομής (όπως υποδεικνύεται από μια αλλαγή της κατεύθυνσης του βλέμματος).

Το σύστημα πρώτα αναλύει τις εκτιμώμενες διανυσματικές συντεταγμένες από τη ροή εικόνας.既然 η είσοδος του συστήματος των ερευνητών είναι目前 monocular, η οριογραμμή του βάθους της κάμερας χρησιμοποιείται για να ληφθεί ένα δεύτερο (βάθος) διανυσματικό που επιβάλλεται στο 2-D διανυσματικό που προέρχεται από την εικόνα. Σε θεωρία, μεταγενέστερες ιτεράτσες θα μπορούσαν να χρησιμοποιήσουν στερεοσκοπικές κάμερες για να βελτιώσουν αυτή τη διαδικασία, αν και παραμένει να δειθεί εάν η πρόσθετη επεξεργασία θα αφήσει το όφελος της υλικής 3D αντίληψης άθικτο.

Σε κάθε περίπτωση, με τις 3D τιμές που λαμβάνονται, η υπολογισμός χρησιμοποιείται ως προέλευση για ένα Breadth First Search (BFS). Οι εικονοστοιχεία που θα αποκλειστούν από το BFS (δηλαδή εικονοστοιχεία που έχουν αναγνωριστεί ως ήδη εντός ορίων) χρησιμοποιούνται ως σημείο άγκυρας για DBSCAN clustering (εάν δεν έχουν ήδη συσταθεί), και η διαδικασία επιστρέφει στην αξιολόγηση BFS από το τελευταίο σημείο διακοπής.

Η αρχιτεκτονική του GPA.

Η διαδικασία επαναλαμβάνεται μέχρι να αναγνωριστεί και να επισημανθεί ένα αντικείμενο εντός ορίων παραμέτρων που αντιστοιχούν σε ένα πεδίο οράσεως (FOV – το οποίο, σε αυτή την περίπτωση, πρέπει να είναι απολύτως σαφές για να αποφευχθούν συγκρούσεις).

Τέλος, οι υπολογισμοί διανυσμάτων χρησιμοποιούνται για να δημιουργηθούν σαφείς διαδρομές, ή αλλιώς για να επικυρωθεί ότι η κατεύθυνση του βλέμματος του χρήστη είναι ήδη μια ασφαλής διαδρομή μέσω ή πέρα από ένα εμπόδιο.

Δοκιμές όπου το σύστημα αγνοεί την ορατότητα (αριστερά) και όπου η τροχιά επαναυπολογίζεται για να ληφθεί υπόψη η ορατότητα ως κρίσιμη για μια πτήση (δεξιά).

Δοκιμές

Για να δοκιμάσουν το σύστημα ελέγχου του drone με βάση το βλέμμα, οι Κινέζοι ερευνητές χρησιμοποίησαν μια σειρά από εθελοντές με μηδενική γνώση του συστήματος, και χωρίς εμπειρία στον έλεγχο της πτήσης του drone. Οι συμμετέχοντες απαιτήθηκαν να πλοηγηθούν σε εμπόδια σε κλειστά και εξωτερικά περιβάλλοντα με μόνο τρεις σύντομες διαδικασίες προσανατολισμού με τις οποίες να εξοικειωθούν με τη βασική λειτουργία του συστήματος.

Επιπλέον, μετά από ενημέρωση των εθελοντών σχετικά με τη βασική τοπολογία των εμποδίων, οι ερευνητές πρόσθεσαν ‘έκπληξη εμπόδια’ που δεν περιλαμβάνονταν στην ενημέρωση.

Πάνω, οι τροχιές του online quadrotor drone, χρωματισμένες ανά υψόμετρο. Κάτω, τα εμπόδια, αρχίζοντας από κουτιά και μεταβαίνοντας σε δαχτυλίδια.

Στην πράξη, το σύστημα ήταν σε θέση να διορθώσει αποτελεσματικά τα δεδομένα του βλέμματος ώστε τα drone που χρησιμοποιήθηκαν να μπορέσουν να περάσουν από (ή μέσα από) τα εμπόδια σε σχήμα δαχτυλιδιού και κουτιού χωρίς συγκρούσεις, και οι ερευνητές έχουν συμπεράνει ότι το σύστημά τους είναι και εύχρηστο και ασφαλές, με ένα υψηλό περιθώριο ασφαλείας στη λειτουργία.

Οι ερευνητές έχουν επίσης συγκρίνει την απόδοση της προσέγγισής τους με την αρχιτεκτονική FocusTrack στο Mavic Air 2 σύστημα, συμπεραίνοντας ότι υπερτερεί της τελευταίας με την khảότητα να μετρήσει και να ενεργήσει με βάση την ακριβή πρόθεση του χρήστη.

Η τεχνολογία παρακολούθησης του βλέμματος έχει ερευνηθεί εκτενώς σε πεδία όπως η συλλογή δεδομένων για αυτόνομα οχήματα για συστήματα machine learning-based SDV, και στην έρευνα για τα πρότυπα προσοχής των πιλότων, μεταξύ άλλων τομέων. Το Ιούλιο του τρέχοντος έτους, μια ερευνητική ομάδα από τη Βουλγαρία δημοσίευσε ευρήματα από παρατηρήσεις πιλότων Unmanned Aerial Vehicle (UAV) που καθόρισαν το στάδιο της προσγείωσης ως το πιο δύσκολο για τους αρχάριους.

Δείτε το επίσημο βίντεο των ερευνητών για το GPA, παρακάτω.