Steuerung von Drohnen durch direkte Sicht

Forscher aus China haben einen neuen Algorithmus entwickelt, der es ermöglicht, die Flugbahn einer Drohne durch direkte Interpretation der Sicht des Benutzers zu steuern. Effektiv “wird” der menschliche Operator zur Drohne und lenkt ihre Flugbahn basierend auf der Blickrichtung des Benutzers.

Die Sicht des Benutzers ist unten links zu sehen, mit der Flugbahn der Drohne, die extern von einem Schatten-Gerät aufgezeichnet wird. Siehe Video am Ende des Artikels für die vollständige Bewegung. Quelle: https://www.youtube.com/watch?v=WYujLePQwB8

Die Studie heißt GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation und stammt von Forschern am Institute of Cyber-Systems and Control der Zhejiang-Universität und der School of Automation am Nanjing Institute of Technology. Die Forscher haben auch ein Video veröffentlicht, das die Fähigkeiten des Systems demonstriert (siehe Ende des Artikels).

Jenseits der abstrakten Steuerung

Die Forscher versuchen, die Schicht der Abstraktion für die Drohnensteuerung zu entfernen, da sie argumentieren, dass sekundäre Steuerungseinheiten eine Schulung erfordern und nur eine grobe Abstraktion der Absicht des Benutzers sind, was zu unvorhersehbaren Manövern und Fehlinterpretationen der Steuerungsbewegungen führt.

Ein früherer Artikel im Laufe des Jahres, von denselben Forschern, betonte die Bedeutung der Sichtbarkeit in der Drohnen-Navigation und die aktuelle Arbeit ist eine Entwicklung der Ergebnisse aus dieser Forschung.

Oben, eine Zusammensetzung der Traektorie des Drohnen-Testlabors ‘Hindernisparcours’ (siehe Endvideo für externe Tests in einer natürlichen Umgebung). Unten, der Bediener trägt einen Blick-Tracker, der die direkte Sicht der Vorwärtskamera der Quadrocopter-Drohne (unten rechts) überträgt. Quelle: https://arxiv.org/pdf/2109.04907.pdf

Algorithmus

GPA verwendet einen Back-End-Optimizer, der den Blick des Benutzers in den sichersten optimalen Pfad verfeinert, ähnlich wie “Auto-Zielen” in Videospielen, bei praktisch Null-Latenz (aus offensichtlichen Gründen).

Die UAV-Subsystem-Module sind direkt in die Drohne integriert, einschließlich Einrichtungen für Zustandsschätzung, Planung, Kartierung und Steuerung. Das lokale System erhält Blick-Daten von einer Ein-Augen-Einheit, die in einem Kopf-Träger vom Endbenutzer getragen wird, der anfänglich eine topologische Pfadangabe liefert, die das System online bereinigen muss.

Um dem Fernbediener ein kohärentes Erlebnis zu bieten, wird die monochrome Ansicht, die der Benutzer erhält, automatisch vom Bord-System der Drohne zentriert, nicht zuletzt, weil es ohne dies schwierig wäre, neue beabsichtigte Abweichungen der Route (wie durch eine Änderung der Blickrichtung angezeigt) zu interpretieren.

Das System analysiert zunächst geschätzte Vektor-Koordinaten aus dem Bildstrom. Da die Video-Eingabe des Systems der Forscher derzeit monokular ist, wird die Tiefen-Wahrnehmungsgrenze der Kamera verwendet, um einen zweiten (Tiefen-)Vektor zu erhalten, der auf den 2-D-Vektor übertragen wird, der aus dem Bild abgeleitet wird. Theoretisch könnten spätere Iterationen Stereo-Kameras verwenden, um diese Pipeline zu verbessern, obwohl es noch zu sehen ist, ob der zusätzliche Verarbeitungs-Overhead den Vorteil der hardware-basierten 3D-Wahrnehmung intakt lässt.

Auf jeden Fall werden mit den erhaltenen 3D-Werten die Berechnungen als Ursprung für eine Breadth-First-Search (BFS) verwendet. Pixel, die normalerweise durch BFS ausgeschlossen würden (d. h. Pixel, die als bereits innerhalb der Grenzen identifiziert werden), werden als Ankerpunkt für DBSCAN-Clustering (wenn nicht bereits gruppiert) verwendet, und die Routine kehrt zur BFS-Bewertung vom letzten Break-Point zurück.

Die Architektur von GPA.

Der Prozess wird wiederholt, bis ein Objekt innerhalb von Randparametern identifiziert und beschriftet wird, die einem Sichtfeld (FOV – das in diesem Fall absolut klar sein muss, um Kollisionen zu vermeiden) entsprechen.

Schließlich werden die Vektor-Berechnungen verwendet, um klare Pfade zu generieren oder um zu überprüfen, ob die Blickrichtung des Benutzers bereits ein sicherer Pfad durch oder vorbei an einem Hindernis ist.

Tests, bei denen das System die Sichtbarkeit ignoriert (links) und bei denen die Traektorie neu berechnet wird, um die Sichtbarkeit als kritisch für die Flugbahn zu berücksichtigen (rechts).

Testen

Um das gaze-basierte Drohnen-Steuerungssystem zu testen, verwendeten die chinesischen Forscher eine Reihe von Freiwilligen mit keiner Kenntnis des Systems und ohne Erfahrung in der Steuerung von Drohnen-Flügen. Die Probanden wurden aufgefordert, Hindernisparcours in geschlossenen und äußeren Umgebungen zu navigieren, mit nur drei kurzen Schulungsroutinen, um sich mit der grundlegenden Bedienung des Systems vertraut zu machen.

Zusätzlich wurden den Freiwilligen die grundlegende Topologie der Hindernisse erklärt, und die Forscher fügten “Überraschungshindernisse” hinzu, die nicht in der Schulung enthalten waren.

Oben, die Traektorien der Online-Quadrocopter-Drohne, farblich nach Höhe sortiert. Unten, die navigierbaren Hindernisse, beginnend mit Boxen und fortschreitend zu Ringen.

In der Praxis konnte das System die Blick-Daten effektiv korrigieren, so dass die space-kritischen Drohnen, die verwendet wurden, an (oder durch) die ring- und boxförmigen Hindernisse vorbeifliegen konnten, ohne zu kollidieren, und die Forscher haben festgestellt, dass ihr System sowohl intuitiv als auch sicher ist, mit einer hohen Sicherheitsmarge bei der Bedienung.

Die Forscher verglichen auch die Leistung ihres Ansatzes mit der FocusTrack-Architektur im Mavic Air 2-System und kamen zu dem Schluss, dass es letzteres übertrifft, indem es präzise die Absicht des Benutzers ermittelt und darauf reagiert.

Blick-Tracking-Technologie wurde umfassend in Bereichen wie autonomer Fahrzeugdatenerfassung für maschinelles Lernen-basierte SDV-Systeme und in Forschungen zu den Aufmerksamkeitsmustern von Piloten erforscht, unter anderem. Im Juli dieses Jahres veröffentlichte ein Forscherteam aus Bulgarien Ergebnisse von Beobachtungen von unbemannten Luftfahrzeug-Piloten, die die Landephase eines Fluges als die herausforderndste für Anfänger etablierten.

Schauen Sie sich das offizielle Video der Forscher für GPA an, unten.