Ohjaamalla Dronia Suoraan Näkemisen Kautta

Kiinalaiset tutkijat ovat kehittäneet uuden algoritmin, joka mahdollistaa dronin lennon ohjaamisen tulkkaamalla suoraan käyttäjän näkemisen. Käytännössä, ihmisoperaattori “muuttuu” droneksi ja ohjaa sen lentorataa käyttäjän katseensuunnan mukaan.

Käyttäjän näkökulma näkyy alhaalla vasemmalla, ja dronin lentorata on tallennettu ulkoisesti varjolaiteella. Katso video artikkelin lopussa täydelliselle liikkeelle. Source: https://www.youtube.com/watch?v=WYujLePQwB8

Tutkimus on nimeltään GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, ja se on peräisin tutkijoilta Zhejiangin yliopiston Institute of Cyber-Systems and Control -yksiköstä ja Nanjing Institute of Technologyn School of Automation -yksiköstä. Tutkijat ovat myös julkaisseet videon, joka osoittaa järjestelmän ominaisuuksia (katso artikkelin loppu).

Abstraktin Ohjaamisen Tuolla Puolen

Tutkijat pyrkivät poistamaan abstraktiokerroksen dronin ohjaamisesta, väittäen, että toissijaiset ohjausyksiköt vaativat koulutusta ja ovat vain karkea abstraktio käyttäjän aikomuksesta, mikä johtaa ennustamattomaan ohjaamiseen ja ohjausliikkeiden väärään tulkintaan.

Aikaisempi tutkimus aiemmin tämän vuoden aikana, samoilta tutkijoilta, korosti näkemisen merkitystä dronin navigoinnissa, ja tämä työ on kehitys aiemman tutkimuksen löydöksistä tästä tutkimuksesta.

Ylhäällä, dronin testauslaboratorion ‘hyökkäysrata’ (katso lopputiedot ulkoisista testeistä luonnollisessa avoimessa ympäristössä). Alhaalla, operaattori käyttää silmänseurantalaite, joka välittää suoran näkymän quadrotor-dronen etukamerasta (alhaalla oikealla). Source: https://arxiv.org/pdf/2109.04907.pdf

Algoritmi

GPA käyttää taustajärjestelmää, joka parantaa käyttäjän katseesta turvallisen optimaalisen reitin, joka on verrattavissa ‘auto-aimiin’ videopelissä, käytännössä nolla viiveellä (selvistä syistä).

Dronin alijärjestelmämoduulit on asennettu suoraan droniin, mukaan lukien tilan arvioinnin, suunnittelun, kartan ja ohjausmoduulit. Paikallinen järjestelmä vastaanottaa silmänseurantatiedot yksittäisestä silmäyksiköstä, joka on kiinnitetty päässä pidettävään harnassiin, joka toimittaa alkuaineen topologisen polun, jonka järjestelmän on puhdistettava lennossa.

Jotta etäohjaaja voi luoda yhtenäisen kokemuksen, mustavalkoinen näkymä, jonka käyttäjä vastaanottaa, on automaattisesti keskitetty dronin laitteiston avulla, koska ilman tätä olisi vaikea tulkita uusia reitinmuutoksia (kuten katseensuunnan muutosta).

Järjestelmä parsii ensin arvioidut vektorikoordinaatit kuvavirrasta. Koska tutkijoiden järjestelmän videosyöte on tällä hetkellä monokromaattinen, kameran syvyyden havainnontarajoitus käytetään toiseen (syvyyden) vektoriin, joka asetetaan 2D-vektorille, joka on johdettu kuvasta. Teoriassa myöhemmät iteroinnit voivat käyttää stereokameroita parantamaan tätä prosessia, vaikka on nähtävä, jääkö lisäprosessorin kuormitus hyödyksi laitteiston perustuvasta 3D-havainnosta.

Joka tapauksessa, 3D-arvojen saadessa, laskelmaa käytetään lähtökohtana Breadth First Search (BFS):lle. Pikselit, jotka muuten olisivat poistettu BFS:llä (ts. pikselit, jotka on tunnistettu jo olevan rajojen sisällä), käytetään ankkuripisteenä DBSCAN-klusteroinnille (jos ei jo ryhmitelty), ja toimenpide palautuu BFS-arviointiin viimeisestä katkeamispisteestä.

GPA:n arkkitehtuuri.

Prosessi toistuu, kunnes objekti on tunnistettu ja merkitty reunaparametreihin, jotka vastaavat kentän näkemistä (FOV – joka tässä tapauksessa on ehdottoman selvä, jotta voidaan välttää törmäykset).

Lopulta, vektorilaskelmat käytetään selkeiden polkujen luomiseen tai muuten todistamaan, että käyttäjän katseensuunta on jo turvallinen polku esteen läpi tai sen ohi.

Testit, joissa järjestelmä ignoaa näkyvyyden (vasemmalla) ja joissa reitti lasketaan uudelleen ottaen näkyvyys huomioon lentoreitiksi (oikealla).

Testaus

Kiinalaiset tutkijat testasivat katseella ohjattavaa dronijärjestelmää käyttämällä joukkoa vapaaehtoisia, joilla ei ollut tietoa järjestelmästä eikä kokemusta dronin lennon ohjaamisesta. Koehenkilöiltä vaadittiin navigointi esteiden läpi suljetuissa ja ulkoisissa ympäristöissä vain kolmen lyhyen suuntaamisohjelman avulla, joiden avulla he pääsivät tuttuksi järjestelmän perustoiminnasta.

Lisäksi, kun tutkijat olivat kertoneet vapaaehtoisille esteiden perustopologian, tutkijat lisäsivät “yllätysesteitä”, joita ei ollut mainittu kertomuksessa.

Ylhäällä, online-quadrotor-dronin lentoradat, väritetty korkeuden mukaan. Alhaalla, navigoimattomat esteet, alkaen laatikoista ja siirtyen renkaisiin.

Käytännössä järjestelmä pystyi tehokkaasti korjaamaan katseentiedot, jotta droni pystyi ohittamaan (tai menemään läpi) rengas- ja laatikkomaiset esteet ilman törmäystä, ja tutkijat ovat päättäneet, että heidän järjestelmänsä on sekä intuitiivinen että turvallinen, ja siinä on suuri turvallisuusmargin operaation aikana.

Tutkijat ovat myös vertailleet heidän lähestymistapansa suorituskykyä Mavic Air 2 -järjestelmän FocusTrack-arkkitehtuuriin, ja päättäneet, että se ylittää jälkimmäisen kyvyssään arvioida ja toimia tarkasti käyttäjän aikomuksen mukaan.

Silmänseurantateknologiaa on tutkittu laajasti aloilla, kuten autonomisten ajoneuvojen datakeräys machine learning -pohjaisille SDV-järjestelmille, ja tutkimuksissa lentäjien huomion kiinnittymisestä, muun muassa. Heinäkuussa tänä vuonna bulgarialainen tutkimusryhmä julkaisi havaintoja, jotka osoittivat, että lentäjien laskeutumisvaihe on haasteellisin aloittelijoille.

Katso tutkijoiden virallinen video GPA:sta alla.

https://www.youtube.com/watch?v=WYujLePQwB8