Lenkkien ohjaus suoran näön kautta

Tutkijat Kiinasta ovat kehittäneet uuden algoritmin, joka mahdollistaa lennokin lennon ohjaamisen suoraan käyttäjän näön tulkinnasta. Käytännössä ihmisoperaattori “muuttuu” lennokiksi ja ohjaa sen lentorataa käyttäjän katseensuuntaan perustuen.

Käyttäjän näkökulma näkyy alhaalla vasemmalla, ja lennokin lentorata on tallennettu ulkoisesti varjolaiteella. Katso video artikkelin lopusta täydellisestä liikkeestä. Lähde: https://www.youtube.com/watch?v=WYujLePQwB8

Artikkeli on nimeltään GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, ja se on peräisin Zhejiangin yliopiston Institute of Cyber-Systems and Control -tutkimuslaitoksesta ja Nanjingin teknillisen instituutin School of Automation -yksiköstä. Tutkijat ovat myös julkaisseet videon, jossa esitellään järjestelmän ominaisuuksia (katso artikkelin loppu).

Abstraktin ohjaus

Tutkijat pyrkivät poistamaan abstraktiokerroksen lennokin ohjaamisesta, väittäen, että toissijaiset ohjausyksiköt vaativat koulutusta ja ovat vain karkea abstraktio käyttäjän aikomuksesta, mikä johtaa ennustamattomaan ohjaamiseen ja ohjausliikkeiden väärään tulkintaan.

Aikaisempi artikkeli samoilta tutkijoilta korosti näköyhteyden merkitystä lennokin navigoinnissa, ja tämä työ on kehitys aiemman tutkimuksen tuloksista tästä tutkimuksesta.

Ylempi kuva: lennokin lentoradan komposiitti ‘hyökkäyskurssilla’ (katso lopun videot ulkoisista testeistä luonnollisessa avoimessa ympäristössä). Alhaalla: operaattori käyttää silmänseurantalaite, joka välittää suoran näön eteenpäin suunnatun kameran kautta (alhaalla oikealla). Lähde: https://arxiv.org/pdf/2109.04907.pdf

Algoritmi

GPA käyttää taustajärjestelmää, joka parantaa käyttäjän katseesta saatua tietoa turvalliseksi optimaaliseksi reitiksi, joka voidaan verrata ‘automaattiseen tähtäimiseen’ videopeleissä, käytännössä nolla viiveellä.

Lennokin alijärjestelmämoduulit on asennettu suoraan lennokiin, mukaan lukien tilan arvioimisen, suunnittelun, kartan ja ohjausmoduulit. Paikallinen järjestelmä vastaanottaa silmänseurantatiedot yksisilmäisestä yksiköstä, joka on asennettu pään ympärille, ja antaa alkuaineisen topologisen polun, jonka järjestelmän on puhdistettava lennossa.

Jotta etäohjaaja saisi yhtenäisen kokemuksen, lennokin laitekeskus keskittää automaattisesti mustavalkoisen näkymän, jonka käyttäjä vastaanottaa, eikä ilman tätä olisi helppoa tulkita uusia reitinmuutoksia (kuten katseensuunnan muutosta).

Järjestelmä hakee ensin arvioidut vektorigeometrian kuvavirrasta. Koska tutkijoiden järjestelmän vide.syöte on tällä hetkellä monokulaarinen, kameran syvyydenrajaa käytetään toiseen (syvyyden) vektoria, joka asetetaan 2D-vektoriin, joka on johdettu kuvasta. Teoriassa myöhemmät versiot voivat käyttää stereokameroita parantamaan tätä prosessia, vaikka on nähtävä, jättäisikö lisäprosessori kuormitus kokonaan 3D-havainnon hyödyt.

Milloin tahansa, kun 3D-arvot on saatu, laskenta käytetään lähtökohtana Leveyshaku (BFS):lle. Pikselit, jotka muuten olisivat poistettu BFS:stä (ts. pikselit, jotka on tunnistettu jo rajojen sisällä), käytetään ankkuripisteenä DBSCAN-klusteroinnille (jos ei jo klusteroitu), ja toimenpide palautuu BFS-arviointiin viimeisestä katkeamispisteestä.

GPA:n arkkitehtuuri.

Prosessi toistuu, kunnes objekti on tunnistettu ja merkitty reuna-arvoilla, jotka vastaavat näkökenttää (FOV – joka tässä tapauksessa on täysin selkeä välttääksesi törmäykset).

Lopulta vektolaskelmat käytetään selkeiden polkujen luomiseen tai validointiin, onko käyttäjän katseensuunta jo turvallinen reitti esteen läpi tai ohitse.

Testit, joissa järjestelmä ohittaa näkyvyyden (vasemmalla) ja joissa reitti lasketaan uudelleen näkyvyyden ollessa kriittinen lentoreitille (oikealla).

Testaus

Kiinalaiset tutkijat testasivat katseohjattua lennokin ohjausjärjestelmää käyttämällä vapaaehtoisia, joilla ei ollut aiempaa kokemusta järjestelmästä tai lennokin ohjaamisesta. Koehenkilöiden piti navigoida esteiden läpi suljetuissa ja ulkoisissa ympäristöissä vain kolmen lyhyen suuntaamisohjelman avulla, jotta he pääsivät tutustumaan järjestelmän perustoimintoihin.

Lisäksi, kun tutkijat olivat kertoneet vapaaehtoisten perustavasta esteiden topologiasta, he lisäsivät ‘yllätysesteitä’, joita ei ollut mainittu kertomuksessa.

Ylempi kuva: lennokin lentorata, väritettynä korkeuden mukaan. Alhaalla: navigoituva este, aloittaen laatikoista ja siirtymällä renkaisiin.

Käytännössä järjestelmä pystyi korjaamaan katseaineiston niin, että lennokit pystyivät ohittamaan (tai menemään läpi) renkaan ja laatikkomaiset esteet ilman törmäystä, ja tutkijat ovat päättäneet, että heidän järjestelmänsä on sekä intuitiivinen että turvallinen, ja siinä on suuri turvallisuusmargin operaation aikana.

Tutkijat vertasivat myös heidän lähestymistapansa suorituskykyä Mavic Air 2 -järjestelmän FocusTrack-arkkitehtuuriin, ja totesivat, että se ylittää jälkimmäisen kykyään arvioida ja reagoida tarkasti käyttäjän aikomuksiin.

Silmänseurantateknologiaa on tutkittu laajasti aloilla, kuten itseohjautuvien ajoneuvojen datakeräys koneoppimiseen perustuvissa SDV-järjestelmissä ja lentäjien huomion kiinnittämismallien tutkimuksessa, muun muassa. Viime kuussa bulgarialainen tutkimusryhmä julkaisi havaintoja siitä, että lennokin laskeutumisvaihe on haasteellisin aloitteleville oppijoille.

Katso tutkijoiden virallinen video GPA:sta alla.