Upravljanje dronov z neposrednim vidom

Raziskovalci iz Kitajske so razvili nov algoritem, ki lahko omogoči nadzor letenja drona z neposredno interpretacijo vida uporabnika. Učinkovito človeški operater 'postane' dron in vodi njegovo pot glede na smer uporabnikovega pogleda.

Uporabnikov POV je viden spodaj levo, pot leta brezpilotnega letala pa je zajeta od zunaj s senčno napravo. Oglejte si videoposnetek na koncu članka za podaljšan posnetek v polnem gibanju. Vir: https://www.youtube.com/watch?v=WYujLePQwB8

O papirja je poklican GPA-teleoperacija: varno in pomožno zračno daljinsko upravljanje z izboljšano zaznavo pogleda, in prihaja od raziskovalcev na Inštitutu za kibernetske sisteme in nadzor na Univerzi Zhejiang in Šoli za avtomatizacijo na Inštitutu za tehnologijo Nanjing. Raziskovalci so danes objavili tudi video, ki prikazuje zmogljivosti sistema (glej konec članka).

Onstran abstraktnega nadzora

Raziskovalci skušajo odstraniti plast abstrakcije za nadzor drona, pri čemer trdijo, da sekundarne krmilne enote zahtevajo usposabljanje in so le groba abstrakcija uporabnikovega namena, kar vodi do nepredvidljivega manevriranja in napačne interpretacije gibov vodenja.

Prispevek istih raziskovalcev v začetku leta je poudaril pomen vidne črte pri navigaciji z droni, trenutno delo pa je razvoj ugotovitev iz te raziskave.

Zgoraj sestavljena tirnica 'jurišnega tečaja' laboratorija za testiranje dronov (oglejte si končni videoposnetek za zunanje preizkuse v naravnem okolju na prostem). Spodaj ima operater na sebi napravo za sledenje očem, ki se napaja skozi neposreden pogled prednje kamere kvadrotornega drona (spodaj desno). Vir: https://arxiv.org/pdf/2109.04907.pdf

Algoritem

GPA uporablja zaledni optimizator, ki izpopolni pogled uporabnika na najvarnejšo optimalno pot, kar je verjetno enakovredno "samodejnemu ciljanju" v video igrah, pri praktično ničelni zakasnitvi (iz očitnih razlogov).

Moduli podsistema UAV so nameščeni neposredno v dron, vključno z napravami za oceno stanja, načrtovanje, kartiranje in nadzorne module. Lokalni sistem prejme podatke o pogledu v oči iz enote z enim očesom, ki jo končni uporabnik namesti v naglavni pas, ki zagotavlja začetno topološko pot, ki jo mora sistem sproti sanirati.

Da bi ustvarili skladno izkušnjo za daljinskega upravljalnika, je enobarvni pogled, ki ga prejme uporabnik, samodejno centriran s sistemom brezpilotnega letala, nenazadnje zato, ker bi bilo brez tega težko interpretirati nova predvidena odstopanja od poti (kot je prikazano z sprememba smeri pogleda).

Sistem najprej razčleni ocenjene vektorske koordinate iz toka slike. Ker je video vhod sistema raziskovalcev trenutno monokularen, se meja globine zaznavanja kamere uporablja za pridobitev drugega (globinskega) vektorja, ki je naložen na 2-D vektor, izpeljan iz slike. Teoretično bi poznejše iteracije lahko uporabile stereo kamere za izboljšanje tega cevovoda, čeprav je treba še videti, ali bi dodatni stroški obdelave pustili prednost 3D-zaznavanja, ki temelji na strojni opremi, nedotaknjeno.

V vsakem primeru se pri dobljenih 3D vrednostih izračun uporabi kot izvor za a Širina prvo iskanje (BFS). Slikovne pike, ki bi jih BFS sicer preprečil (tj. slikovne pike, ki so že znotraj meja), se uporabljajo kot sidrišče za DBSCAN združevanje v gruče (če še ni v gruči) in rutina se vrne na vrednotenje BFS od zadnje prekinitvene točke.

Arhitektura GPA.

Postopek se ponavlja, dokler predmet ni identificiran in označen znotraj parametrov roba, ki ustrezajo vidnemu polju (FOV – ki mora biti v tem primeru popolnoma jasno, da se izognemo trkom).

Končno se vektorski izračuni uporabljajo za ustvarjanje jasnih poti ali za potrditev, da je smer uporabnikovega pogleda že varna pot skozi oviro ali mimo nje.

Preizkusi, pri katerih sistem ignorira vidljivost (levo) in kjer se tirnica znova izračuna tako, da se vidljivost obravnava kot kritična za pot leta (desno).

Testiranje

Za testiranje sistema za nadzor brezpilotnih letal, ki temelji na pogledu, so kitajski raziskovalci uporabili vrsto prostovoljcev brez znanja o sistemu in brez izkušenj z nadzorom letenja brezpilotnih letal. Preiskovanci so morali premagati proge z ovirami v zaprtih in zunanjih okoljih s samo tremi kratkimi orientacijskimi rutinami, s katerimi so se seznanili z osnovnim delovanjem sistema.

Poleg tega so raziskovalci, potem ko so prostovoljce seznanili z osnovno topologijo ovir, dodali 'ovire presenečenja', ki niso bile vključene v seznanitev.

Zgoraj trajektorije spletnega drona quadrotor, obarvane po višini. Spodaj so plovne ovire, ki se začnejo s škatlami in nadaljujejo z obroči.

V praksi je sistemu uspelo učinkovito popraviti podatke o pogledu, tako da so uporabljeni brezpilotni letalniki, ki so kritični za vesolje, lahko šli mimo (ali skozi) obročaste in škatlaste ovire brez trčenja, raziskovalci pa so ugotovili, da je njihov sistem oboje intuitiven in varen, z visoko mejo varnosti pri delovanju.

Raziskovalci so primerjali tudi uspešnost svojega pristopa z arhitekturo FocusTrack v mavic air 2 sistem, pri čemer je ugotovil, da je boljši od slednjega, ker je sposoben izmeriti in ukrepati glede na natančen namen uporabnika.

Tehnologija sledenja očem je bila med drugim obsežno raziskana na področjih, kot je avtonomno zbiranje podatkov o vozilih za sisteme SDV, ki temeljijo na strojnem učenju, in v raziskavah vzorcev pozornosti pilotov. Julija letos je raziskovalna skupina iz Bolgarije objavljeno ugotovitve iz opazovanj pilotov brezpilotnih letal (UAV), ki so ugotovili, da je pristajalna faza leta najzahtevnejša za učence začetnike.

Spodaj si oglejte uradni videoposnetek raziskovalcev za GPA.