Dronų valdymas per tiesioginį matymą

Tyrėjai iš Kinijos sukūrė naują algoritmą, kuris gali įgalinti bepiločio skrydžio valdymą tiesiogiai interpretuojant vartotojo regėjimą. Žmogaus operatorius efektyviai „tampa“ dronu ir vadovauja jo trajektorijai pagal vartotojo žvilgsnio kryptį.

Naudotojo POV matomas apačioje kairėje, o drono skrydžio trajektoriją užfiksuoja išoriškai šešėlinis įrenginys. Žiūrėkite vaizdo įrašą straipsnio pabaigoje, kad pamatytumėte išplėstinę filmuotą medžiagą. Šaltinis: https://www.youtube.com/watch?v=WYujLePQwB8

Šios popierius vadinamas GPA-teleoperacija: patobulintas žvilgsnio suvokimas, saugus pagalbinis nuotolinis nuotolinis valdymas, ir gaunama iš Džedziango universiteto Kibernetinių sistemų ir valdymo instituto bei Nankino technologijos instituto Automatikos mokyklos mokslininkų. Šiandien mokslininkai taip pat išleido vaizdo įrašą, kuriame demonstruojamos sistemos galimybės (žr. straipsnio pabaigą).

Už abstrakčios kontrolės

Tyrėjai siekia pašalinti dronų valdymo abstrakcijos sluoksnį, teigdami, kad antrinius valdymo blokus reikia apmokyti ir jie yra tik apytikslė vartotojo ketinimų abstrakcija, dėl kurios atsiranda nenuspėjamas manevravimas ir klaidingai interpretuojami nukreipimo judesiai.

Anksčiau tais pačiais mokslininkais paskelbtame dokumente buvo pabrėžta matomumo tiesioginio matomumo svarba bepiločių orlaivių navigacijoje, o dabartinis darbas yra išvadų plėtojimas. kad tyrimai.

Aukščiau pateikta bepiločių orlaivių bandymų laboratorijos „užpuolimo kurso“ trajektorija (žr. vaizdo įrašo pabaigą, kaip atlikti išorinius bandymus natūralioje lauko aplinkoje). Apačioje operatorius nešioja akių sekiklį, kuris tiesiogiai mato kvadrotorinio drono priekinę kamerą (apačioje dešinėje). Šaltinis: https://arxiv.org/pdf/2109.04907.pdf

Algoritmas

GPA naudoja galinį optimizavimo įrankį, kuris patobulina vartotojo žvilgsnį į saugiausią optimalų kelią, kuris, be abejonės, prilygsta „automatiniam taikymui“ vaizdo žaidimuose, esant beveik nuliui delsai (dėl akivaizdžių priežasčių).

UAV posistemės moduliai montuojami tiesiai į droną, įskaitant būsenos įvertinimo, planavimo, žemėlapių sudarymo ir valdymo modulius. Vietinė sistema gauna žvilgsnio duomenis iš vienos akies įrenginio, galutinio vartotojo pritvirtinto prie galvos nešiojamų diržų, kurie pateikia pradinį topologinį kelią, kurį sistema turi išvalyti skrydžio metu.

Siekiant sukurti nuoseklią nuotolinio valdymo pulto patirtį, naudotojo gaunamą vienspalvį vaizdą automatiškai centruoja borto drono sistema, ypač todėl, kad be jos būtų sunku interpretuoti naujus numatomus maršruto nukrypimus (kaip rodo žvilgsnio krypties keitimas).

Sistema pirmiausia analizuoja apskaičiuotas vektorių koordinates iš vaizdo srauto. Kadangi tyrėjų sistemos vaizdo įvestis šiuo metu yra monokulinė, fotoaparato suvokimo gylio riba naudojama norint gauti antrąjį (gylio) vektorių, kuris uždedamas dvimačiam vektoriui, gautam iš vaizdo. Teoriškai vėlesnėse iteracijose būtų galima naudoti stereo kameras, kad pagerintų šį dujotiekį, tačiau dar reikia pamatyti, ar dėl papildomo apdorojimo išlaidų aparatinės įrangos 2D suvokimo pranašumai nepaliestų.

Bet kuriuo atveju, naudojant gautas 3D vertes, skaičiavimas naudojamas kaip a pradžia Pirmoji „Platumo“ paieška (BFS). Pikseliai, kurių kitu atveju būtų išvengta BFS (ty pikseliai, identifikuoti kaip jau ribose), naudojami kaip tvirtinimo taškas DBSCAN klasterizavimas (jei dar nėra sugrupuota), o rutina grįžta į BFS įvertinimą nuo paskutinio lūžio taško.

GPA architektūra.

Procesas kartojamas tol, kol objektas identifikuojamas ir pažymimas paraštės parametrais, atitinkančiais matymo lauką (FOV – kuris šiuo atveju turi būti visiškai aiškus, kad būtų išvengta susidūrimų).

Galiausiai vektorių skaičiavimai naudojami siekiant sukurti aiškius kelius arba patvirtinti, kad vartotojo žvilgsnio kryptis jau yra saugus kelias per kliūtį arba pro ją.

Bandymai, kai sistema nepaiso matomumo (kairėje) ir kai trajektorija perskaičiuojama, kad matomumas būtų svarbus skrydžio trajektorijai (dešinėje).

Testavimas

Norėdami išbandyti žvilgsniu pagrįstą bepiločių orlaivių valdymo sistemą, Kinijos mokslininkai panaudojo savanorių, neturinčių jokios žinios apie sistemą ir neturinčių bepiločio skrydžio valdymo patirties, seriją. Tiriamieji turėjo naršyti kliūčių ruožus uždaroje ir išorinėje aplinkoje, atlikdami tik tris trumpas orientavimosi procedūras, su kuriomis susipažino su pagrindine sistemos veikimu.

Be to, informavę savanorius apie pagrindinę kliūčių topologiją, mokslininkai pridėjo „staigmenų kliūtis“, kurios nebuvo įtrauktos į instruktažą.

Viršuje internetinio kvadrotorinio drono trajektorijos, nuspalvintos pagal aukštį. Žemiau pateikiamos laivybos kliūtys, pradedant dėžėmis ir pereinant prie žiedų.

Praktikoje sistema sugebėjo efektyviai pakoreguoti žvilgsnio duomenis taip, kad naudojami kosmoso kritiniai dronai galėtų prasilenkti pro žiedą ir dėžės formos kliūtis (arba per juos) be susidūrimo, o mokslininkai padarė išvadą, kad jų sistema yra tiek intuityvus ir saugus, turintis didelę eksploatacijos saugumo ribą.

Tyrėjai taip pat palygino savo požiūrį į FocusTrack architektūrą „Mavic Air 2“ sistema, darydama išvadą, kad ji pranoksta pastarąją, nes gali įvertinti ir veikti pagal tikslius vartotojo ketinimus.

Akių sekimo technologija buvo plačiai ištirta tokiose srityse kaip autonominių transporto priemonių duomenų rinkimas mašininiu mokymusi pagrįstoms SDV sistemoms ir pilotų dėmesio modelių tyrimai, be kitų sektorių. Šių metų liepos mėnesį tyrimų grupė iš Bulgarijos paskelbti Nepilotuojamų orlaivių (UAV) pilotų stebėjimų išvados, kurios nustatė, kad skrydžio tūpimo etapas yra pats sudėtingiausias pradedantiesiems besimokantiems.

Peržiūrėkite oficialų tyrėjų GPA vaizdo įrašą žemiau.