İnsansız Hava Araçlarını Doğrudan Görme ile Kontrol Etme

Çin’den araştırmacılar, kullanıcı vizyonunu doğrudan yorumlayarak insansız hava aracı uçuşunu kontrol edebilen yeni bir algoritma geliştirdiler. Esasen, insan operatör “insansız hava aracı” olur ve kullanıcıların bakış yönüne bağlı olarak yolunu yönlendirir.

Kullanıcının POV’u sol altta görülmektedir, insansız hava aracının uçuş yolu dışarıdan bir gölge cihazı tarafından kaydedilmiştir. Makale sonunda video için genişletilmiş tam hareketli görüntüye bakın. Kaynak: https://www.youtube.com/watch?v=WYujLePQwB8

Makale GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation olarak adlandırılmaktadır ve Zhejiang Üniversitesi’ndeki Siber Sistemler ve Kontrol Enstitüsü’nden ve Nanjing Teknoloji Enstitüsü’ndeki Otomasyon Okulu’ndan araştırmacılardan gelmektedir. Araştırmacılar ayrıca sistemin yeteneklerini gösteren bir video yayınladılar (makale sonunda).

Soyut Kontrolün Ötesinde

Araştırmacılar, insansız hava aracı kontrolü için soyut kontrol katmanını kaldırmaya çalışıyorlar, ikincil kontrol birimlerinin eğitimi gerektirdiğini ve yalnızca kullanıcı niyetinin kaba bir soyutlaması olduğunu, bu nedenle öngörülemez manevra ve rehberlik hareketlerinin yanlış yorumlanmasına neden olduklarını savunuyorlar.

Yılın başlarında aynı araştırmacılardan bir makale, insansız hava aracı navigasyonunda görüş hattı görünürlüğünün önemini vurgulamış ve mevcut çalışma, bu araştırmanın bulgularının geliştirilmesidir.

Üstte, insansız hava aracı test laboratuvarı ‘saldırı kursu’ nun (dışarıda doğal açık hava ortamında yapılan exterior testler için son videolara bakın) traijektörisi. Altta, operatör bir göz izleyici takmaktadır ve bu, doğrudan insansız hava aracının ön kamerasının görüşünü beslemektedir (alt sağda). Kaynak: https://arxiv.org/pdf/2109.04907.pdf

Algoritma

GPA, kullanıcıların bakışlarını en güvenli optimal yola dönüştüren bir arka uç optimizatörü kullanır, bu da video oyunlarında “oto hedefleme”ye benzer ve pratik olarak sıfır gecikme ile çalışır.

İnsansız hava aracı alt sistem modülleri doğrudan insansız hava aracına yüklenmiştir ve bunlar durum tahmini, planlama, haritalama ve kontrol modüllerini içerir. Yerel sistem, operatör tarafından takılan bir göz izleme birimi tarafından sağlanan göz hareketi verilerini alır ve bu veriler, sistemin temizlemesi gereken bir başlangıç topolojik yol sağlar.

Uzaktan kumandayı kullanıcının deneyimini tutarlı hale getirmek için, kullanıcı tarafından alınan monokrom görüntüleri insansız hava aracının kendisi otomatik olarak merkezlemektedir, aksi takdirde yeni rotalama değişikliklerini yorumlamak zor olurdu (göz yönündeki değişikliklere bağlı olarak).

Sistem, önce görüntü akışından tahmini vektör koordinatlarını parse eder. Araştırmacıların sisteminin video girişi şu anda monoküler olduğu için, kameranın derinlik algılama sınırı, 2-B’den türetilen vektörü elde etmek için kullanılır. Teoride, sonraki iterasyonlar stereo kameraları kullanabilir, ancak bu pipeline’ı geliştirmek için ek işleme yükünün faydaları sağlamaya devam edip etmeyeceği henüz bilinmemektedir.

Her durumda, 3-B değerler elde edildikten sonra, bu değerler bir Genişlik Önceli Arama (BFS) için bir başlangıç olarak kullanılır. BFS tarafından atlanan pikseller (yani sınırlar içinde olan pikseller), DBSCAN kümeleme için bir ancor noktası olarak kullanılır (henüz kümelendirilmediyse) ve rutin, son kesme noktasından itibaren BFS değerlendirmesine döner.

GPA mimarisi.

Süreç, bir nesne belirlenip etiketlenene kadar devam eder, bu da görüş alanının (FOV – bu durumda kesinlikle açık olması gerekir, yoksa çarpışmalar oluşabilir) marj parametrelerine karşılık gelir.

Son olarak, vektör hesaplamaları, açık yollar oluşturmak veya kullanıcıların bakış yönünün zaten güvenli bir yol olduğunu doğrulamak için kullanılır.

Görünürlüğü göz ardı eden testler (solda) ve uçuş yolunu görünürlüğü kritik olarak dikkate alan testler (sağda).

Test

Bakış tabanlı insansız hava aracı kontrol sistemini test etmek için, Çinli araştırmacılar, sisteme hiçbir bilgisi olmayan ve insansız hava aracı uçuşu kontrol deneyimine sahip olmayan gönüllüleri kullandılar. Deneklere, yalnızca temel işleyiş hakkında üç kısa orientasyon rutini verildi.

Ayrıca, deneklere engellerin temel topolojisini açıkladıktan sonra, araştırmacılar briefinge dahil edilmeyen “surprise engelleri” eklediler.

Üstte, online insansız hava aracının yörüngeleri, yüksekliklerine göre renklendirilmiştir. Altta, navigasyon engelleri, kutulardan halkalara doğru ilerlemektedir.

Pratikte, sistem erfolgreich olarak göz verilerini düzeltti, böylece kullanılan uzay-kritik insansız hava araçları, halka ve kutu şeklindeki engellerden çarpışmadan geçebildi ve araştırmacılar, sistemlerinin hem sezgisel hem de güvenli olduğunu, işletmede yüksek bir güvenlik marjına sahip olduğunu sonucuna vardılar.

Araştırmacılar ayrıca, yaklaşımının Mavic Air 2 sistemindeki FocusTrack mimarisinin performansını karşılaştırdılar ve approachlarının daha iyi performans gösterdiğini, kullanıcıların kesin niyetini ölçme ve buna göre hareket etme yeteneğine sahip olduğunu belirlediler.

Göz izleme teknolojisi, otonom araçlar için makine öğrenimi tabanlı SDV sistemleri için veri toplama ve pilotların dikkat kalıpları üzerine araştırmalar gibi alanlarda kapsamlı bir şekilde araştırılmıştır. Bu yılın Temmuz ayında, Bulgaristan’dan bir araştırma ekibi, yayınladıkları bir çalışmada, acemi öğreniciler için uçuşun iniş aşamasının en zorlu aşama olduğunu belirlediler.

GPA için araştırmacıların resmi videosunu aşağıda izleyebilirsiniz.