การควบคุมโดรนผ่านการมองเห็นโดยตรง

นักวิจัยจากประเทศจีนได้พัฒนาแอลกอริทึมใหม่ที่สามารถควบคุมการบินของโดรนโดยการวิเคราะห์การมองเห็นของผู้ใช้โดยตรง โดยที่ผู้ควบคุม “กลายเป็น” โดรน และชี้แนวทางของโดรนตามทิศทางที่ผู้ใช้มองเห็น

มุมมองของผู้ใช้แสดงอยู่ด้านล่างซ้าย โดยเส้นทางการบินของโดรนถูกบันทึกจากอุปกรณ์เงา ดูวิดีโอที่สิ้นสุดของบทความสำหรับภาพเคลื่อนไหวเต็มรูปแบบ Source: https://www.youtube.com/watch?v=WYujLePQwB8

เอกสาร วิจัย มีชื่อเรื่องว่า GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation และมาจากนักวิจัยที่สถาบัน Cyber-Systems และ Control ของ Zhejiang University และ School of Automation ของ Nanjing Institute of Technology นักวิจัยเหล่านี้ได้เผยแพร่วิดีโอในวันนี้เพื่อแสดงความสามารถของระบบ (ดูสิ้นสุดของบทความ)

การควบคุมที่ล้ำกว่าการควบคุมแบบทั่วไป

นักวิจัยเหล่านี้พยายามที่จะลบเลเยอร์ของการควบคุมแบบทั่วไปสำหรับการควบคุมโดรน โดยให้เหตุผลว่าหน่วยควบคุมที่สองต้องการการฝึกอบรมและเป็นเพียงการสรุปที่ไม่สมบูรณ์ของความตั้งใจของผู้ใช้ ซึ่งนำไปสู่การบินแบบไม่คาดคิดและความผิดพลาดในการควบคุม

เอกสารวิจัยที่เผยแพร่ในต้นปีนี้จากนักวิจัยเดียวกัน เน้นย้ำถึงความสำคัญของการมองเห็นเส้นสายในการนำทางโดรน และงานวิจัยในปัจจุบันเป็นการพัฒนาต่อจากผลการวิจัยใน งานวิจัยนั้น

ด้านบน คือภาพรวมของเส้นทางการบินในห้องทดสอบ ‘หลักสูตรโจมตี’ (ดูวิดีโอที่สิ้นสุดของบทความสำหรับการทดสอบภายนอกในพื้นที่เปิดโล่ง) ด้านล่าง ผู้ควบคุมสวมอุปกรณ์ติดตามการมองเห็นซึ่งให้ภาพมุมมองโดยตรงของกล้องโดรน (ด้านล่างขวา) Source: https://arxiv.org/pdf/2109.04907.pdf

แอลกอริทึม

GPA ใช้เครื่องมือออปติมाइเซอร์แบบแบ็คเอนด์ ซึ่งปรับให้เหมาะสมกับการมองเห็นของผู้ใช้เพื่อให้ได้เส้นทางที่ปลอดภัยที่สุด โดยเทียบเท่ากับ ‘การมองเห็นแบบอัตโนมัติ’ ในเกมวิดีโอ โดยมีการหน่วงเวลาเกือบจะเป็นศูนย์ (ด้วยเหตุผลที่ชัดเจน)

โมดูลย่อยของระบบ UAV ติดตั้งโดยตรงบนโดรน รวมถึงสิ่งอำนวยความสะดวกสำหรับการประมาณการสถานะ การวางแผน การสร้างแผนที่ และการควบคุม โมดูลระบบท้องถิ่นรับข้อมูลการมองเห็นจากหน่วยเดียวที่ติดตั้งในอุปกรณ์สวมศีรษะของผู้ใช้ ซึ่งให้เส้นทางที่เริ่มต้นซึ่งระบบจะต้องทำความสะอาดในขณะเดียวกัน

เพื่อให้ได้ประสบการณ์ที่สอดคล้องกันสำหรับผู้ควบคุม远程 การมองเห็นแบบโมโนโครมที่ผู้ใช้รับจะถูกจัดให้ตรงกลางโดยระบบบนโดรน ไม่ใช่เพราะว่าหากไม่มีสิ่งนี้จะยากที่จะตีความการเปลี่ยนแปลงเส้นทางใหม่ (ตามที่บ่งบอกโดยการเปลี่ยนแปลงทิศทางการมองเห็น)

ระบบจะวิเคราะห์เวกเตอร์จากสตรีมภาพก่อน โดยที่ปัจจุบันระบบวิจัยใช้กล้องแบบโมโนคูลาร์ จึงใช้ขอบเขตการรับรู้ความลึกของกล้องเพื่อให้ได้เวกเตอร์ความลึก (depth) ที่สอง ซึ่งจะถูกบังคับให้เป็นเวกเตอร์ 2 มิติที่ได้มาจากภาพ ในทฤษฎีแล้ว การพัฒนาต่อๆ ไปอาจใช้กล้องสเตอริโอเพื่อปรับปรุงกระบวนการนี้ แม้ว่าจะยังไม่ชัดเจนว่าการเพิ่มการประมวลผลจะทำให้ประโยชน์ของการรับรู้ 3 มิติแบบฮาร์ดแวร์ยังคงอยู่หรือไม่

ในกรณีใดๆ โดยที่มีค่า 3 มิติแล้ว การคำนวณจะถูกใช้เป็นจุดเริ่มต้นสำหรับ การค้นหาแบบกว้าง (BFS) พิกเซลที่จะถูกละเว้นโดย BFS (เช่น พิกเซลที่ระบุว่าอยู่ภายในขอบเขตแล้ว) จะถูกใช้เป็นจุดยึดสำหรับ การคลัสเตอร์ DBSCAN (หากยังไม่ได้คลัสเตอร์) และรูทีนจะกลับไปที่การประเมิน BFS จากจุดหยุดก่อนหน้า

สถาปัตยกรรมของ GPA

กระบวนการจะทำซ้ำจนกว่าวัตถุจะถูกระบุและป้ายกำกับภายในพารามิเตอร์ที่สอดคล้องกับพื้นที่มองเห็น (FOV – ซึ่งในกรณีนี้ต้องชัดเจนอย่างสมบูรณ์ เพื่อหลีกเลี่ยงการชน)

สุดท้าย การคำนวณเวกเตอร์จะถูกใช้เพื่อสร้างเส้นทางที่ชัดเจน หรือเพื่อยืนยันว่าทิศทางการมองเห็นของผู้ใช้เป็นเส้นทางที่ปลอดภัยผ่านหรือผ่านอุปสรรค

การทดสอบที่ระบบเพิกเฉยต่อการมองเห็น (ซ้าย) และที่เส้นทางถูกคำนวณใหม่เพื่อพิจารณาการมองเห็นเป็นปัจจัยสำคัญในการบิน (ขวา)

การทดสอบ

ในการทดสอบระบบควบคุมโดรนด้วยการมองเห็น นักวิจัยจีนได้ใช้ผู้อาสาที่ไม่มีประสบการณ์ในการควบคุมโดรน และไม่มีการฝึกอบรมใดๆ ผู้เข้าร่วมจะต้องนำทางโดรนผ่านเส้นทางอุปสรรคในพื้นที่ปิดและพื้นที่ภายนอก โดยมีการแนะนำพื้นฐานเพียง 3 ครั้งในการเรียนรู้การทำงานพื้นฐานของระบบ

นอกจากนี้ หลังจากที่ผู้เข้าร่วมได้รับการแนะนำเกี่ยวกับพื้นฐานของอุปสรรค นักวิจัยได้เพิ่มอุปสรรคที่ไม่ได้ระบุไว้ในคำแนะนำด้วย

ด้านบน เส้นทางการบินของโดรนออนไลน์ สีตามความสูง ด้านล่าง อุปสรรคที่สามารถนำทางได้ เริ่มต้นจากกล่องและไปยังวงกลม

ในทางปฏิบัติ ระบบสามารถแก้ไขข้อมูลการมองเห็นของผู้ใช้ได้อย่างมีประสิทธิภาพ เพื่อให้โดรนที่ใช้ในทดสอบสามารถผ่านหรือผ่านอุปสรรคที่มีรูปทรงกล่องและวงกลมได้โดยไม่เกิดการชน และนักวิจัยได้สรุปว่าระบบของตนเป็นระบบที่มีความ直관และปลอดภัย โดยมีอัตราการรักษาความปลอดภัยสูงในการทำงาน

นักวิจัยยังเปรียบเทียบผลการทำงานของระบบกับระบบ FocusTrack ใน Mavic Air 2 และสรุปว่าระบบของตนสามารถทำงานได้ดีกว่าโดยสามารถวัดและดำเนินการตามความตั้งใจของผู้ใช้ได้อย่างแม่นยำ

เทคโนโลยีการติดตามการมองเห็นได้รับการวิจัยอย่างกว้างขวางในหลายสาขา เช่น การรวบรวมข้อมูลสำหรับระบบการขับขี่อัตโนมัติ และการวิจัยเกี่ยวกับรูปแบบการมองเห็นของผู้บิน เป็นต้น ในเดือนกรกฎาคมของปีนี้ ทีมวิจัยจากบัลแกเรียได้ เผยแพร่ ผลการวิจัยเกี่ยวกับการสังเกตผู้บินโดรนที่พบว่าขั้นตอนการลงจอดเป็นขั้นตอนที่ท้าทายที่สุดสำหรับผู้เริ่มต้น

ดูวิดีโออย่างเป็นทางการของนักวิจัยสำหรับ GPA ด้านล่าง