ืจืืืืืืงื
ืฉืืืื ืืจืืคื ืื ืืจื ืจืืืื ืืฉืืจื
חוקרים מסין פיתחו אלגוריתם חדש שיכול לאפשר שליטה בטיסת רחפן על ידי פירוש ישיר של ראיית המשתמש. בפועל, המפעיל האנושי “הופך” לרחפן, ומנווט את מסלולו על בסיס כיוון המבט של המשתמש.
נקודת המבט של המשתמש נראית בתחתית שמאל, עם נתיב הטיסה של הרחפן שנתפס באופן חיצוני על ידי התקן צל. ראו וידאו בסוף המאמר לצפייה מלאה. Source: https://www.youtube.com/watch?v=WYujLePQwB8
המאמרа> נקרא GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation, והוא מגיע מחוקרים במכון למערכות סייבר ובקרה באוניברסיטת ג’ג’יאנג, ובית הספר לאוטומציה במכון הטכנולוגי נאנג’ינג. החוקרים גם הוציאו וידאו היום המדגים את יכולות המערכת (ראו סוף המאמר).
מעבר לשליטה מופשטת
החוקרים מנסים להסיר את שכבת ההפשטה לשליטה ברחפן, בטענה שיחידות בקרה משניות דורשות אימון והן רק הפשטה גסה של כוונת המשתמש, מה שמוביל לתמרון לא צפוי ולאינטרפרטציה שגויה של תנועות הנחיה.
מאמר קודם בשנה, מאותם חוקרים, הדגיש את חשיבות הנראות בקו הראייה בניווט רחפנים, והעבודה הנוכחית היא פיתוח של הממצאים ממחקר זה.
למעלה, קומפוזיציה של נתיב הטיסה של מעבדת הבדיקות ‘מסלול מכשולים’ (ראו סרטון בסוף לבדיקות חיצוניות בסביבה פתוחה). למטה, המפעיל לובש עקב עין המזין את הנתיב הישיר של מצלמת הרחפן (ימין למטה). Source: https://arxiv.org/pdf/2109.04907.pdf
אלגוריתם
GPA משתמש באופטימייזר אחורי שמסנן את הראייה של המשתמש לנתיב הבטוח האופטימלי, כמו ‘אוטו-כוונון’ במשחקי וידאו, עם השהייה כמעט אפסית (מסיבות ברורות).
המערכת המקומית מקבלת נתוני ראיית עין מיחידת עין בודדת המותקנת בחרפת ראש של המשתמש, המספקת נתיב טופולוגי ראשוני, אותו המערכת חייבת לטהר בזמן אמת.
כדי ליצור חוויה עקבית עבור הבקר הרחוק, הנתיב המונוכרומטי שהמשתמש מקבל הוא מרכז באופן אוטומטי על ידי מערכת הרחפן, לא פחות מכך, מבלי שזה יהיה קשה לפרש חריגות נתיב חדשות (כפי שמצביע על שינוי בכיוון המבט).
המערכת ראשונה פורשת קואורדינטות וקטור משוערות מזרם התמונות. מאחר שקלט הווידאו של מערכת החוקרים היא כרגע מונוקולרית, גבול העומק של המצלמה משמש לקבלת וקטור שני (עומק) שמוחל על הווקטור התלת-ממדי שנגזר מהתמונה. בתיאוריה, איטרציות מאוחרות יותר יכולות להשתמש במצלמות סטריאו לשיפור צינור זה, אם כי עדיין לא ברור אם העומס הנוסף של עיבוד ישאיר את היתרון של תפיסה תלת-ממדית מבוססת חומרה שלם.
בכל מקרה, עם הערכים התלת-ממדיים שהתקבלו, החישוב משמש כמקור לBreadth First Search (BFS). פיקסלים שהיו אחרת מושמטים על ידי BFS (כלומר פיקסלים שזוהו כבר בתוך גבולות) משמשים כנקודת עגינה לDBSCAN clustering (אם לא כבר מקובצים), והשגרה חוזרת ל-BFS מנקודת הפסק האחרונה.
הארכיטקטורה של GPA.
התהליך מתרחש עד שאובייקט מזוהה ומסומן בתוך פרמטרים של שדה ראייה (FOV – שבמקרה זה חייב להיות ברור לחלוטין כדי למנוע התנגשויות).
לבסוף, חישובי הווקטור משמשים ליצירת נתיבים ברורים, או לאימות שכיוון המבט של המשתמש כבר הוא נתיב בטוח דרך או עבר מכשול.
בדיקות שבהן המערכת מתעלמת מנראות (שמאל) ושבהן נתיב הטיסה מחושב מחדש כדי לקחת בחשבון נראות כקריטית לנתיב טיסה (ימין).
בדיקות
כדי לבדוק את מערכת השליטה ברחפן באמצעות מבט, החוקרים הסינים השתמשו בסדרה של מתנדבים עם אפס ידע בנוגע למערכת, וללא ניסיון בשליטה בטיסת רחפן. הנבדקים נדרשו לנווט מסלולי מכשולים בסביבות סגורות וחיצוניות עם רק שלושה תרגילי כיוונון קצרים כדי להיכרות עם הפעולה הבסיסית של המערכת.
בנוסף, לאחר שהדריכו את המתנדבים בנוגע לטופולוגיה הבסיסית של המכשולים, החוקרים הוסיפו ‘מכשולים מפתיעים’ שלא נכללו בהדרכה.
למעלה, נתיבי הטיסה של הרחפן, צבועים לפי גובה. למטה, המכשולים הניתנים לניווט, החל בקופסאות ועד לטבעות.
בפועל, המערכת הצליחה לתקן בהצלחה את נתוני המבט כך שהרחפנים הביקורתיים השתמשו בנתיבים שאיפשרו להם לעבור ליד (או דרך) המכשולים המעוצבים כטבעות וקופסאות ללא התנגשות, והחוקרים הסיקו שמערכתם היא שילוב של אינטואיטיביות ובטיחות, עם שולי בטיחות גבוהים בפעולה.
החוקרים גם השוו את ביצועיה של גישתם לארכיטקטורת FocusTrack במערכת Mavic Air 2, והסיקו שהיא עולה עליה ביכולתה למדוד ולפעול על כוונת המשתמש המדויקת.
טכנולוגיית עקב עין נחקרה בהרחבה בתחומים כגון איסוף נתונים לכלי רכב אוטונומיים למערכות SDV מבוססות למידת מכונה, ובמחקר על דפוסי קשב של טייסים, בין היתר. ביולי השנה, צוות מחקר מבולגריה פרסם ממצאים מתצפיות על טייסי רחפנים בלתי מאוישים (UAV) שקבעו את שלב הנחיתה של טיסה כאתגר הגדול ביותר עבור לומדים מתחילים.
ראו את הווידאו הרשמי של החוקרים ל-GPA, למטה.
https://www.youtube.com/watch?v=WYujLePQwB8
