NeRF: אימון רחפנים בסביבות קרינה עצבית

חוקרים מאוניברסיטת סטנפורד המציאו דרך חדשה לאמוד רחפנים לנווט בסביבות פוטוריאליסטיות ומדויקות מאוד, על ידי ניצול העניין האחרון בקרינה העצבית (NeRF).

רחפנים יכולים להתאמן בסביבות וירטואליות שממופות ישירות ממיקומים בחיים, ללא צורך בשחזור תמונה מיוחדת. בתמונה זו מהפרויקט, הוסף הפרעת רוח כמחסום פוטנציאלי עבור הרחפן, ואנו יכולים לראות את הרחפן מוסט לרגע מהמסלול שלו ומתקן ברגע האחרון כדי להימנע ממחסום פוטנציאלי. מקור: https://mikh3x4.github.io/nerf-navigation/

השיטה מציעה אפשרות לאימון אינטראקטיבי של רחפנים (או סוגים אחרים של אובייקטים) בתרחישים וירטואליים שכוללים אוטומטית מידע על נפח (לחישוב מניעת התנגשות), טקסטורה המושכת ישירות מתמונות בחיים (לעזור לרשתות זיהוי תמונה של הרחפנים להתאמן בצורה יותר ריאליסטית), ותאורה בעולם האמיתי (להבטיח מגוון רחב של תרחישי תאורה מאומנים ברשת, ולמנוע עידוד יתר או אופטימיזציה יתר של הצילום המקורי של הסצנה).

אובייקט כורסא נוהג בסביבה וירטואלית מורכבת שהייתה קשה מאוד למפות באמצעות לכידת גאומטריה ואריגה מחדש בתהליכים מסורתיים של AR/VR, אך שוחזרה אוטומטית ב-NeRF ממספר מוגבל של תמונות. מקור: https://www.youtube.com/watch?v=5JjWpv9BaaE

יישומים טיפוסיים של NeRF אינם כוללים מנגנוני מסלול, מאחר שרוב הפרויקטים של NeRF ב-18 החודשים האחרונים התרכזו באתגרים אחרים, כגון תאורה מחדש של סצנה, הצגת החזר, הרכבה וניתוק של אלמנטים שנלכדו. לפיכך, החידוש העיקרי של המאמר החדש הוא ליישם סביבת NeRF כחלל ניווטי, ללא הציוד הנרחב וההליכים העמליים שהיו נחוצים לדגמה כסביבה תלת-ממדית על בסיס לכידת חיישנים ושחזור CGI.

NeRF כ-VR/AR

המאמר החדש המאמר נקרא ניווט רובוטי רק ראייה בעולם קרינה עצבית, והוא שיתוף פעולה בין שלוש מחלקות באוניברסיטת סטנפורד: אווירונאוטיקה ואסטרונאוטיקה, הנדסת מכונות, ומדעי המחשב.

העבודה מציעה כלי ניווט שמספק לרובוט סביבת NeRF מוכשרת מראש, שצפיפות הנפח שלה מגבילה את המסלולים האפשריים עבור ההתקן. היא כוללת גם מסנן להעריך היכן הרובוט נמצא בתוך הסביבה הווירטואלית, על בסיס זיהוי תמונה של מצלמת RGB המותקנת על הרובוט. בדרך זו, רחפן או רובוט מסוגל ל”הזות” בצורה יותר מדויקת מה הוא יכול לצפות בסביבה נתונה.

האופטימייזר של המסלול בפרויקט נוהג דרך מודל NeRF של סטונהנג’ שנוצר דרך פוטוגרמטריה ופרשנות תמונה (במקרה זה, של מודלים רשתיים) לתוך סביבת קרינה עצבית. התכנן המסלול מחשב מספר רב של מסלולים אפשריים לפני שהוא קובע מסלול אופטימלי מעל הקשת.

מכיוון שסביבת NeRF כוללת הסתרות מודליות באופן מלא, הרחפן יכול ללמוד לחשב מחסומים בקלות יותר, מאחר שרשת העצבים מאחורי NeRF יכולה למפות את היחס בין ההסתרות לדרך שבה מערכות הניווט הוויזואליות של הרחפן תופסות את הסביבה. צינור הייצור האוטומטי של NeRF מציע שיטה יחסית פשוטה ליצירת חללי אימון היפר-ריאליסטיים עם רק מספר תמונות.

הקו המתוכנן מחדש באופן מקוון שפותח עבור הפרויקט של סטנפורד מאפשר צינור ניווט עמיד ובסיס ויזואלי לחלוטין.

יוזמת סטנפורד היא בין הראשונות ששוקלות את האפשרויות של חקירת חלל NeRF בהקשר של סביבה ניווטית ווירטואלית. שדות קרינה עצבית הם טכנולוגיה מתפתחת, וכרגע נתונים למאמצים אקדמיים רבים לאופטימיזציה של דרישות משאבי חישוב גבוהות, כמו גם לניתוק אלמנטים שנלכדו.

https://www.youtube.com/watch?v=5JjWpv9BaaE

NeRF אינו (באמת) CGI

מכיוון שסביבת NeRF היא סצנה תלת-ממדית ניווטית, היא הפכה לטכנולוגיה מוטעית מאז הופעתה ב-2020, לעיתים קרובות נתפסת כשיטה לאוטומציה של יצירת רשתות וטקסטורות, במקום להחליף סביבות תלת-ממדיות המוכרות לצופים ממחלקות אפקטים ויזואליים של הוליווד והסצנות הפנטסטיות של סביבות מציאות מדומה ומציאות וירטואלית.

NeRF מוציא מידע גאומטרי וטקסטורה ממספר מוגבל של נקודות מבט, ומחשב את ההבדל בין תמונות כמידע נפחי. מקור: https://www.matthewtancik.com/nerf

בעצם, סביבת NeRF היא יותר כמו “חלל רינדרינג” חי, שבו עירוב של מידע פיקסל ותאורה נשמר וניווט ברשת עצבית פעילה ורצה.

המפתח לפוטנציאל של NeRF הוא שהוא דורש רק מספר מוגבל של תמונות כדי לשחזר סביבות, ושהסביבות המיוצרות מכילות את כל המידע הנחוץ לשחזור באיכות גבוהה, ללא צורך בשירותיהם של מודלרים, אמני טקסטורה, מומחי תאורה ושאר התורמים ל-CGI “מסורתי”.

סגמנטציה סמנטית

אפילו אם NeRF מהווה בעצם “תמונה מונפשת ממוחשב” (CGI), הוא מציע שיטה שונה לחלוטין, וצינור אוטומטי מאוד. בנוסף, NeRF יכול לבודד ו”להכלא” חלקים ניידים של סצנה, כך שניתן יהיה להוסיף, להסיר, להאיץ ולהפעיל אותם כיחידות נפרדות בסביבה וירטואלית – יכולת שהיא מעבר למצב הנוכחי של CGI בפרשנות “הוליווד”.

שיתוף פעולה מאוניברסיטת Shanghai Tech, שפורסם בקיץ 2021, מציע שיטה להפריד אלמנטים ניידים של NeRF לפסיעות “ניתנות להדבקה” לסצנה. מקור: https://www.youtube.com/watch?v=Wp4HfOwFGP4

שלילית, הארכיטקטורה של NeRF היא מעין “קופסאות שחורות”; כרגע, אין אפשרות להוציא אובייקט מסביבת NeRF ולהתערב בו ישירות עם כלים מסורתיים המבוססים רשתות ותמונות, אם כי מאמצי מחקר רבים מתחילים לחדור את המטריצה מאחורי סביבות הרינדרינג החיות של NeRF.