NeRFocus: הבאת בקרת פוקוס קלת משקל לשדות קרינה עצבית

מחקר חדש מסין מציע שיטה להשגת בקרה זולה על אפקטים של עומק שדה עבור שדות קרינה עצבית (NeRF), המאפשרת למשתמש הסופי לשנות את הפוקוס ולשנות דינאמית את תצורת העדשה הווירטואלית במרחב ההדמיה.

שם הטכניקה NeRFocus, היא מיישמת גישה חדשה של ‘צילום עדשה דקה’ למעבר פוקוס, ומחדשת P-training, אסטרטגיית אימון תוך סיכון שמבטלת את הצורך במאגרי נתונים מיוחדים עבור עומק שדה, ומפשטת זרימת עבודה לאימון עם פוקוס.

המאמר כותרתו NeRFocus: שדות קרינה עצבית עבור ערפל סינתטי 3D, והוא מגיע מארבעה חוקרים מבית הספר לתואר שני של שנזן באוניברסיטת פקינג, וממעבדת פנג צ’נג בשנזן, מוסד ממשלתי ממומן על ידי ממשלת מחוז גואנגדונג.

טיפול במוקד הקשב ב-NeRF

אם NeRF הוא אי פעם לתפוס את מקומו כטכנולוגיה תומכת תקפה עבור מציאות וירטואלית ומוגברת, הוא זקוק לשיטה קלת משקל לאפשר הדמיה ריאליסטית ממוקדת, שבה רוב משאבי ההדמיה מרוכזים סביב מבט המשתמש, ולא מחולקים באופן שווה ברזולוציה נמוכה יותר בכל המרחב הוויזואלי הזמין.

מתוך המאמר Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, אנו רואים את מוקד הקשב בשיטה חדשה להדמיה ממוקדת עבור NeRF. מקור: https://arxiv.org/pdf/2103.16365.pdf

חלק אסנסיאלי מהאותנטיות של פריסות עתידיות של NeRF אגוצנטרי תהיה היכולת של המערכת לשקף את יכולת העין האנושית לשנות פוקוס לאורך מישור תצפית נסוג (ראו תמונה ראשונה למעלה).

גרדיאנט הפוקוס הוא גם מצביע תפיסתי של קנה המידה של הסצנה; הנוף ממסוק הטס מעל עיר יהיה עם אפס שדות פוקוס ניווטים, מכיוון שכל הסצנה קיימת מעבר ליכולת הפוקוס החיצונית ביותר של הצופה, בעוד שבדיקה של מיניאטורה או ‘שדה קרוב’ לא רק תאפשר ‘רכיבת פוקוס’, אלא גם צריכה, למען ריאליזם, להכיל שדה פוקוס צר באופן ברירת מחדל.

מתחת הוא סרטון המדגים את היכולות הראשוניות של NeRFocus, שסופק לנו על ידי מחבר המאמר:

מעבר למישורים מוגבלים

מודעים לדרישות לבקרת פוקוס, מספר פרויקטים NeRF בשנים האחרונות עשו הוראות עבורו, אם כי כל הניסיונות עד כה הם בעצם פתרונות עוקפים מסוג כלשהו, או שמחייבים פרוצדורות עיבוד ממושך שהופכות אותם לתרומות בלתי סבירות לסביבות זמן אמת המתוכננות בסופו של דבר עבור טכנולוגיות שדות קרינה עצבית.

בקרת פוקוס סינתטית במסגרות הדמיה עצבית ניסו בשיטות שונות בעבר 5-6 שנים – למשל, באמצעות שימוש ברשת סגמנטציה כדי להפריד את המידע הקדמי והאחורי, ואז לעמעם את הרקע באופן גנרי – פתרון נפוץ עבור אפקטים של פוקוס פשוטים.

מתוך המאמר ‘Automatic Portrait Segmentation for Image Stylization’, הפרדה מונדנית, בסגנון אנימציה, של מישורי פוקוס. מקור: https://jiaya.me/papers/portrait_eg16.pdf

ייצוגים רב-מישוריים מוסיפים מספר ‘תאי אנימציה’ וירטואליים לפרדיגמה זו, למשל, באמצעות שימוש בהערכת עומק כדי לחתוך את הסצנה לגרדיאנט מנותק אך ניתן לניהול של מישורי פוקוס נבדלים, ואז לתאם גרעינים תלויי עומק כדי לסנתז את הערפל.

בנוסף, ורלוונטי מאוד לסביבות AR/VR פוטנציאליות, הפער בין שתי נקודות המבט של הצופה יכול לשמש כעומק פרוקסי – שיטה שהוצעה על ידי Google Research ב-2015.

מתוך המאמר Fast Bilateral-Space Stereo for Synthetic Defocus, ההבדל בין שתי נקודות מבט מספק מפת עומק שיכול להקל על ערפל. אך גישה זו אינה אותנטית במצב המתואר למעלה, שבו התמונה צולמה בעדשה של 35-50mm, אך הערפל הקיצוני של הרקע היה מתרחש רק עם עדשה שעולה על 200mm, שיש לה מישור פוקוס מוגבל מאוד שיוצר שדה פוקוס צר בסביבות אנושיות רגילות

גישות מסוג זה נוטות להציג ארטיפקטים של קצוות, מכיוון שהן מנסות לייצג שני כדורים שונים ומוגבלים של פוקוס כגרדיאנט פוקוס רציף.

ב-2021 היוזמה RawNeRF הציעה תפקוטיות HDR, עם בקרה רבה יותר על מצבים של תאורה נמוכה, ונראה כי יש לה יכולת מרשימה לשנות פוקוס:

RawNeRF משנה פוקוס בצורה יפה (אם, במקרה זה, באופן בלתי אותנטי, בגלל מישורי פוקוס בלתי מציאותיים), אך זה בא עם עלות חישובית גבוהה. מקור: https://bmild.github.io/rawnerf/

אך RawNeRF דורש חישוב מוקדם מסובך עבור ייצוגיו הרב-מישוריים של NeRF המאומן, מה שתוצאתו זרימת עבודה שאינה יכולה להתאים בקלות ליישומים קלים יותר או בעלי השהיה נמוכה יותר של NeRF.

דמיון עדשה וירטואלית

NeRF עצמו מבוסס על מודל הצילום של נקודת ראות, שמוציא את כל הסצנה בחדות באופן דומה לסצנת CGI סטנדרטית (לפני הגישות השונות שמוסיפות ערפל כאפקט משני או תוצאה של עומק שדה).

NeRFocus יוצרת עדשה וירטואלית ‘דקה’ (לא ‘ללא זכוכית’), שחושבת את נתיב הקרן של כל פיקסל נכנס ומוציא אותו באופן ישיר, בעצם מהפכת תהליך הצילום הרגיל, שפועל פוסט פקטום על קלט אור שכבר הושפע מתכונות השבירה של עיצוב העדשה.

מודל זה מציג מגוון אפשרויות להדמיה תוכן בתוך הפרוסטום (המעגל הגדול ביותר של השפעה המוצג בתמונה למעלה).

חישוב הצבע והצפיפות הנכונים עבור כל רשת נוירונים (MLP) בטווח האפשרויות הרחב הזה הוא משימה נוספת. זה נפתר קודם על ידי יישום אימון מפוקח למספר גדול של תמונות DLSR, הכרוך ביצירת מאגרי נתונים נוספים עבור זרימת עבודה של אימון תוך סיכון – בעצם, דורש הכנה ואחסון של משאבים מחושבים רבים שעשויים להיות דרושים או לא.

NeRFocus עוקפת זאת על ידי P-training, שבו מאגרי האימון מיוצרים על בסיס פעולות ערפל בסיסיות. כך, המודל נוצר עם פעולות ערפל מובנות וניווט.

קוטר העדשה מוגדר לאפס במהלך האימון, והסתברויות מוגדרות מראש משמשות לבחירה אקראית של גרעין ערפל. קוטר זה משמש להגדלת קוטר כל החרוטים המרכיבים, ומאפשר ל-MLP לחזות בדיוק את הקרינה והצפיפות של הפרוסטום (המעגלים הרחבים בתמונות למעלה, המייצגים את אזור השינוי המרבי עבור כל פיקסל)

מחברי המאמר החדש מציינים כי NeRFocus הוא תואם באופן פוטנציאלי עם הגישה HDR-נהוגה של RawNeRF, שיכולה לעזור בהדמיה של חלקים אתגריים, כגון האורות המעורפלים הספקולריים, ורבים מהאפקטים המורכבים מבחינה חישובית, שהציבו אתגרים לזרימות עבודה של CGI במשך שלושים שנה או יותר.

התהליך אינו דורש דרישות נוספות לזמן ו/או פרמטרים בהשוואה לגישות קודמות כגון NeRF המרכזי וMip-NeRF (וככל הנראה Mip-NeRF 360, אם כי זה אינו מוזכר במאמר), והוא מתאים כהרחבה כללית למתודולוגיה המרכזית של שדות קרינה עצבית.

פורסם לראשונה ב-12 במרץ 2022.