NeRFocus: введення легкого контролю фокусу в нейронні поля радіанції

Нові дослідження з Китаю пропонують метод досягнення доступного контролю над ефектами глибини поля для нейронних полів радіанції (NeRF), що дозволяє кінцевому користувачеві регулювати фокус і динамічно змінювати конфігурацію віртуальної лінзи в просторі рендерингу.

Під назвою NeRFocus, ця техніка реалізує новий підхід «тонкої лінзової зйомки» для фокусної триверсії, і інновує P-навчання, ймовірнісну стратегію навчання, яка усуває потребу у спеціальних наборах даних для глибини поля, і спрощує робочий процес навчання з фокусом.

Стаття стаття називається NeRFocus: Нейронне поле радіанції для 3D синтетичного розфокусування, і походить від чотирьох дослідників із Шеньженської вищої школи у Пекінському університеті, і лабораторії Пенг Чен у Шеньжені, інституту, який фінансується урядом провінції Гуандун.

Розрахунок фокусної області уваги в NeRF

Якщо NeRF колись займе своє місце як валідна технологія для віртуальної та доповненої реальності, йому буде потрібно легкий метод досягнення реалістичного фокусної рендерингу, де більшість ресурсів рендерингу зосереджується навколо погляду користувача, а не розподіляється безрозрізньо на весь доступний візуальний простір.

З статті 2021 року Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, ми бачимо область уваги в новій схемі фокусної рендерингу для NeRF. Джерело: https://arxiv.org/pdf/2103.16365.pdf

Необхідною частиною автентичності майбутніх розгортань егocентричного NeRF буде здатність системи відбивати власну здатність людського ока перемикати фокус по віддаленій площині перспективи (див. перше зображення вище).

Ця градація фокусу також є перцептивним індикатором масштабу сцени; вигляд з гелікоптера, який літає над містом, не матиме жодних фокусних площин, оскільки вся сцена існує за межами зовнішньої фокусної здатності глядача, тоді як аналіз мініатюрної або «близької» сцени не тільки дозволить «фокус-рейкінг», але також повинен, заради реалізму, містити вузьку глибину поля за замовчуванням.

Нижче знаходиться відео, яке демонструє початкові можливості NeRFocus, надане нам відповідним автором:

Поза обмеженими фокусними площинами

Свідомі вимог контролю фокусу, низка проектів NeRF за останні роки зробила заходи для цього, хоча всі спроби на сьогодні є фактично трюками чи жорсткими пост-процесорними процедурами, які роблять їх малоймовірними внесками до реального часу середовищ, які в кінцевому підсумку передбачаються для технологій нейронних полів радіанції.

Синтетичний контроль фокусу в нейронних рендерингових рамках був здійснений різними методами за останні 5-6 років – наприклад, за допомогою сегментаційної мережі для відокремлення переднього і заднього плану даних, а потім для загального розфокусування заднього плану – поширений рішення для простих двопланових ефектів фокусу.

З статті ‘Automatic Portrait Segmentation for Image Stylization’, звичайне, анімаційне відокремлення фокусних площин. Джерело: https://jiaya.me/papers/portrait_eg16.pdf

Багатопланові представлення додають кілька віртуальних «анімаційних клітинок» до цього парадигми, наприклад, за допомогою оцінки глибини для розрізнення сцени на хопчасту, але керовану градацію фокусних площин, а потім оркестрування глибинозалежних ядер для синтезу розфокусування.

Крім того, і дуже актуально для потенційних середовищ AR/VR, розбіжність між двома точками зору стереокамерної установки може бути використана як заміна глибини – метод, запропонований дослідниками Google у 2015 році.

З статті Google Fast Bilateral-Space Stereo for Synthetic Defocus, різниця між двома точками зору надає карту глибини, яка може полегшити розфокусування. Однак цей підхід є неавтентичним у ситуації, розглянутій вище, де фото зроблено з об’єктивом 35-50 мм (стандарт SLR), але екстремальне розфокусування заднього плану трапляється лише з об’єктивом, що перевищує 200 мм, який має такий же обмежений фокусний площину, що створює вузьку глибину поля в нормальних, людських середовищах. Джерело

Підходи такого типу схильні демонструвати артефакти країв, оскільки вони намагаються представити два різних і обмежених сфери фокусу як безперервну фокусну градацію.

У 2021 році ініціатива RawNeRF запропонувала функціональність з високою динамічною діапазоном (HDR), з більшим контролем над низькими світловими умовами, і, як здається, вражаючою можливістю регулювати фокус:

RawNeRF регулює фокус красиво (хоча, в цьому випадку, неавтентично, через нереалістичні фокусні площини), але вимагає великих обчислювальних витрат. Джерело: https://bmild.github.io/rawnerf/

Однак, RawNeRF вимагає важкої попередньої обчислювальної обробки для своїх багатопланових представлень навчених NeRF, що призводить до робочого процесу, який не може бути легко адаптований до легших або низьколатентних реалізацій NeRF.

Моделювання віртуальної лінзи

Сам NeRF заснований на моделі зйомки через отвір, яка рендерить всю сцену різко у спосіб, подібний до стандартної сцени CGI (до різних підходів, які рендерять розфокусування як пост-процес або внутрішній ефект на основі глибини поля).

NeRFocus створює віртуальну «тонку лінзу» (а не «безскляну» апертурну діафрагму), яка обчислює шлях проміння кожного входного пікселя і рендерить його безпосередньо, фактично інвертуючи стандартний процес захоплення зображення, який працює пост-факто на світловому вході, який вже був під впливом рефрактивних властивостей лінзового дизайну.

Ця модель вводить ряд можливостей для рендерингу контенту всередині фрустума (найбільшого кола впливу, зображеного на зображенні вище).

Обчислення правильного кольору і густини для кожного багатошарового перцептрону (MLP) у цьому розширеному діапазоні можливостей є додатковим завданням. Це було вирішено раніше шляхом застосування нагляду за навчанням до великої кількості зображень DLSR, що передбачає створення додаткових наборів даних для ймовірнісного робочого процесу навчання – фактично включаючи трудомістку підготовку і зберігання декількох можливих обчислених ресурсів, які можуть або не можуть бути потрібні.

NeRFocus подолує це шляхом P-навчання, де навчальні набори даних створюються на основі базових операцій розфокусування. Таким чином, модель формується з розфокусуванням, яке є вбудованим і доступним.

Діаметр апертурної діафрагми встановлюється на нуль під час навчання, і використовуються попередньо визначені ймовірності для вибору розфокусувального ядра випадково. Цей отриманий діаметр використовується для масштабування кожної складової конусної діафрагми, що дозволяє MLP точно передбачити радіанцію і густину фрустумів (широких кіл на зображенні вище, які представляють максимальну зону перетворення для кожного пікселя)

Автори нової статті спостерігають, що NeRFocus потенційно сумісний з HDR-орієнтованим підходом RawNeRF, який міг би потенційно допомогти у рендерингу деяких складних секцій, таких як розфокусовані спекулярні блиски, і багатьох інших обчислень, які викликали складності у робочих процесах CGI протягом тридцяти чи більше років.

Процес не потребує додаткових вимог до часу і/або параметрів у порівнянні з попередніми підходами, такими як основний NeRF і Mip-NeRF (і, як передбачається, Mip-NeRF 360, хоча це не розглядається в статті), і застосовується як загальне розширення центральної методології нейронних полів радіанції. Перше опубліковано 12 березня 2022 року.