Повторне освітлення полів нейронного випромінювання за допомогою будь-якої карти середовища

A новий папір з Інституту Макса Планка та MIT запропонував методику отримання правди розплутування нейронних полів випромінювання (NeRF) вміст від освітлення, яке було присутнє під час збору даних, дозволяючи спеціальний карти середовища, щоб повністю вимкнути освітлення в сцені NeRF:

Нова методика застосована до реальні дані. Примітно, що метод працює навіть з архівними даними такого типу, які не враховували новий конвеєр під час захоплення даних. Незважаючи на це, забезпечується реалістичне та задане користувачем керування освітленням. Джерело: https://arxiv.org/pdf/2207.13607.pdf

Новий підхід використовує популярну програму 3D-анімації з відкритим кодом Blender для створення «віртуальної світлової сцени», де численні ітерації можливих сценаріїв освітлення візуалізуються та, зрештою, навчаються в спеціальному шарі в моделі NeRF, який може вмістити будь-яку карту середовища, яку користувач хоче використати для освітлення сцени.

Зображення частини конвеєра, яка використовує Blender для створення віртуальних світлих сценічних зображень витягнутої геометрії. Попередні методи, які слідували подібним лініям, використовували фактичні освітлювальні сцени для надання цих даних, що є обтяжливою вимогою для окремих об’єктів і неможливою для огляду зовнішнього середовища. У верхньому лівому куті двох крайніх правих зображень ми можемо побачити карти середовища, які визначають освітлення сцени. Їх може довільно створювати кінцевий користувач, що наближає NeRF до гнучкості сучасного підходу CGI.

Підхід перевірено на Міцуба2 структуру зворотного рендерингу, а також проти попередніх робіт PhySG, RNR, Neural-PIL та NeRFactor, використовуючи лише модель прямого освітлення, і отримав найкращі бали:

Результати нової методики порівнюються з порівнянними підходами за різними функціями втрат. Дослідники стверджують, що їхній підхід дає найякісніші методи, а результати оцінюються за допомогою пікового співвідношення сигнал-шум (PSNR), показника індексу структурної подібності (SSIM) і ефективної, якщо ексцентричної подібності зображень, отриманих при сприйнятті (LPIPS). .

У папері зазначено:

«Наші якісні та кількісні результати демонструють явний крок вперед у плані відновлення параметрів сцени, а також якості синтезу нашого підходу за нових видів і умов освітлення в порівнянні з попереднім рівнем техніки».

Дослідники заявляють, що згодом випустять код для проекту.

Необхідність редагування NeRF

Такий вид розплутування виявився серйозним викликом для дослідників полів нейронного випромінювання, оскільки NeRF, по суті, є технікою фотограмметрії, яка обчислює піксельне значення тисяч можливих шляхів з точки зору, призначаючи значення RGBD і збираючи матрицю цих значень у об'ємне зображення. За своєю суттю NeRF визначається освітленням.

Насправді, незважаючи на вражаючі візуальні ефекти та широке впровадження NVIDIA, NeRF є особливо «жорстким» – у термінах CGI «запеченим». Тому протягом останніх 12-18 місяців дослідницьке співтовариство зосередилося на покращенні його податливості та універсальності в цьому відношенні.

З точки зору значущості, ставки для такого роду етапу є високими та включають можливість трансформації індустрії візуальних ефектів від творчої та спільної моделі, зосередженої навколо створення сітки, динаміки руху та текстурування, до моделі, побудованої навколо інверсне рендеринг, де конвеєр VFX живиться реальними фотографіями реальних речей (або навіть, імовірно, реальними та синтезованими моделями), а не приблизними, кустарними наближеннями.

Наразі серед спільноти візуальних ефектів відносно мало причин для занепокоєння, принаймні щодо Neural Radiance Fields. NeRF має лише початкові здібності з точки зору такелаж, гніздування, контроль глибини, артикуляція…і, ​​звичайно, також щодо освітлення, супровідне відео для іншого нова папкаr, який пропонує рудиментарні деформації для геометрії NeRF, ілюструє величезну прірву між поточним рівнем техніки CGI та основоположними зусиллями методів нейронної візуалізації.

Просіювання елементів

Тим не менш, оскільки необхідно з чогось починати, дослідники нової статті прийняли CGI як проміжний механізм контролю та виробництва, який наразі є загальний підхід до жорстких прихованих просторів GAN і майже непроникних і лінійних мереж NeRF.

По суті, головним завданням є обчислення глобальне освітлення (GI, який не має прямого застосування в нейронному рендерингу) на еквівалент Попередньо обчислена передача випромінювання (PRT, який можна адаптувати до нейронного рендерингу).

GI — це вже шанована техніка візуалізації CGI, яка моделює те, як світло відбивається від поверхонь та на інші поверхні, і включає ці області відбитого світла у візуалізацію для додаткової реалістичності.

PRT використовується як проміжна функція освітлення в новому підході, і той факт, що це окремий і редагований компонент, є тим, що досягає розлучення. Новий метод моделює матеріал об’єкта NeRF з навченим PRT.

Фактичне освітлення сцени вихідних даних відновлюється як карта середовища в процесі, а сама геометрія сцени витягується як поле відстані зі знаком (SDF), який зрештою забезпечить традиційну сітку для роботи Blender на сцені віртуального світла.

Огляд конвеєра для нової техніки.

Першим етапом процесу є вилучення геометрії сцени з доступних зображень із кількома видами за допомогою неявної реконструкції поверхні за допомогою методів, використаних у 2021 році. Дослідження NeuS співпраці.

Щоб розробити поле передачі нейронного випромінювання (NRTF, яке буде вміщувати дані про освітлення), дослідники використали диференційований трасувальник шляху Mitsuba 2.

Це полегшує спільну оптимізацію функції розподілу двонаправленого розсіювання (BSDF), а також створення початкової карти середовища. Після створення BSDF трасувальник шляху можна використовувати в Blender (дивіться вбудоване відео безпосередньо вище) для створення віртуальних рендерів сцени з одним світлом за раз (OLAT).

Потім NRTF навчається з комбінованими втратами між ефектами фотореального матеріалу та синтетичними даними, які не переплутані один з одним.

Порівняння з попередником NeRFactor щодо проблем синтезу нового перегляду та пересвітлення.

Дорога до просвітлення

Вимоги до навчання для цієї техніки, хоча й значно менші, ніж початковий час навчання NeRF, не є незначними. На NVIDIA Quadro RTX 8000 з 48 ГБ відеопам’яті попереднє навчання для початкової оцінки світла та текстури займає 30 хвилин; Навчання OLAT (тобто навчання захопленню сцени віртуального світла) займає вісім годин; а остаточна спільна оптимізація між роз’єднаними синтетичними та реальними даними займає ще 16 годин для досягнення оптимальної якості.

Крім того, отримане нейронне представлення не може працювати в реальному часі, за словами дослідників, займаючи «кілька секунд на кадр».

Дослідники роблять висновок:

«Наші результати демонструють явне покращення порівняно з поточним рівнем техніки, тоді як майбутня робота може передбачати подальше покращення часу виконання та спільне обґрунтування геометрії, матеріалу та освітлення сцени».

Вперше опубліковано 28 липня 2022 р.