NeRF: Виклик редагування вмісту нейронних радіанційних полів

На початку цього року NVIDIA суттєво просунула дослідження нейронних радіанційних полів (NeRF) завдяки InstantNeRF, який, здавалося, був здатний генерувати досліджувані нейронні сцени за лічені секунди – з техніки, яка, коли вона з’явилася у 2020 році, часто займала години або навіть дні на тренування.

NVIDIA’s InstantNeRF забезпечує вражаючі та швидкі результати. Джерело: https://www.youtube.com/watch?v=DJ2hcC1orc4

Хоча такий вид інтерполяції створює статичну сцену, NeRF також здатний зображувати рух, а також базове редагування типу “копіювати та вставляти”, де окремі NeRF можуть бути об’єднані в композитні сцени або вставлені в існуючі сцени.

Вкладені NeRF, представлені в дослідженні 2021 року Шанхайського технічного університету та компанії DGene Digital Technology. Джерело: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Однак, якщо ви хочете втрутитися в розрахований NeRF і фактично змінити щось всередині нього (у тому ж спосіб, як ви можете змінити елементи в традиційній CGI-сцені), швидкий темп інтересу галузі призвів до дуже немногих рішень на даний момент, і жодне з них навіть не починає збігатися з можливостями робочих процесів CGI.

Хоча оцінка геометрії є важливою для створення сцени NeRF, кінцевий результат складається з досить “замкнутих” значень. Хоча є декілька прогресів у напрямку зміни текстурних значень у NeRF, фактичні об’єкти в сцені NeRF не є параметричними сітками, які можна редагувати та маніпулювати, а скоріше крихкими та замороженими хмарами точок.

У цьому сценарії відтворена людина в NeRF є фактично статуєю (або серією статуй у відео NeRF); тінь, яку вони відкидають на себе та інші об’єкти, є текстурою, а не гнучкими обчисленнями на основі джерел світла; а редагування вмісту NeRF обмежене вибором, зробленим фотографом, який робить рідкісні вихідні фотографії, з яких генерується NeRF. Параметри, такі як тінь та поза, залишаються незмінними у будь-якому творчому сенсі.

Редагування NeRF

Нове академічне дослідження, спільне між Китаєм та Великою Британією, звертається до цього виклику з Редагуванням NeRF, де проксі-сітки типу CGI витягуються з NeRF, деформуються за бажанням користувачем, а деформації передаються назад у нейронні розрахунки NeRF;

Редагування NeRF з використанням Редагування NeRF, де деформації, розраховані з кадрів, застосовуються до еквівалентних точок у представленні NeRF. Джерело: http://geometrylearning.com/NeRFEditing/

Метод адаптує NeuS техніку 2021 року США/Китаю, яка витягує функцію підписаної відстані (SDF, досить старий метод об’ємної реконструкції), який здатний вивчити геометрію, представлену всередині NeRF.

Ця SDF-об’єкт стає основою для скульптури користувача, з можливостями викривлення та формування, забезпеченими technikою As-Rigid-As-Possible (ARAP).

ARAP дозволяє користувачам деформувати витягнуту сітку SDF, хоча інші методи, такі як скелетно-орієнтовані та基于-клітинні підходи (наприклад, NURBs), також будуть працювати добре. Джерело: https://arxiv.org/pdf/2205.04978.pdf

З застосованими деформаціями необхідно перекласти цю інформацію з векторного рівня до рівня RGB/пікселя, рідного для NeRF, що є трохи довшою подорожжю.

Тріангульні вершини сітки, яку користувач деформував, спочатку перекладаються в тетраедричну сітку, яка утворює шкіру навколо користувацької сітки. Просторове дискретне поле деформації витягується з цієї додаткової сітки, і, нарешті, отримується безперервне поле деформації, дружнє до NeRF, яке можна передати назад у нейронну радіаційну середовище, відображаючи зміни та редагування користувача, і безпосередньо впливаючи на інтерпретовані промені в цільовому NeRF.

Об’єкти, деформовані та анімовані новим методом.

У статті зазначається:

‘Після передачі поверхневої деформації до тетраедричної сітки ми можемо отримати дискретне поле деформації “ефективного простору”. Тепер ми використовуємо ці дискретні перетворення, щоб згинати промені. Для генерації зображення деформованого радіаційного поля ми відкидаємо промені у простір, що містить деформовану тетраедричну сітку.’

Стаття називається Редагування NeRF: Геометричне редагування нейронних радіаційних полів і походить від дослідників трьох китайських університетів та інститутів, разом з дослідником зі Школи комп’ютерних наук та інформатики Університету Кардіффа, а також двох інших дослідників з компанії Alibaba Group.

Обмеження

Як згадувалося раніше, перетворена геометрія не “оновить” жодних пов’язаних аспектів у NeRF, які не були відредаговані, ні відображатиме вторинні наслідки деформованого елемента, такі як тінь. Дослідники надають приклад, де під-тінь на людській фігурі в NeRF залишається незмінною, навіть якщо деформація повинна змінити освітлення:

З статті: ми бачимо, що горизонтальна тінь на руці фігури залишається на місці, навіть якщо рука переміщується вгору.

Експерименти

Автори спостерігають, що на даний момент немає порівняльних методів для прямого втручання в геометрію NeRF. Тому експерименти, проведені для дослідження, були більш досліджувальними, ніж порівняльними.

Дослідники продемонстрували Редагування NeRF на кількох публічних наборах даних, включаючи персонажів з Mixamo, і знаменитого легового бульдозера та стільця з оригінальної реалізації NeRF реалізації. Вони також експериментували з реальною захопленою статуєю коня з набору даних FVS, а також своїми власними оригінальними захопленнями.

Голова коня, нахилена.

Для майбутньої роботи автори намічають розробити свою систему у just-in-time (JIT) скомпільованому машинному навчанні фреймворку Jittor.

Перша публікація 16 травня 2022 року.