NeRF: Виклик редагування вмісту нейронних радіанційних полів

На початку цього року NVIDIA просунула дослідження нейронних радіанційних полів (NeRF) завдяки InstantNeRF, яка, як видається, здатна генерувати досліджувані нейронні сцени за кілька секунд – з техніки, яка, коли вона з’явилася в 2020 році, часто займала години або навіть дні на навчання.

NVIDIA’s InstantNeRF提供 ấn tượng та швидкі результати. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Хоча цей вид інтерполяції створює статичну сцену, NeRF також здатний зображувати рух і базове редагування типу “копіювати та вставити”, де окремі NeRF можуть бути об’єднані в композитні сцени або вставлені в існуючі сцени.

Вкладені NeRF, представлені в дослідженнях 2021 року Шанхайського технологічного університету та DGene Digital Technology. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Однак, якщо ви хочете втрутитися в розрахований NeRF і фактично змінити щось всередині нього (так само, як ви можете змінити елементи в традиційній CGI-сцені), швидкий темп інтересу сектору призвів до дуже небагатьох рішень на сьогодні, і жодне з них не починає збігатися з можливостями робочих процесів CGI.

Хоча оцінка геометрії є суттєвою для створення сцени NeRF, кінцевий результат складається з досить “замкнених” значень. Хоча є деякий прогрес у зміні текстурних значень у NeRF, фактичні об’єкти в сцені NeRF не є параметричними сітками, які можна редагувати та маніпулювати, а більше схожі на крихкі та заморожені хмари точок.

У цьому сценарії відтворена людина в NeRF є по суті статуєю (або серією статуй у відео NeRF); тінь, яку вони відкидають на себе та інші об’єкти, є текстурами, а не гнучкими розрахунками на основі джерел світла; і редагування вмісту NeRF обмежене вибором, зробленим фотографом, який робить рідкісні вихідні фотографії, з яких генерується NeRF. Параметри, такі як тінь та поза, залишаються незмінними у будь-якому творчому сенсі.

Редагування NeRF

Нове академічне дослідження спільного проекту Китаю та Великої Британії звертається до цього виклику з допомогою NeRF-редагування, де проксі-сітки типу CGI витягуються з NeRF, деформуються за бажанням користувача, а деформації передаються назад до нейронних розрахунків NeRF:

Лялькарство NeRF з редагуванням NeRF,既然 деформації, розраховані з кадрів, застосовуються до еквівалентних точок всередині представлення NeRF. Source: http://geometrylearning.com/NeRFEditing/

Цей метод адаптує техніку NeuS 2021 року США/Китаю, яка витягує функцію підписаної відстані (SDF, значно старішній метод об’ємної реконструкції), яка здатна вивчити геометрію, представлену всередині NeRF.

Цей об’єкт SDF стає базою для скульптури користувача, з можливостями викривлення та ливарного виробництва, забезпеченими technikою As-Rigid-As-Possible (ARAP).

ARAP дозволяє користувачеві деформувати витягнуту сітку SDF, хоча інші методи, такі як скелетні та каркасні підходи (наприклад, NURBs), також будуть працювати добре. Source: https://arxiv.org/pdf/2205.04978.pdf

З застосованими деформаціями потрібно перекласти цю інформацію з вектора на рівень RGB/пікселя, рідний для NeRF, що є трохи довшою подорожжю.

Трикутні вершини сітки, яку користувач деформував, спочатку перекладаються в тетраедричну сітку, яка утворює шкіру навколо користувацької сітки. Витягується просторове дискретне поле деформації з цієї додаткової сітки, і, нарешті, отримується безперервне поле деформації, дружнє до NeRF, яке можна передати назад у нейронну радіаційну середовище, відображаючи зміни та редагування користувача, і безпосередньо впливаючи на інтерпретовані промені в цільовому NeRF.

Об’єкти деформовані та анімовані новим методом.

У статті зазначається:

‘Після передачі поверхневої деформації до тетраедричної сітки ми можемо отримати дискретне поле деформації “ефективного простору”. Тепер ми використовуємо ці дискретні перетворення, щоб згинати промені. Для генерації зображення деформованого радіаційного поля ми відкидаємо промені у простір, який містить деформовану тетраедричну сітку.’

Стаття називається Редагування NeRF: редагування геометрії нейронних радіаційних полів, і походить від дослідників трьох китайських університетів та інститутів, разом з дослідником Школи інформатики та комп’ютерних наук Університету Кардіффа, і ще двох дослідників з Alibaba Group.

Обмеження

Як згадувалося раніше, перетворена геометрія не “оновить” жодний пов’язаний аспект у NeRF, який не був відредагований, ні відобразить вторинні наслідки деформованого елемента, такі як тінь. Дослідники надають приклад, де підтінь на людській фігурі в NeRF залишається незмінним, хоча деформація повинна змінити освітлення:

З статті: ми бачимо, що горизонтальна тінь на руці фігури залишається на місці, навіть якщо рука рухається вгору.

Експерименти

Автори спостерігають, що зараз немає порівняльних методів для прямого втручання в геометрію NeRF. Тому експерименти, проведені для дослідження, були більш досліджувальними, ніж порівняльними.

Дослідники продемонстрували редагування NeRF на кількох публічних наборах даних, включаючи персонажів з Mixamo, і вже іконічні легкові бульдозер і стільці з оригінальної реалізації NeRF. Вони також експериментували над реальною статуєю коня з набору даних FVS, а також своїми власними оригінальними знімками.

Голова коня, нахилена.

Для майбутньої роботи автори планують розвивати свою систему в рамках just-in-time (JIT) скомпільованого машинного навчання Jittor.

Перша публікація 16 травня 2022 року.