NeRF: Вызов редактирования содержимого нейронных радианц-fields

Ранее в этом году NVIDIA продвинула исследования нейронных радианц-fields (NeRF) с помощью InstantNeRF, который, кажется, способен генерировать исследуемые нейронные сцены всего за несколько секунд – с техник, которая, когда она появилась в 2020 году, часто занимала часы или даже дни для обучения.

NVIDIA’s InstantNeRF предоставляет впечатляющие и быстрые результаты. Источник: https://www.youtube.com/watch?v=DJ2hcC1orc4

Хотя этот тип интерполяции производит статичную сцену, NeRF также способен изображать движение, и базовое редактирование ‘копировать и вставить’, где отдельные NeRF могут либо быть объединены в составные сцены, либо вставлены в существующие сцены.

Вложенные NeRF, представленные в исследовании 2021 года Шанхайского технологического университета и DGene Digital Technology. Источник: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Однако, если вы хотите вмешаться в рассчитанный NeRF и фактически изменить что-то, что происходит внутри него (так же, как вы можете изменить элементы в традиционной CGI-сцене), быстрый темп сектора интереса привел к очень немногим решениям на данный момент, и ни одно из них даже не начинает соответствовать возможностям CGI-работflows.

Хотя оценка геометрии необходима для создания NeRF-сцены, окончательный результат состоит из довольно ‘замороженных’ значений. Хотя есть некоторый прогресс в изменении текстурных значений в NeRF, фактические объекты в NeRF-сцене не являются параметрическими сетками, которые можно редактировать и манипулировать, а скорее хрупкими и замороженными облаками точек.

В этом сценарии отображаемый человек в NeRF по сути является статуей (или серией статуй в видео NeRF); тени, которые они отбрасывают на себя и другие объекты, являются текстурами, а не гибкими расчетами на основе источников света; и редактирование содержимого NeRF ограничено выбором, сделанным фотографом, который делает скудные исходные фотографии, из которых генерируется NeRF. Параметры, такие как тени и поза, остаются нередактируемыми в любом творческом смысле.

Редактирование NeRF

Новое академическое исследовательское сотрудничество между Китаем и Великобританией решает эту проблему с помощью NeRF-редактирования, где прокси-CGI-стильные сетки извлекаются из NeRF, деформируются по желанию пользователем, и деформации передаются обратно в нейронные расчеты NeRF;

Кукловодство NeRF с помощью NeRF-редактирования, когда деформации, рассчитанные из кадров, применяются к эквивалентным точкам внутри представления NeRF. Источник: http://geometrylearning.com/NeRFEditing/

Метод адаптирует технику NeuS 2021 года США/Китая, которая извлекает функцию подписанного расстояния (SDF, гораздо более старый метод объемной реконструкции), способный учиться геометрии, представленной внутри NeRF.

Этот SDF-объект становится базой для скульптуры пользователя, с возможностями изгиба и формирования, предоставляемыми техникой As-Rigid-As-Possible (ARAP).

ARAP позволяет пользователям деформировать извлеченную сетку SDF, хотя другие методы, такие как скелетные и клеточные подходы (т.е. NURBs), также будут работать хорошо. Источник: https://arxiv.org/pdf/2205.04978.pdf

С применением деформаций необходимо перевести эту информацию из векторного уровня до уровня RGB/пикселя, родного для NeRF, что является немного более длинным путешествием.

Треугольные вершины сетки, которую пользователь деформировал, сначала переводятся в тетраэдрическую сетку, которая образует кожу вокруг пользовательской сетки. Пространственно-дискретное поле деформации извлекается из этой дополнительной сетки, и, наконец, получается непрерывное поле деформации, дружественное к NeRF, которое можно передать обратно в нейронную среду радианц-fields, отражая изменения и редактирование пользователя, и直接 влияя на интерпретированные лучи в целевом NeRF.

Объекты, деформированные и анимированные новым методом.

В статье говорится:

‘После передачи деформации поверхности на тетраэдрическую сетку мы можем получить дискретное поле деформации “эффективного пространства”. Мы теперь используем эти дискретные преобразования, чтобы согнуть лучи. Чтобы сгенерировать изображение деформированного поля радианц-fields, мы отбрасываем лучи в пространство, содержащее деформированную тетраэдрическую сетку.’

Статья озаглавлена NeRF-редактирование: редактирование геометрии нейронных радианц-fields и исходит от исследователей из трех китайских университетов и учреждений, вместе с исследователем из Школы компьютерных наук и информатики Университета Кардиффа, и еще двух исследователей из Alibaba Group.

Ограничения

Как упоминалось ранее, преобразованная геометрия не ‘обновит’ какие-либо связанные аспекты в NeRF, которые не были отредактированы, ни отразит вторичные последствия деформированного элемента, такие как тени. Исследователи предоставляют пример, где под-тени на человеческой фигуре в NeRF остаются неизменными, даже когда деформация должна изменить освещение:

Из статьи: мы видим, что горизонтальная тень на руке фигуры остается на месте, даже когда рука перемещается вверх.

Эксперименты

Авторы отмечают, что в настоящее время нет сравнимых методов для прямого вмешательства в геометрию NeRF. Следовательно, эксперименты, проведенные для исследования, были более исследовательскими, чем сравнительными.

Исследователи продемонстрировали NeRF-редактирование на ряде публичных наборов данных, включая персонажей из Mixamo, и теперь уже иконические Lego-бульдозер и стул из оригинальной реализации NeRF. Они также экспериментировали на реальной захваченной статуе лошади из набора данных FVS, а также на своих собственных оригинальных захватах.

Голова лошади, наклоненная.

Для будущей работы авторы намерены разработать свою систему в фреймворке машинного обучения Jittor, скомпилированном just-in-time.

Опубликовано впервые 16 мая 2022 года.