NeRF: проблема редактирования содержимого полей нейронного излучения

Ранее в этом году NVIDIA усовершенствовала Neural Radiance Fields (НеРФ) исследования, особенно с МгновенныйNeRF, по-видимому, способный генерировать исследуемые нейронные сцены за считанные секунды — с помощью техники, которая, когда она появившийся в 2020 году на обучение часто уходили часы или даже дни.

InstantNeRF от NVIDIA обеспечивает впечатляющие и быстрые результаты. Источник: https://www.youtube.com/watch?v=DJ2hcC1orc4

Хотя этот вид интерполяции создает статичную сцену, NeRF также способен изображение движения, а также базовое редактирование «копирование и вставка», когда отдельные NeRF могут быть объединены в составные сцены or вставленный в существующие сцены.

Вложенные NeRF, представленные в исследовании Шанхайского технологического университета и DGene Digital Technology в 2021 году. Источник: https://www.youtube.com/watch?v=Wp4HfOwFGP4.

Однако, если вы хотите вмешаться в вычисляемый NeRF и фактически изменить что-то, что происходит внутри него (так же, как вы можете изменить элементы в традиционной CGI-сцене), быстрый темп интереса к сектору привел к очень несколько решения на сегодняшний день, и ни один из них даже не приближается к возможностям рабочих процессов CGI.

Хотя оценка геометрии необходима для создания сцены NeRF, окончательный результат состоит из довольно «заблокированных» значений. Пока есть некоторый прогресс Будучи сделанным для изменения значений текстур в NeRF, фактические объекты в сцене NeRF представляют собой не параметрические сетки, которые можно редактировать и с которыми можно играть, а больше похожие на хрупкие и застывшие облака точек.

В этом сценарии визуализированный человек в NeRF, по сути, является статуей (или серией статуй в видео NeRF); тени, которые они отбрасывают на себя и другие объекты, — это текстуры, а не гибкие расчеты на основе источников света; а возможность редактирования содержимого NeRF ограничена выбором, сделанным фотографом, который делает разреженные исходные фотографии, из которых создается NeRF. Такие параметры, как тени и поза, остаются недоступными для редактирования в любом творческом смысле.

NeRF-редактирование

Новое сотрудничество в области академических исследований между Китаем и Великобританией решает эту проблему с помощью NeRF-редактирование, где прокси-сетки в стиле CGI извлекаются из NeRF, деформируются по желанию пользователя, а деформации передаются обратно в нейронные вычисления NeRF:

Марионетка NeRF с редактированием NeRF, поскольку деформации, рассчитанные на основе отснятого материала, применяются к эквивалентным точкам внутри представления NeRF. Источник: http://geometrylearning.com/NeRFEditing/

Метод адаптирует НойС 2021 США / Китай реконструктивная техника, которая извлекает Функция расстояния со знаком (SDF, гораздо более старый метод объемной реконструкции), способный изучить геометрию, представленную внутри NeRF.

Этот объект SDF становится базой для скульптуры пользователя, с возможностями деформирования и формования, предоставляемыми почтенным As-Rigid-As-Possible (АРАП) техника.

ARAP позволяет пользователям деформировать извлеченную сетку SDF, хотя другие методы, такие как подходы на основе каркаса и каркаса (например, NURB), также будут работать хорошо. Источник: https://arxiv.org/pdf/2205.04978.pdf

С примененными деформациями необходимо перевести эту информацию из вектора в уровень RGB/пикселей, характерный для NeRF, а это немного более долгий путь.

Треугольные вершины сетки, которую деформировал пользователь, сначала преобразуются в тетраэдральную сетку, которая формирует оболочку вокруг пользовательской сетки. Из этой дополнительной сетки извлекается дискретное пространственное поле деформации, и, наконец, получается непрерывное поле деформации, удобное для NeRF, которое может быть передано обратно в среду нейронного излучения, отражая изменения и правки пользователя и непосредственно влияя на интерпретируемые лучи в мишени. НеРФ.

Объекты деформированы и анимированы новым методом.

В документе говорится:

«Перенеся поверхностную деформацию на тетраэдральную сетку, мы можем получить поле дискретных деформаций «эффективного пространства». Теперь мы используем эти дискретные преобразования, чтобы согнуть лучи отливки. Чтобы создать изображение деформированного поля сияния, мы направляем лучи в пространство, содержащее деформированную тетраэдрическую сетку».

Ассоциация бумаги называется NeRF-Editing: редактирование геометрии полей нейронного излучения, и исходит от исследователей из трех китайских университетов и институтов, а также от исследователя из Школы компьютерных наук и информатики Кардиффского университета и еще двух исследователей из Alibaba Group.

ограничения

Как упоминалось ранее, преобразованная геометрия не будет «обновлять» какие-либо связанные аспекты в NeRF, которые не были отредактированы, и не будет отражать вторичные последствия деформированного элемента, такие как тени. Исследователи приводят пример, когда тени на фигуре человека в NeRF остаются неизменными, даже если деформация должна изменить освещение:

Из бумаги: мы видим, что горизонтальная тень на руке фигуры остается на месте даже при движении руки вверх.

Эксперименты

Авторы отмечают, что в настоящее время нет сопоставимых методов прямого вмешательства в геометрию NeRF. Поэтому эксперименты, проведенные для исследования, носили скорее исследовательский, чем сравнительный характер.

Исследователи продемонстрировали редактирование NeRF на ряде общедоступных наборов данных, включая персонажей из Mixamo, а также ставший культовым бульдозер и стул Lego из оригинального NeRF. реализация. Они также экспериментировали с настоящей захваченной статуей лошади из Набор данных FVS, а также собственные оригинальные снимки.

Голова лошади наклонилась.

Для будущей работы авторы намерены разработать свою систему в рамках Jittor, компилируемой по принципу JIT.

Впервые опубликовано 16 мая 2022 г.