Однократная 3D-реконструкция объектов с помощью свёрточных сетей продемонстрировала замечательные возможности. Модели однократной 3D-реконструкции генерируют 3D-модель любого объекта, используя один образ как ссылку, что делает её одной из самых горячих тем исследований в области компьютерного зрения.

Например, рассмотрим мотоцикл на изображении выше. Генерация его 3D-структуры требует сложного процесса, который сначала объединяет подсказки из низкоуровневых изображений с высокоуровневой семантической информацией и знаниями о структурной организации частей.

Из-за сложности этого процесса однократная 3D-реконструкция стала значительной проблемой в компьютерном зрении. В попытке повысить эффективность однократной 3D-реконструкции разработчики работали над Splatter Image, методом, целью которого является достижение ультрабыстрой однократной 3D-реконструкции формы и внешнего вида объектов. В своей основе框架 Splatter Image использует метод Gaussian Splatting для анализа 3D-представлений, используя его скорость и качество.

Недавно метод Gaussian Splatting был реализован многочисленными моделями многократной реконструкции для реального времени, повышения масштабируемости и быстрой тренировки. Однако Splatter Image является первым框架ом, который реализует метод Gaussian Splatting для задач однократной реконструкции.

В этой статье мы будем исследовать, как框架 Splatter Image использует Gaussian Splatting для достижения ультрабыстрой однократной 3D-реконструкции. Итак, давайте начнём.

Splatter Image: Попытка ультрабыстрой однократной 3D-реконструкции

Как упоминалось ранее, Splatter Image является ультрабыстрым подходом для однократной 3D-реконструкции объектов на основе метода Gaussian Splatting. Splatter Image является первым в компьютерном зрении框架ом, который реализует Gaussian Splatting для моноокулярной 3D-генерации объектов, поскольку традиционно Gaussian Splatting использовался для многократной 3D-реконструкции. Однако то, что отличает框架 Splatter Image от предыдущих методов, заключается в том, что это обучаемый подход, и реконструкция при тестировании требует только прямой оценки нейронной сети.

Splatter Image основан на качествах рендеринга Gaussian Splatting и высокой скорости обработки для генерации 3D-реконструкций. Фреймворк Splatter Image имеет простую структуру: фреймворк использует 2D нейронную сеть для предсказания 3D-гауссиана для каждого пикселя входного изображения и сопоставляет входное изображение с одним 3D-гауссианом на пиксель. Результатом являются 3D-гауссианы, имеющие форму изображения, известного как Splatter Image, и эти гауссианы также обеспечивают 360-градусное представление изображения.

Хотя процесс прост и прям, есть некоторые ключевые проблемы, с которыми сталкивается фреймворк Splatter Image при использовании Gaussian Splatting для генерации 3D-гауссиан для однократных 3D-представлений. Первым значительным препятствием является проектирование нейронной сети, которая принимает изображение объекта в качестве входных данных и генерирует соответствующую гауссиановскую смесь, представляющую все стороны изображения в качестве выходных данных.

Для реконструкции 3D-представлений с многократным видом фреймворк Splatter Image применяет ту же сеть к каждому входному виду, а затем использует подход точки зрения для объединения отдельных реконструкций. Кроме того, для обеспечения эффективного координации и обмена информацией между видами в сети фреймворк Splatter Image вносит два изменения в сеть.

Splatter Image: Методология и Архитектура

Gaussian Splatting

Как упоминалось ранее, Gaussian Splatting является основным методом, реализованным фреймворком Splatter Image для генерации однократных 3D-реконструкций объектов. В простых терминах Gaussian Splatting является методом растеризации для реконструкции 3D-изображений и реального времени, а также рендеринга изображений с несколькими точками зрения.

3D Gaussian Splatting сначала использует набор входных изображений для генерации облака точек. Затем Gaussian Splatting использует входные изображения для оценки внешних параметров камеры, таких как наклон и положение, сопоставляя пиксели между изображениями, и эти параметры используются для вычисления облака точек.

Splatter Image

Компонент рендеринга сопоставляет набор 3D-гауссиан с изображением. Для выполнения однократной 3D-реконструкции фреймворк затем ищет обратную функцию для 3D-гауссиан, которая реконструирует смесь 3D-гауссиан из изображения.

Нейронная Сеть

Большая часть архитектуры предиктора, сопоставляющего входное изображение с гауссиановской смесью, идентична процессу, используемому в фреймворке SongUNet. Последний слой в архитектуре заменен на 1×1 свёрточный слой с цветовой моделью, определяющей ширину выходных каналов.

Splatter Image: Эксперименты и Результаты

Однократная 3D-Реконструкция

Фреймворк Splatter Image оценивает качество своих реконструкций, оценивая качество синтеза новых видов, поскольку фреймворк использует исходный вид и рендерит 3D-форму для целей реконструкции.

Многократная 3D-Реконструкция

Для оценки своих возможностей многократной 3D-реконструкции фреймворк Splatter Image обучается на наборе данных SpaneNet-SRN Cars для прогнозирования двух видов.

Заключительные Мысли

В этой статье мы говорили о Splatter Image, методе, целью которого является достижение ультрабыстрой однократной 3D-реконструкции формы и внешнего вида объектов. В своей основе фреймворк Splatter Image использует метод Gaussian Splatting для анализа 3D-представлений, используя его скорость и качество.