Нейронные части: разбиение примитивов для осмысленной геометрии

Хотя системы, способные генерировать 3D-геометрию из статических одиночных изображений, стали более распространенными в последние годы, объекты, которые они получают, склонны быть “спаянными” вместе, без какой-либо реальной семантической схемы, отражающей, как части способствуют целому.

Существует несколько хороших причин для генерации иерархических моделей с осмысленным разделением частей, включая промышленный анализ, медицинские исследования и приложения изображений, автоматическую генерацию геометрии для видеоигр, симуляторов и сред VR/AR, а также риггинг визуальных эффектов, среди прочего.

Многие методы, разработанные в последние годы, такие как Superquadrics, дают менее удовлетворительные результаты и не смогли продвинуть состояние искусства за пределы кубоидных срезов.

Сегментация по Superquadrics и другим подходам обеспечивает грубые или общепредставительные подчасти к полученному изображению. Источник: https://www.youtube.com/watch?v=6WK3B0IZJsw

Однако новое исследование из Института Макса Планка, озаглавленное Нейронные части: обучение выразительных 3D-абстракций формы с инвертируемыми нейронными сетями, предлагает новую систему представления 3D-примитивов, создающую семантически полезные разделы.

Предыдущие методы могут разбить большие полученные объекты, но не осмысленным образом. Справа метод Нейронных частей создает более практичные фрагменты. Источник: https://paschalidoud.github.io/neural_parts

Сегментация достигается с помощью инвертируемой нейронной сети (INN), которая использует условную гомеоморфизм для деформации базовой геометрической формы в примитивы и наоборот, рассчитывая топологическую иерархию в обоих направлениях. Таким образом, каждая примитивная форма ассоциируется с обучаемым примитивным вложением, чтобы сгенерировать вложение формы для этой примитивной формы.

Архитектура

Нейронные части должны найти баланс между качеством реконструкции и целостностью примитивов, поскольку сложные примитивы будут склонять систему к сложным деконструкциям. Поэтому архитектура Нейронных частей была разработана, чтобы найти этот баланс в элегантной форме.

Архитектура Нейронных частей состоит из извлекателя признаков, который сопоставляет вход вектором, и условного компонента гомеоморфизма, который учит гомеоморфные отображения, обусловленные вложением формы.

Первоначальный раздел извлекателя признаков использует компонент ResNet-18, чтобы извлечь изображения признаков. Условный компонент гомеоморфизма использует модуль реального не сохраняющего объём (реальное NVP) преобразования.

Оценка

Система была протестирована на трех наборах данных – 2017 года Dynamic FAUST (D-FAUST), FreiHAND (2019) и популярном наборе данных 2015 года ShapeNet Стэнфордского университета.  D-FAUST содержит 38 640 человеческих центрированных сеток, что оказалось подходящим для сравнения, в то время как первые 5000 поз рук в FreiHAND были использованы для генерации сеток. Для ShapeNet исследователи следовали тому же категориальному обучению, которое было описано исследователями Стэнфордского университета в 2016 году.

Тесты были проведены против примитивно-ориентированных методов, включая суперквадрики, CvxNet и H-SQs.

Под набором данных ShapeNet исследователи обнаружили, что модель Нейронных частей привела к более точным реконструкциям, чем CvxNet на уровне как 5, так и 25 примитивов. Некоторые из более простых объектов в базе данных, таких как стулья, не содержали достаточно геометрии для осмысленной деконструкции.

Для FreiHAND Нейронные части привели к более геометрически точным реконструкциям, с лучшим захватом мелких деталей, таких как положение большого пальца. Исследователи отмечают, что по сравнению с CvxNet и SQs больше фокусируются на общей структуре и не имеют этих деталей.

Для Dynamic FAUST CvxNet и SQs были сравнены с выводом Нейронных частей, используя пять примитивов для захвата целостности человеческого тела, первоначально полученного из данных. Нейронные части смогли достичь более гладкой сегментации, не жертвуя при этом сущностью топологии.

Будущая работа

Исследователи намерены расширить Нейронные части для изучения случаев, которые не предоставляют целевые сетки, с помощью дифференцируемой техники рендеринга. Поскольку базовая сфера является текущим примитивом, используемым в рамках Нейронных частей, исследователи также рассматривают возможность использования более сложных и выразительных геометрических примитивов.