Нейронні частини: розбивка примітивів для значущої витягнутої геометрії

Хоча системи, здатні генерувати 3D-геометрію зі статичних окремих зображень, поширилися в останні роки, об’єкти, які вони отримують, схильні бути “злитими” разом, без будь-якої реальної семантичної схеми, яка б відображала, як частини внесли свій внесок у цілість.

Є кілька хороших причин для генерації ієрархічних витягнутих моделей з значущим поділом частин, включаючи промисловий аналіз, медичні дослідження та застосування зображень, автоматичну генерацію геометрії для відеоігор, симуляторів та середовищ VR/AR, а також візуальні ефекти ригінгу, серед інших.

Багато методів, розроблених в останні роки, таких як Superquadrics розборка форми, дають менше ніж задовільні результати, і їм було складно просунути стан мистецтва за межі кубоїдного стилю індикативного різання.

Сегментація за допомогою Superquadrics і інших підходів забезпечує грубу або загально представницьку підчастину до витягнутого зображення. Джерело: https://www.youtube.com/watch?v=6WK3B0IZJsw

Однак, нове дослідження від Інституту Макса Планка, під назвою Нейронні частини: навчання виразних 3D-абстракцій форми з інвертними нейронними мережами, пропонує нову нейронну систему примітивної 3D-представлення, яка створює семантично корисні розділи.

Раніші методи можуть розбивати великі витягнуті об’єкти, але не в семантично корисний спосіб. Праворуч, метод Нейронних частин створює більш практичні фрагменти. Джерело: https://paschalidoud.github.io/neural_parts

Сегментація досягається за допомогою інвертної нейронної мережі (INN), яка використовує умовну гомеоморфізм для деформації базової геометричної форми в примітиви, і навпаки, розрахунок топологічної ієрархії в обидва боки. Таким чином кожна примітивна форма асоціюється з навчуваною примітивною вкладенням для генерації вкладення форми для цієї примітивної форми.

Архітектура

Нейронні частини повинні знайти баланс між якістю реконструкції та цілісністю примітивів, оскільки складні примітиви схильні систему до складної деконструкції. Тому архітектура Нейронних частин була розроблена для того, щоб гармонійно поєднувати ці протилежні фактори.

Архітектура Нейронних частин складається з витягувача особливостей, який відображає вхідний вектор, і умовної компоненти гомеоморфізму, яка вивчає гомеоморфні відображення, що умовно залежать від вкладення форми.

Початкова частина витягувача особливостей використовує компонент ResNet-18 для витягування зображень особливостей. Умовна компонента гомеоморфізму використовує модуль перетворення дійсної необ’ємної збереження (дійсна NVP).

Оцінка

Система була протестована на трьох наборах даних – 2017 року Dynamic FAUST (D-FAUST), FreiHAND (2019) і популярному наборі даних 2015 року Стенфордського університету ShapeNet.  D-FAUST містить 38 640 людських центрованих сіток, які виявилися придатними для порівняння, тоді як перші 5000 поз的手 у FreiHAND були використані для генерації сіток. Для ShapeNet дослідники слідували相同ній категорійній схемі навчання, описаній дослідниками Стенфордського університету у 2016 році.

Тести були проведені проти примітивно-орієнтованих методів, включаючи суперквадрики, CvxNet і H-SQs.

Під час тестування на ShapeNet дослідники виявили, що модель Нейронних частин дала більш точні реконструкції, ніж CvxNet, на рівні як 5, так і 25 примітивів. Деякі простіші об’єкти в базі даних, такі як стільці, не містили достатньої геометрії для значущої деконструкції.

Для FreiHAND Нейронні частини дали більш геометрично точні реконструкції, з кращим захопленням дрібних деталей, таких як положення великого пальця. Дослідники відзначають, що порівняно з CvxNet і SQs, вони більше зосереджені на загальній структурі ядра, і не мають цих деталей.

Для Dynamic FAUST CvxNet і SQs були порівняні з виходом Нейронних частин, використовуючи п’ять примітивів для захоплення цілісності людського тіла, спочатку витягнутого з даних. Нейронні частини змогли досягти гладшої сегментації, не пожертвувавши суттю топології.

Майбутня робота

Дослідники мають намір розширити Нейронні частини на дослідження, які не безпосередньо пропонують цільові сітки, за допомогою використання диференційовних методів рендерингу. Оскільки базова сфера є поточним примітивом, використовуваним у рамках Нейронних частин, дослідники також розглядають можливість використання більш складних і виразних геометричних примітивів.