Як працює реконструкція 3D з одного виду?

Традиційно, моделі для реконструкції об’єктів з одного виду, побудовані на основі卷нейронних мереж, показали видатні результати у завданнях реконструкції. У останні роки, реконструкція 3D з одного виду стала популярною темою дослідження в спільноті штучного інтелекту. Незалежно від конкретної методології, яку використовують усі моделі реконструкції 3D з одного виду, вони мають спільний підхід, який полягає у включенні мережі кодування-декодування у свою структуру. Ця мережа здійснює складне міркування щодо 3D-структури у просторі виводу.

У цій статті ми розглянемо, як працює реконструкція 3D з одного виду в реальному часі, та які поточні виклики стоять перед цими структурами у завданнях реконструкції. Ми обговоримо різні ключові компоненти та методи, які використовуються моделями реконструкції 3D з одного виду, та розглянемо стратегії, які можуть покращити продуктивність цих структур. Крім того, ми проаналізуємо результати, отримані найновішими структурами, які використовують методи кодування-декодування. Давайте почнемо.

Реконструкція 3D об’єктів з одного виду

Реконструкція 3D об’єктів з одного виду полягає у генерації 3D-моделі об’єкта з одного виду, або, простіше кажучи, з одного зображення. Наприклад, висновок 3D-структури об’єкта, такого як мотоцикл, з зображення – це складний процес. Він поєднує знання про структурну організацію частин, низькорівневі зображення та високорівневу семантичну інформацію. Цей спектр охоплює два основних аспекти: реконструкцію та визнання. Процес реконструкції розрізняє 3D-структуру вхідного зображення, використовуючи підказки, такі як затінення, текстура та візуальні ефекти. Натомість, процес визнання класифікує вхідне зображення та витягує відповідну 3D-модель з бази даних.

Поточні моделі реконструкції 3D об’єктів з одного виду можуть відрізнятися за архітектурою, але вони об’єднані включенням структури кодування-декодування у свою структуру. У цій структурі кодувальник відображує вхідне зображення на латентне представлення, тоді як декодувальник здійснює складне міркування щодо 3D-структури виводу. Для успішного виконання цього завдання мережа повинна інтегрувати як високорівневу, так і низькорівневу інформацію. Крім того, багато найновіших методів кодування-декодування, які використовуються для реконструкції 3D з одного виду, покладаються на визнання, що обмежує їхні можливості реконструкції. Крім того, продуктивність сучасних卷нейронних мереж у реконструкції 3D об’єктів з одного виду може бути перевершена без явного висновку 3D-структури об’єкта. Однак домінування визнання у卷нейронних мережах у завданнях реконструкції об’єктів з одного виду під впливом різних експериментальних процедур, включаючи протоколи оцінювання та склад бази даних. Такі фактори дозволяють структурам знайти рішення-закоротку, у цьому випадку, визнання зображення.

Традиційно, структури реконструкції 3D об’єктів з одного виду підходять до завдань реконструкції, використовуючи підхід “форма з затінення”, з текстурою та розфокусуванням, що служать екзотичними видами для завдань реконструкції. Оскільки ці техніки використовують один глибинний сигнал, вони здатні надавати міркування щодо видимих частин поверхні. Крім того, багато структур реконструкції 3D з одного виду використовують кілька сигналів разом зі структурними знаннями для оцінки глибини з одного монокулярного зображення, поєднання, яке дозволяє цим структурам передбачити глибину видимих поверхонь. Більш недавні структури оцінки глибини розгортають卷нейронні мережі для витягування глибини з монокулярного зображення.

Однак, для ефективної реконструкції 3D з одного виду, моделі повинні не тільки міркувати щодо 3D-структури видимих об’єктів на зображенні, але також повинні уявляти невидимі частини на зображенні, використовуючи певні апріорні знання, отримані з даних. Для цього більшість моделей зараз розгортають навчені卷нейронні мережі для відображення 2D-зображень на 3D-фігури, використовуючи прямий 3D-нагляд, тоді як багато інших структур розгортають voxel-репрезентації 3D-фігур та використовують латентне представлення для генерації 3D-конволюцій. Деякі структури також розбивають простір виводу ієрархічно для покращення обчислювальної та пам’ятної ефективності, що дозволяє моделі передбачити вищу роздільну здатність 3D-фігур. Недавні дослідження зосереджені на використанні слабших форм нагляду для передбачення 3D-форм з одного виду, використовуючи卷нейронні мережі, або порівнюючи передбачені форми та їхні фактичні передбачення для навчання форм-регресорів, або використовуючи кілька сигналів навчання для навчання середніх форм, які допомагають моделі передбачити деформації. Іншою причиною обмежених досягнень у реконструкції 3D з одного виду є обмежена кількість тренувальних даних, доступних для завдання.

Переходячи далі, реконструкція 3D з одного виду – це складне завдання, оскільки воно не тільки інтерпретує візуальні дані геометрично, але також семантично. Хоча вони не зовсім різні, вони охоплюють різні спектри від геометричної реконструкції до семантичного визнання. Завдання реконструкції передбачає піксельне міркування 3D-структури об’єкта на зображенні. Завдання реконструкції не потребують семантичного розуміння змісту зображення та можуть бути досягнуті, використовуючи низькорівневі зображення, такі як текстура, колір, затінення, тіні, перспектива та фокус. Визнання, з іншого боку, – це крайній випадок використання семантики зображення, оскільки завдання визнання використовують цілі об’єкти та класифікують об’єкт у вхідному зображенні та витягує відповідну форму з бази даних.

Хоча завдання реконструкції та визнання можуть відрізнятися один від одного суттєво, вони обидва схильні ігнорувати цінну інформацію, яка міститься у вхідному зображенні. Радить використовувати обидва ці завдання в унісон один з одним, щоб отримати найкращі можливі результати та точні 3D-фігури для реконструкції об’єктів, тобто для оптимальних завдань реконструкції 3D з одного виду, модель повинна розгортати структурні знання, низькорівневі зображення та високорівневе розуміння об’єкта.

Реконструкція 3D з одного виду: традиційна установка

Для пояснення традиційної установки та аналізу установки структури реконструкції 3D з одного виду, ми розгортаємо стандартну установку для оцінки 3D-форми, використовуючи один вид або зображення об’єкта. База даних, використовувана для тренувальних цілей, – це база даних ShapeNet, та оцінює продуктивність по 13 класам, що дозволяє моделі зрозуміти, як кількість класів у базі даних визначає продуктивність оцінки форми.

Більшість сучасних卷нейронних мереж використовують одне зображення для передбачення високої роздільної здатності 3D-моделей, та ці структури можуть бути категоризовані на основі репрезентації їхнього виводу: глибинні карти, хмари точок та voxel-сітки. Модель використовує OGN або мережі генерації октодерева як свій представницький метод, який історично перевершував підхід voxel-сітки, та/або може охопити домінуючі репрезентації виводу. На відміну з існуючими методами, які використовують репрезентації виводу, підхід OGN дозволяє моделі передбачити високої роздільної здатності форми та використовує октодерева для ефективної репрезентації зайнятого простору.

Базові лінії

Для оцінювання результатів, модель розгортає дві базові лінії, які розглядають завдання як завдання визнання. Перша базова лінія заснована на кластеризації, тоді як друга базова лінія виконує пошук у базі даних.

Кластеризація

У кластеризаційній базовій лінії, модель використовує алгоритм K-Means для кластеризації або групування тренувальних форм у K-підкатегорії, та запускає алгоритм на 32*32*32 voxel-фігурах, сплющених у вектор. Після визначення кластеризації, модель повертається до роботи з моделями з вищою роздільною здатністю. Модель потім обчислює середню форму у кожному кластері, та порогові значення середніх форм, де оптимальне значення обчислюється шляхом максимізації середнього IoU або перетину над моделями. Оскільки модель знає зв’язок між 3D-формами та зображеннями у тренувальних даних, модель може легко зіставити зображення з відповідним кластером.

Пошук

Базова лінія пошуку вивчає вкладення форм та зображень у спільному просторі. Модель розглядає парну схожість 3D-матричних форм у тренувальному наборі для побудови простору вкладення. Модель досягає цього, використовуючи підхід багатовимірного масштабування з відображенням Саммона для стиснення кожного рядка матриці до низькорозмірного дескриптора. Крім того, для розрахунку схожості між двома довільними формами, модель використовує дескриптор світлового поля. Крім того, модель тренує卷нейронну мережу для відображення зображень на дескриптор для вкладення зображень у простір.

Аналіз

Моделі реконструкції 3D з одного виду слідують різним стратегіям, у результаті чого вони перевершують інші моделі в деяких областях, тоді як у інших вони відстають. Для порівняння різних структур та оцінювання їхньої продуктивності, у нас є різні метрики, одна з яких – середній бал IoU.

Як можна побачити на вищезазначеному зображенні, незважаючи на різну архітектуру, сучасні моделі реконструкції 3D доставляють майже однакову продуктивність. Однак цікаво відзначити, що незважаючи на те, що це чистий метод визнання, базова лінія пошуку перевершує інші моделі за середнім та медіанним балами IoU. Базова лінія кластеризації доставляє солідні результати, перевершуючи структури AtlasNet, OGN та Matryoshka. Однак найнеочікуванішим результатом цього аналізу залишається Oracle (ORCL ) NN, який перевершує всі інші методи, незважаючи на використання ідеальної архітектури пошуку. Хоча розрахунок середнього балу IoU допомагає у порівнянні, він не надає повної картини, оскільки варіювання результатів високе незалежно від моделі.

Загальні метрики оцінювання

Моделі реконструкції 3D з одного виду часто використовують різні метрики оцінювання для аналізу їхньої продуктивності у широкому діапазоні завдань. Нижче наведені деякі з найбільш поширених метрик оцінювання.

Перетин над уніоном

Середній бал перетину над уніоном – це метрика, яку часто використовують як кількісну міру для оцінювання моделей реконструкції 3D з одного виду. Хоча IoU надає деяке розуміння продуктивності моделі, його не вважають єдиною метрикою для оцінювання методу, оскільки він вказує на якість форми, передбаченої моделлю, тільки якщо значення достатньо високі з суттєвою відмінністю між низькими та середніми балами для двох заданих форм.

Відстань Шемфера

Відстань Шемфера визначена на хмарах точок, та була розроблена так, щоб її можна було застосовувати до різних 3D-репрезентацій задовільно. Однак метрика оцінювання відстані Шемфера дуже чутлива до аутлієрів, що робить її проблематичною мірою для оцінювання продуктивності моделі, з відстанню аутлієра від форми-відповідника суттєво визначаючи якість генерації.

F-бал

F-бал – це поширена метрика оцінювання, яку активно використовують більшість моделей реконструкції 3D з多чного виду. Метрика F-бала визначається як гармонійне середнє між відозвою та точністю, та оцінює відстань між поверхнями об’єктів явно. Точність рахує відсоток реконструйованих точок, які лежать у межах попередньо визначеної відстані до форми-відповідника, для вимірювання точності реконструкції. Відозва, з іншого боку, рахує відсоток точок на формі-відповіднику, які лежать у межах попередньо визначеної відстані до реконструкції, для вимірювання повноти реконструкції. Крім того, змінюючи порогову відстань, розробники можуть контролювати суворість метрики F-бала.

Аналіз за класами

Схожість продуктивності, доставленої вищезазначеними структурами, не може бути результатом методів, які працюють на різних підмножинах класів, та наступна фігура демонструє послідовну відносну продуктивність по різних класах, з базовою лінією Oracle NN, яка досягає найкращого результату серед усіх, та всі методи спостерігають високе варіювання для всіх класів.

Крім того, кількість тренувальних зразків, доступних для класу, може привести до припущення, що це впливає на продуктивність за класами. Однак, як демонструється на наступній фігурі, кількість зразків у класі не впливає на продуктивність за класами, та кількість зразків у класі та середній бал IoU не корельовані.

Якісний аналіз

Кількісні результати, обговорені у вищезазначеному розділі, підтверджуються якісними результатами, показаними на наступному зображенні.

Для більшості класів немає суттєвої різниці між базовою лінією кластеризації та передбаченнями, зробленими методами, заснованими на декодуванні. Підхід кластеризації не доставляє результати, коли відстань між зразком та середньою формою кластеру висока, або у ситуаціях, коли сама середня форма не може описати кластер достатньо добре. З іншого боку, структури, які використовують методи, засновані на декодуванні, та архітектуру пошуку, доставляють найбільш точні та привабливі результати, оскільки вони здатні включити тонкі деталі у згенеровану 3D-модель.

Реконструкція 3D з одного виду: підсумкові думки

У цій статті ми говорили про реконструкцію 3D об’єктів з одного виду, та про те, як вона працює, та говорили про дві базові лінії: пошук та класифікацію, з базовою лінією пошуку, яка перевершує сучасні структури. Нарешті, хоча реконструкція 3D об’єктів з одного виду – це одна з найгарячіших тем та найбільш досліджуваних тем у спільноті штучного інтелекту, та незважаючи на те, що було досягнуто суттєвих успіхів за останні роки, реконструкція 3D об’єктів з одного виду ще далека від досконалості з суттєвими перешкодами, які потрібно подолати у майбутніх роках.