Одновидова 3D-реконструкція об’єктів з використанням конволюційних мереж продемонструвала видатні можливості. Моделі одновидової 3D-реконструкції генерують 3D-модель будь-якого об’єкта за допомогою одного зображення як посилання, що робить це однією з найгарячіших тем досліджень у сфері комп’ютерного зору.

Наприклад, розглянемо мотоцикл на вищезазначеному зображенні. Генерування його 3D-структури вимагає складного процесу, який спочатку поєднує підказки з низькорівневих зображень з високорівневою семантичною інформацією та знаннями про структурну організацію частин.

Через складність цього процесу одновидова 3D-реконструкція була однією з найбільших проблем у сфері комп’ютерного зору. У спробі підвищити ефективність одновидової 3D-реконструкції розробники працювали над Splatter Image, методом, який має на меті досягти надзвичайно швидкої 3D-формування форми та 3D-виду об’єктів. У своєму ядрі框werk Splatter Image використовує метод розсіювання Гауса для аналізу 3D-представлень, використовуючи швидкість і якість, які він пропонує.

Нещодавно метод розсіювання Гауса був реалізований багатьма моделями багатовидової реконструкції для реального часу, підвищення масштабу та швидкої підготовки. Однак Splatter Image є першою рамкою, яка реалізує метод розсіювання Гауса для завдань одновидової реконструкції.

У цій статті ми розглянемо, як рамка Splatter Image використовує розсіювання Гауса для досягнення надзвичайно швидкої одновидової 3D-реконструкції. Тому почнімо.

Splatter Image: Спроба надзвичайно швидкої одновидової 3D-реконструкції

Як згадувалося раніше, Splatter Image – це надзвичайно швидкий підхід для одновидової 3D-реконструкції об’єктів на основі методу розсіювання Гауса. Splatter Image – це перша комп’ютерна рамка, яка реалізує розсіювання Гауса для моновидової генерації 3D-об’єктів, оскільки традиційно розсіювання Гауса використовувалося для генерації багатовидових 3D-об’єктів. Однак те, що відрізняє рамку Splatter Image від попередніх методів, полягає в тому, що це підхід, заснований на навчанні, а реконструкція під час тестування вимагає лише прямої оцінки нейронної мережі.

Splatter Image ґрунтується фундаментально на якості рендерингу розсіювання Гауса та високій швидкості обробки для генерації 3D-реконструкцій. Рамка Splatter Image має просту конструкцію: рамка використовує 2D-нейронну мережу зображення-у-зображення для передбачення 3D-гауса на кожному пікселі входового зображення та відображає входове зображення в один 3D-гаус на піксель. Результатом є 3D-гауси у вигляді зображення, відомого як Splatter Image, який також забезпечує 360-градусне представлення зображення.

Хоча процес простий і прямий, існують деякі ключові виклики, з якими стикається рамка Splatter Image при використанні розсіювання Гауса для генерації 3D-гаусів для одновидових 3D-представлень. Першою великою перешкодою є розробка нейронної мережі, яка приймає зображення об’єкта як вхід та генерує відповідний гаусівський мікс, який представляє всі сторони зображення як вихід. Для подолання цього Splatter Image використовує той факт, що хоча згенерований гаусівський мікс є набором або неупорядкованою колекцією елементів, його все ж можна зберігати в упорядкованій структурі даних.

Зберігаючи набори 3D-гаусів у зображенні, рамка Splatter Image здатна зменшити перешкоди реконструкції, з якими стикається навчання нейронної мережі зображення-у-зображення. Використовуючи цей підхід, процес реконструкції можна реалізувати лише за допомогою ефективних 2D-операторів, а не за допомогою 3D-операторів. Крім того, у рамці Splatter Image 3D-представлення є сумішшю 3D-гаусів, що дозволяє їй використовувати переваги швидкості рендерингу та ефективності пам’яті, пропонованих розсіюванням Гауса, що підвищує ефективність як під час навчання, так і під час висновку.

З емпіричної точки зору варто зазначити, що рамка Splatter Image здатна генерувати 360-градусну реконструкцію об’єкта, хоча вона бачить лише одну сторону об’єкта. Рамка потім призначає різні гауси у 2D-сусідстві різним частинам 3D-об’єкта для кодування згенерованої 360-градусної інформації у 2D-зображенні.

Підсумуючи, рамка Splatter Image – це

1. Новий підхід до генерації одновидових 3D-реконструкцій об’єктів шляхом перенесення підходу розсіювання Гауса.
2. Розширення методу для багатовидової 3D-реконструкції об’єктів.
3. Досягнення найкращої 3D-реконструкції об’єктів на стандартних бенчмарках з винятковою швидкістю та якістю.

Splatter Image: Методологія та архітектура

Розсіювання Гауса

Як згадувалося раніше, розсіювання Гауса – це основний метод, реалізований рамкою Splatter Image для генерації одновидових 3D-реконструкцій об’єктів. У простих термінах розсіювання Гауса – це метод растеризації для реконструкції 3D-зображень та реального часу, а також рендерингу зображень з декількома точками зору.

3D-розсіювання Гауса спочатку використовує набір входових зображень для генерації хмари точок. Розсіювання Гауса потім використовує входові зображення для оцінки зовнішніх параметрів камери, таких як нахил і положення, шляхом збігу пікселів між зображеннями, а ці параметри потім використовуються для обчислення хмари точок.

Крім того, функція непрозорості та колірна функція у розсіюванні Гауса забезпечують радіаційне поле з напрямком огляду 3D-точки. Рамка потім рендерить радіаційне поле на зображення шляхом інтеграції кольорів, спостережуваних уздовж промені, який проходить через піксель.

Splatter Image

Компонент рендерера відображає набір 3D-гаусів на зображення. Для виконання одновидової 3D-реконструкції рамка потім шукає обернену функцію для 3D-гаусів, яка реконструює суміш 3D-гаусів із зображення.

Тепер можна припустити, як рамка Splatter Image може реконструювати 3D-представлення об’єкта, хоча вона має доступ лише до одного з його видів? У реальному часі рамка Splatter Image вчиться використовувати деякі з доступних гаусів для реконструкції виду та використовує інші гауси для автоматичної реконструкції невидимих частин зображення.

Втрата на рівні зображення

Одна з великих переваг використання швидкості та ефективності, пропонованих методом розсіювання Гауса, полягає в тому, що це дозволяє рамці відображати всі зображення на кожній ітерації, навіть для пакетів з відносно великим розміром пакету.

Нормалізація масштабу

Це складно оцінити розмір об’єкта, оглядаючи лише один вид, і це складне завдання для вирішення цієї двозначності, коли воно тренується з втратою.

Колір, залежний від виду

Для представлення кольорів, залежних від виду, рамка Splatter Image використовує сферичні гармоніки для узагальнення кольорів за межами ламбертовської моделі кольору.

Архітектура нейронної мережі

Більшість архітектури прогнозувальної відображення входового зображення на суміш гаусів ідентична процесу, використованому у рамці SongUNet.

Для реконструкції 3D-представлень з багатовидовим прогнозуванням рамка Splatter Image застосовує ту ж саму мережу до кожного входового виду, а потім використовує підхід виду для поєднання окремих реконструкцій.

Splatter Image: Експерименти та результати

Рамка Splatter Image оцінює якість своїх реконструкцій шляхом оцінки якості синтезу нових видів, оскільки рамка використовує вихідний вид та рендерить 3D-форму для виконання реконструкції в цільових невидимих видах.

Виступ одновидової 3D-реконструкції

Наступна таблиця демонструє виступ моделі Splatter Image у завданнях одновидової 3D-реконструкції на бенчмарку ShapeNet.

Як можна побачити, рамка Splatter Image перевершує всі детерміністичні методи реконструкції по показникам LPIPS та SSIM.

Наступне зображення демонструє якісні можливості рамки Splatter Image, і, як можна побачити, модель генерує реконструкції з тонкими та цікавими геометріями та захоплює деталі умовних видів.

Наступне зображення показує, що реконструкції, згенеровані рамкою Splatter Image, не лише чіткіші, а й мають кращу точність порівняно з попередніми моделями, особливо в нетипових умовах з тонкими структурами та обмеженою видимістю.

Багатовидова 3D-реконструкція

Для оцінки своїх багатовидових можливостей 3D-реконструкції рамка Splatter Image тренується на наборі даних SpaneNet-SRN Cars для прогнозування двох видів.

Фінальні думки

У цій статті ми говорили про Splatter Image, метод, який має на меті досягти надзвичайно швидкої одновидової 3D-формування форми та 3D-виду об’єктів. У своєму ядрі рамка Splatter Image використовує метод розсіювання Гауса для аналізу 3D-представлень, використовуючи швидкість і якість, які він пропонує. Рамка Splatter Image обробляє зображення за допомогою стандартної 2D-сіткової нейронної мережі для передбачення псевдо-зображення, яке містить один кольоровий гаус для кожного пікселя. Використовуючи метод розсіювання Гауса, рамка Splatter Image здатна поєднати швидке рендеринг з швидким висновком, що призводить до швидкої підготовки та швидшої оцінки на реальних та синтетичних бенчмарках.