Нейронний рендеринг: NeRF гуляє на свіжому повітрі

Співпраця між Google Research і Гарвардським університетом розробила новий метод створення 360-градусного нейронного відео повних сцен за допомогою Нейронні поля випромінювання (NeRF). Новий підхід робить NeRF на крок ближче до випадкового абстрактного використання в будь-якому середовищі, не обмежуючись настільні моделі or сценарії закритого інтер'єру.

Повне відео див. у кінці статті. Джерело: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 може працювати з розширеним фоном і «нескінченними» об’єктами, такими як небо, оскільки, на відміну від більшості попередніх ітерацій, він встановлює обмеження на спосіб інтерпретації світлових променів і створює межі уваги, які раціоналізують тривалий час навчання. Перегляньте нове супровідне відео, вбудоване в кінці цієї статті, щоб отримати більше прикладів і розширене уявлення про процес.

Команда новий папір має титул Mip-NeRF 360: необмежені поля нейронного випромінювання зі згладжуванням, і очолює старший науковий співробітник Google Research Джон Баррон.

Щоб зрозуміти прорив, необхідно мати базове розуміння того, як функціонує синтез зображення на основі поля нейронного випромінювання.

Що таке NeRF?

Проблематично описати мережу NeRF термінами «відео», оскільки вона ближча до повністю 3D-реалізованого, але На основі AI віртуальне середовище, де кілька точок огляду з окремих фотографій (включно з відеокадрами) використовуються для з’єднання сцени, яка технічно існує лише в прихованому просторі алгоритму машинного навчання, але з якої за бажанням можна витягнути надзвичайну кількість точок огляду та відео. .

Зображення кількох точок захоплення камери, які надають дані, які NeRF збирає в нейронну сцену (на фото праворуч).

Інформація, отримана з доданих фотографій, об’єднується в матрицю, подібну до традиційної воксельна сітка у робочих процесах CGI, оскільки кожна точка в 3D-просторі закінчується значенням, що робить сцену зручною для навігації.

Традиційна воксельна матриця розміщує піксельну інформацію (яка зазвичай існує в двовимірному контексті, наприклад, піксельну сітку файлу JPEG) у тривимірному просторі. Джерело: ResearchGate

Після обчислення проміжного простору між фотографіями (за потреби) шлях кожного можливого пікселя кожної фотокартки фактично «трасується променем» і призначається значення кольору, включаючи значення прозорості (без якого нейронна матриця була б повністю непрозорою, або зовсім порожній).

Як воксельні сітки, і на відміну від Тривимірний координатний простір на основі CGI, «внутрішнє середовище» «закритого» об’єкта не існує в матриці NeRF. Ви можете відкрити барабанну установку CGI і зазирнути всередину, якщо хочете; але що стосується NeRF, існування барабанної установки закінчується, коли значення непрозорості її поверхні дорівнює «3».

Широкий погляд на Pixel

Mip-NeRF 360 є розширенням дослідження з березня 2021 року, який ефективно запровадив ефективне згладжування для NeRF без вичерпної супервибірки.

NeRF традиційно обчислює лише один піксельний шлях, який схильний створювати такий вигляд 'jaggies' які характеризували ранні формати зображень в Інтернеті, а також попередні ігрові системи. Ці нерівні краї вирішувалися різними методами, зазвичай включаючи вибірку суміжних пікселів і знаходження середнього представлення.

Оскільки традиційний NeRF відбирає лише один піксельний шлях, Mip-NeRF представив «конічну» водозбірну зону, як факел із широким променем, який надає достатньо інформації про сусідній пікселів для створення економічного згладжування з покращеною деталізацією.

Конусоподібний водозбірник, який використовує Mip-NeRF, розрізаний на конічні усічені (нижнє зображення), які додатково «розмиваються», створюючи розпливчасті гаусові простори, які можна використовувати для розрахунку точності та накладення пікселя. Джерело: https://www.youtube.com/watch?v=EpH175PY1A0

Покращення в порівнянні зі стандартною реалізацією NeRF було помітним:

Mip-NeRF (праворуч), випущений у березні 2021 року, забезпечує покращену деталізацію завдяки більш всеосяжному, але економному конвеєру згладжування, а не просто «розмивання» пікселів, щоб уникнути нерівних країв. Джерело: https://jonbarron.info/mipnerf/

NeRF Unbounded

Березневий документ залишив невирішеними три проблеми щодо використання Mip-NeRF у необмежених середовищах, які можуть включати дуже віддалені об’єкти, включаючи небо. Нова стаття вирішує це шляхом застосування a По-кальманськи деформація до гаусів Mip-NeRF.

По-друге, більші сцени вимагають більшої потужності обробки та тривалого часу навчання, що Mip-NeRF 360 вирішує, «переганяючи» геометрію сцени за допомогою невеликої «пропозиції». багатошаровий персептрон (MLP), який попередньо обмежує геометрію, передбачену великим стандартним NeRF MLP. Це прискорює тренування в три рази.

Нарешті, більші сцени, як правило, роблять дискретизацію інтерпретованої геометрії неоднозначною, що призводить до артефактів, з якими гравці можуть бути знайомі, коли ігровий вихід «розривається». Нова стаття вирішує це, створюючи новий регуляризатор для інтервалів променів Mip-NeRF.

Праворуч ми бачимо небажані артефакти в Mip-NeRF через труднощі з обмеженням такої великої сцени. Ліворуч ми бачимо, що новий регуляризатор оптимізував сцену досить добре, щоб усунути ці перешкоди.

Щоб дізнатися більше про новий документ, перегляньте відео нижче, а також Відеопрезентація березня 2021 року до Міп-НеРФ. Ви також можете дізнатися більше про дослідження NeRF, перевіривши наше покриття на даний момент.

Вперше опубліковано 25 листопада 2021 р
21 грудня 2021 р., 12:25 – Замінено мертве відео. – М.А