NeRF: Навчання дронів у нейронних радіаційних середовищах

Дослідники Стенфордського університету розробили новий спосіб навчання дронів навігації в фотореалістичних і високоточних середовищах, використовуючи недавній інтерес до нейронних радіаційних полів (NeRF).

Дрони можна навчати у віртуальних середовищах, відображених безпосередньо з реальних місць, без необхідності спеціальної 3D-сцени та реконструкції. На цьому зображенні з проекту додано порушення вітру як потенційна перешкода для дрону, і ми бачимо, як дрон тимчасово відхиляється від своєї траєкторії та компенсує в останній момент, щоб уникнути потенційної перешкоди. Джерело: https://mikh3x4.github.io/nerf-navigation/

Цей метод пропонує можливість інтерактивного навчання дронів (або інших типів об’єктів) у віртуальних сценаріях, які автоматично включають об’ємну інформацію (для розрахунку уникнення зіткнень), текстурування, взяте безпосередньо з реальних фотографій (для навчання мережі розпізнавання зображень дронів у більш реалістичному вигляді), і реальне освітлення (для забезпечення різноманітних освітніх сценаріїв та уникнення надмірної спеціалізації або оптимізації до оригінального знімку сцени).

Об’єкт-кровать переміщається у складному віртуальному середовищі, яке було б дуже складно змоделювати за допомогою геометричної захоплення та перефарбовування у традиційних AR/VR-робочих процесах, але яке було автоматично відтворено у NeRF з обмеженої кількості фотографій. Джерело: https://www.youtube.com/watch?v=5JjWpv9BaaE

Типові реалізації NeRF не мають механізмів траєкторії, оскільки більшість проектів NeRF за останні 18 місяців зосередилися на інших викликах, таких як пересвітлення сцени, відображення відбитків, композиція та розділення захоплених елементів. Тому основною інновацією цієї нової статті є реалізація середовища NeRF як навігаційного простору без широкомасштабного обладнання та трудомістких процедур, необхідних для моделювання його як 3D-середовища на основі захоплення датчиків та реконструкції CGI.

NeRF як VR/AR

Нова стаття називається Навігація робота тільки за допомогою зору у світі нейронного радіаційного поля і є співпрацею між трьома кафедрами Стенфордського університету: Аеронавтики та астронавтики, Механічної інженерії та Комп’ютерних наук.

Ця робота пропонує навігаційний каркас, який забезпечує робототехнічному пристрою попередньо натреноване середовище NeRF, об’ємна густота якого визначає можливі шляхи для пристрою. Вона також включає фільтр для оцінки місця розташування робота всередині віртуального середовища на основі розпізнавання зображень камери RGB, встановленої на борту робота. Таким чином, дрон або робот може більш точно “галюцинувати”, що він може очікувати побачити у певному середовищі.

Оптимізатор траєкторії проекту переміщається через модель Стоунхенджа, створену за допомогою фотограмметрії та інтерпретації зображень (у цьому випадку, моделей сітки) у середовище нейронного радіаційного поля. Оптимізатор траєкторії розрахував кілька можливих шляхів, перш ніж встановити оптимальну траєкторію над аркою.

Оскільки середовище NeRF має повністю змодельовані окулювання, дрон може легше розрахувати перешкоди, оскільки нейронна мережа за NeRF може відобразити взаємозв’язок між окулюваннями та тим, як система навігації дрону на основі зору сприймає середовище. Автоматизована трубопровідна генерація NeRF пропонує відносно простий метод створення гіперреалістичних тренувальних просторів лише з декількох фотографій.

Онлайн-рамка повторного планування, розроблена для проекту Стенфордського університету, забезпечує стійкий і повністю візуальний трубопровід навігації.

Ініціатива Стенфордського університету є однією з перших, яка розглядає можливості дослідження середовища NeRF у контексті навігаційного та іммерсивного середовища типу VR. Нейронні радіаційні поля є новою технологією, яка зараз піддається多численним академічним зусиллям для оптимізації їх високих вимог до обчислювальних ресурсів, а також для розділення захоплених елементів.

Nerf Не (Дійсно) CGI

Оскільки середовище NeRF є навігаційною 3D-сценою, воно стало неправильно зрозумілою технологією з моменту свого виникнення у 2020 році, часто сприймається як метод автоматизованого створення моделей та текстур, а не заміни 3D-середовищ, знайомих глядачам з відділів візуальних ефектів Голлівуду та фантастичних сцен середовищ доповненої та віртуальної реальності.

NeRF витягує геометричну та текстурну інформацію з обмеженої кількості зображень, розрахуючи різницю між зображеннями як об’ємну інформацію. Джерело: https://www.matthewtancik.com/nerf

На самом деле, середовище NeRF більше нагадує “живе” середовище рендерингу, де поєднання піксельної та освітньої інформації зберігається та навігаційна у активній та робочій нейронній мережі.

Ключем до потенціалу NeRF є те, що йому потрібно лише обмежена кількість зображень для відтворення середовищ, і що згенеровані середовища містять всю необхідну інформацію для високої точності реконструкції, без необхідності послуг моделерів, текстурних художників, спеціалістів з освітлення та інших учасників “традиційного” CGI.

Семантичне Сегментування

Хоча NeRF фактично складається з “Комп’ютерної графіки” (CGI), він пропонує зовсім іншу методологію та високоавтоматизований трубопровід. Крім того, NeRF може ізолювати та “інкапсулювати” рухомі частини сцени, так що їх можна додати, видалити, прискорити та загалом оперувати як окремі фасети у віртуальному середовищі – можливість, яка значно перевищує сучасний стан технологій у “голлівудському” тлумаченні того, що таке CGI.

Співпраця Шанхайського технологічного університету, опублікована влітку 2021 року, пропонує метод індивідуалізації рухомих елементів NeRF у “вставні” фасети для сцени. Джерело: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Від’ємно, архітектура NeRF є певною “чорною скринькою”; зараз не можливо витягнути об’єкт із середовища NeRF та безпосередньо маніпулювати ним за допомогою традиційних інструментів, заснованих на моделях та зображеннях, хоча низка дослідницьких зусиль починає досягати проривів у дешифруванні матриці за живим середовищем рендерингу нейронної мережі NeRF.