Навчання роботів про інструменти з використанням нейронних радіаційних полів (NeRF)

Нові дослідження університету Мічигану пропонують спосіб для роботів зрозуміти механізми інструментів та інших реальних артикульованих об’єктів, створюючи Нейронні радіаційні поля (NeRF) об’єктів, які демонструють, як ці об’єкти рухаються, потенційно дозволяючи роботам взаємодіяти з ними та використовувати їх без довгих попередніх налаштувань.

Використовуючи відомі джерела для внутрішньої рухливості інструментів (або будь-якого об’єкта з відповідним джерелом), NARF22 може синтезувати фотореалістичну апроксимацію інструмента та його діапазону руху та типу операції. Джерело: https://progress.eecs.umich.edu/projects/narf/

Роботи, які повинні виконувати більше, ніж просто уникати пішоходів або виконувати складні попередньо запрограмовані дії (для яких, ймовірно, були марковані та навчені не повторювані набори даних за певну ціну), потребують цієї адаптивної здатності, якщо вони мають працювати з тими ж матеріалами та об’єктами, з якими нам доводиться справлятися.

До цього часу існувало кілька перешкод для надання роботизованих систем цієї гнучкості. До них належать нестача відповідних наборів даних, багато з яких містять дуже обмежену кількість об’єктів; великі витрати на генерацію фотореалістичних, заснованих на сітці 3D-моделей, які можуть допомогти роботам вивчити інструментальність у контексті реального світу; та нефотореалістична якість таких наборів даних, які можуть бути придатними для завдання, що робить об’єкти видимими як відірвані від того, що сприймає робот у світі навколо нього, та навчає його шукати об’єкт, подібний до мультфільму, який ніколи не з’явиться в реальності.

Для вирішення цієї проблеми дослідники з Мічигану, чия стаття називається NARF22: Нейронні артикульовані радіаційні поля для конфігураційно-обізнаної візуалізації, розробили двостадійний трубопровід для генерації NeRF-об’єктів з артикульованими об’єктами, які мають “реальний світ” зовнішній вигляд, та які включають рух та обмеження будь-якого артикульованого об’єкта.

Хоча це виглядає більш складним, два основних етапи трубопроводу NARF22 включають візуалізацію статичних частин рухомих інструментів, а потім композицію цих елементів у другий набір даних, який інформований про параметри руху цих частин відносно один одного. Джерело: https://arxiv.org/pdf/2210.01166.pdf

Система називається Нейронне артикульоване радіаційне поле – або NARF22, щоб відрізнити його від іншого подібного проекту.

NARF22

Визначення того, чи є невідомий об’єкт потенційно артикульованим, вимагає майже неможливої кількості людських знань. Наприклад, якщо ви ніколи не бачили закриту шухляду раніше, вона могла б виглядати як будь-яка інша декоративна панель – аж поки ви не відкриєте її, ви не внутрішнізуєте “шухляду” як артикульований об’єкт з одним віссю руху (вперед і назад).

Отже, NARF22 не призначений як дослідницька система для підняття речей та визначення того, чи мають вони діючі рухомі частини – майже приматоподібна поведінка, яка б включала ряд потенційно катастрофічних сценаріїв. Натомість,.framework заснований на знаннях, доступних у Універсальному описі робота (URDF) – відкритому джерелі XML-формату, який широко застосовується та підходить для завдання. Файл URDF містить корисні параметри руху об’єкта, а також описи та інші марковані аспекти частин об’єкта.

У традиційних трубопроводах необхідно описати артикуляційні можливості об’єкта та маркувати відповідні значення з’єднань. Це не дешева або легко масштабована задача. Натомість, робочий процес NaRF22 візуалізує окремі компоненти об’єкта перед “збіркою” кожного статичного компонента у артикульоване NeRF-об’єкт з знанням параметрів руху, наданих URDF.

На другому етапі процесу створюється зовсім новий рендерер, який включає всі частини. Хоча було б легше просто сконкатенувати окремі частини на ранніх етапах та пропустити цей наступний крок, дослідники спостерігають, що кінцева модель – яка була навчена на NVIDIA RTX 3080 GPU під AMD 5600X CPU – має нижчі обчислювальні вимоги під час зворотного поширення ніж така раптова та передчасна збірка.

Крім того, друга стадія моделі працює вдвічі швидше, ніж зконкатенована, “брутально-силова” збірка, і будь-які вторинні застосування, які можуть потребувати використання інформації про статичні частини моделі, не будуть потребувати власного доступу до інформації URDF, оскільки це вже було включено до кінцевого рендерера.

Дані та експерименти

Дослідники провели ряд експериментів для тестування NARF22: один для оцінки якісної візуалізації для кожної конфігурації та пози об’єкта; кількісний тест для порівняння візуалізованих результатів з подібними точками зору, баченими реальними роботами; та демонстрація оцінки конфігурації та 6 DOF (глибина поля) завдання уточнення, яке використовувало NARF22 для виконання градієнтної оптимізації.

Тренувальні дані були взяті з набору даних Progress Tools з попередньої статті декількох авторів поточної роботи. Progress Tools містить близько шести тисяч RGB-D (тобто, включаючи інформацію про глибину, необхідну для робототехніки) зображень розміром 640×480 пікселів. Сцени включали вісім ручних інструментів, розділених на їхні складові частини, разом з моделями сітки та інформацією про кінематичні властивості об’єктів (тобто, як вони призначені для руху, та параметри цього руху).

Набір даних Progress Tools містить чотири артикульовані інструменти. Зображення вище є NeRF-рендерами з NARF22.

Для цього експерименту була навчена кінцева конфігураційна модель, використовуючи лише лінійні щипці, довгі нісові щипці та кліп (див. зображення вище). Тренувальні дані містили одну конфігурацію кліпу та одну для кожного з щипців.

Реалізація NARF22 заснована на FastNeRF, з вхідними параметрами, зміненими для концентрації на зконкатенованій та просторово-кодованій позі інструментів. FastNeRF використовує факторизований багатошаровий перцептрон (MLP) у парі з механізмом вибіркової voxeliзації (voxeli – це суттєво пікселі, але з повними 3D-координатами, так що вони можуть працювати у тривимірному просторі).

Для якісного тесту дослідники спостерігають, що існують кілька окультованих частин кліпу (тобто центральної спини, яку не можна знати або здогадатися, спостерігаючи за об’єктом, але тільки взаємодіючи з ним, і що система має труднощі з створенням цієї “невідомої” геометрії.

Якісні візуалізації інструментів.

Натомість, щипці могли загальнитися добре до нових конфігурацій (тобто до розширень та рухів їхніх частин, які знаходяться в межах параметрів URDF, але які не явно адресовані у навчальному матеріалі для моделі.

Дослідники спостерігають, однак, що помилки маркування для щипців призвели до зменшення якості візуалізації для дуже детальних кінчиків інструментів, негативно впливаючи на візуалізацію – проблема, пов’язана з більш широкими проблемами логістики маркування, бюджетування та точності у сфері комп’ютерного бачення, а не будь-якою процедурною недоліком у трубопроводі NARF22.

Результати тесту точності візуалізації.

Для тестів оцінки конфігурації дослідники провели уточнення пози та оцінку конфігурації з початкової “жорсткої” пози, уникнувши будь-яких кеш- або прискоруючих обхідних шляхів, використовуваних самим FastNeRF.

Потім вони навчали 17 добре впорядкованих сцен з тестового набору Progress Tools (який був відкладений під час навчання), проходячи через 150 ітерацій градієнтної оптимізації під оптимізатором Adam. Цей процес відновив оцінку конфігурації “дуже добре”, згідно з дослідниками.

Результати тесту оцінки конфігурації.

Перша публікація 5 жовтня 2022 року.