Розробка в галузі “Просторово-І” дозволяє роботам сприймати фізичні середовища подібно до людини

Інженери в MIT працюють над наданням роботам можливості виконувати високорівневі команди, такі як переміщення в іншу кімнату, щоб принести предмет для людини. Для цього роботам потрібно мати можливість сприймати свої фізичні середовища подібно до того, як це робимо ми, люди.

Лука Карлоне – асистент професора аеронавтики та астронавтики в MIT.

“Щоб прийняти будь-яке рішення у світі, вам потрібно мати розумову модель середовища навколо вас”, – говорить Карлоне. “Це щось так легко для людей. Але для роботів це дуже складна проблема, яка полягає у перетворенні значень пікселів, які вони бачать через камеру, у розуміння світу.”

Щоб подолати цю проблему, дослідники змоделювали представлення просторового сприйняття для роботів на основі того, як люди сприймають і навігають у своїх фізичних середовищах.

3D Динамічні Графи Сцен

Нова модель називається 3D Динамічні Графи Сцен, і вона дозволяє роботам генерувати 3D-карту своїх фізичних оточень, включаючи об’єкти та їх семантичні мітки. Робот також може мапувати людей, кімнати, стіни та інші структури в середовищі.

Потім модель дозволяє роботам витягувати інформацію з 3D-карти, інформацію, яка може бути використана для знаходження об’єктів, кімнат і руху людей.

“Ця стиснута репрезентація середовища корисна, оскільки вона дозволяє нашому роботу швидко приймати рішення і планувати свій шлях”, – говорить Карлоне. “Це не дуже відрізняється від того, що ми робимо як люди. Якщо вам потрібно спланувати маршрут від вашого будинку до MIT, ви не плануєте кожну окрему позицію, яку вам потрібно зайняти. Ви просто думаєте на рівні вулиць і орієнтирів, що допомагає вам планувати свій маршрут швидше.”

За словами Карлоне, роботи, які покладаються на цю модель, зможуть робити набагато більше, ніж просто домашні завдання. Вони також можуть бути використані для високорівневих навичок і працювати разом з людьми на заводах або допомагати знаходити виживших на місці катастрофи.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Поточні Методи проти Нової Моделі

Поточні методи робототехнічного бачення та навігації в основному зосереджені на 3D-картуванні, яке дозволяє роботам реконструювати своє середовище в три виміри в реальному часі, або семантичній сегментації, яка відбувається, коли роботи класифікують особливості середовища як семантичні об’єкти, такі як автомобіль проти велосипеда. Семантична сегментація часто здійснюється на 2D-зображеннях.

Нова розроблена модель просторового сприйняття є першою свого роду, яка генерує 3D-карту середовища в реальному часі і міткує об’єкти, людей і структури всередині 3D-карти одночасно.

Щоб досягти цієї нової моделі, дослідники покладалися на Kimera, відкриту бібліотеку. Kimera раніше була розроблена тією ж командою для побудови 3D геометричної моделі середовища, одночасно кодуючи, що об’єкт, ймовірно, є, такий як стільниця проти столу.

“Як міфічна істота, яка є сумішшю різних тварин, ми хотіли, щоб Kimera була сумішшю мапування і семантичного розуміння в 3D”, – говорить Карлоне.

Kimera використовувала зображення з камери робота і інерційні вимірювання з бортових датчиків для реконструкції сцени як 3D-сітки в реальному часі. Для цього Kimera використовувала нейронну мережу, яка була навчена на мільйонах реальних зображень. Вона могла тоді передбачити мітку кожного пікселя і використовувати рей-кастинг для проєктування їх у 3D.

За допомогою цього методу середовище робота може бути змаповано у вигляді 3D-сітки, де кожна грань кольорово кодується, ідентифікуючи її як частину об’єктів, структур або людей у середовищі.

3D Сітка до 3D Динамічних “Графів Сцен”

Оскільки 3D семантична сіткова модель вимагає великої обчислювальної потужності і є часоємною, дослідники використовували Kimera для розробки алгоритмів, які призвели до 3D динамічних “графів сцен”.

3D семантична сітка розбивається на окремі семантичні шари, і робот може бачити сцену через шар. Шари йдуть від об’єктів і людей до відкритих просторів і структур, до кімнат, коридорів, залів і цілих будівель.

Цей метод шарування дозволяє роботу звузити свій фокус, а не аналізувати мільярди точок і граней. Цей метод шарування також дозволяє алгоритмам відстежувати людей і їх рух у середовищі в реальному часі.

Нова модель була протестована у фотореалістичному симуляторі, який симулює робота, який переміщується в офісному середовищі з рухомими людьми.

“Ми фактично дозволяємо роботам мати розумові моделі, подібні до тих, які використовують люди”, – говорить Карлоне. “Це може вплинути на багато застосувань, включаючи самохідні автомобілі, пошук і рятування, спільне виробництво та домашню робототехніку.

Карлоне був приєднаний до головного автора і студента MIT Антоні Росіола.

“Наш підхід став можливим завдяки недавнім досягненням у глибокому навчанні і десятиліттям досліджень у сфері одночасної локалізації і мапування”, – говорить Росіол. “З цією роботою ми робимо стрибок до нової ери робототехнічного сприйняття, званої просторово-І, яка тільки народжується, але має великий потенціал у робототехніці та великомасштабній віртуальній та доповненої реальності.”

Дослідження було представлено на конференції з робототехніки: Наука і системи.