Повністю Інтегрована Роботизована Рука Розташовує та Відкриває Загублені Предмети

Дослідники в Массачусетському технологічному інституті створили повністю інтегровану роботизовану руку, яка поєднує візуальні дані з камери та радіочастотну інформацію з антени для пошуку та відкриття загублених предметів. Вона може знаходити предмети, навіть якщо вони закопані або поза зором.

Система називається RFusion, а прототип використовує радіочастотні ідентифікатори (RFID), які є дешевими, безбатарейними мітками, що відбивають сигнали, надсилані антеною. Радіочастотні сигнали можуть проходити через більшість поверхонь, тому RFusion може знаходити позначений предмет, навіть якщо він закопаний.

Роботизована рука використовує машинне навчання для автоматичного визначення точного місця розташування предмета. Потім вона може перемістити предмети на нього, схопити предмет і перевірити, чи це правильний предмет. Камера, антена, роботизована рука та штучний інтелект повністю інтегровані, що означає, що система може працювати в будь-якому середовищі без потреби у великих налаштуваннях.

За словами дослідників, RFusion можна використовувати для застосунків, таких як сортування через купи для виконання замовлень на складі або для ідентифікації та установки компонентів на автомобільному заводі.

Фадель Адіб є старшим автором і асоційованим професором кафедри електротехніки та комп’ютерних наук. Адіб також є директором групи Signal Kinetics в медичній лабораторії Массачусетського технологічного інституту.

“Ця ідея пошуку предметів у хаотичному світі є відкритою проблемою, над якою ми працюємо вже кілька років. Роботи, які можуть шукати речі під купою, є зростаючою потребою в промисловості сьогодні. Наразі ви можете вважати це Roomba на стероїдах, але в ближньому майбутньому це може мати багато застосунків у виробництві та складських середовищах”, – сказав Адіб.

Іншими співавторами дослідження є дослідницький асистент Тара Боруशकі, головний автор; аспірант кафедри електротехніки та комп’ютерних наук Айзек Перпер; дослідницький асистент Мерген Начин; і Альберто Родрігес, професор кафедри механічної інженерії.

Дослідження буде представлено на конференції Association for Computing Machinery Conference on Embedded Networked Sensor Systems наступного місяця.

Навчання Системи

Дослідники використовували підкріплювальне навчання для навчання нейронної мережі, яка може оптимізувати траєкторію робота до предмета.

“Це також те, як наш мозок вчиться. Ми отримуємо нагороди від наших учителів, батьків, комп’ютерної гри тощо. Те саме відбувається при підкріплювальному навчанні. Ми дозволяємо агенту робити помилки або щось правильне, а потім караємо або нагороджуємо мережу. Це те, як мережа вчиться щось, що є дуже важким для неї”, – пояснює Боруशकі.

Алгоритм оптимізації в RFusion був нагороджений, коли він обмежував кількість рухів для локалізації предмета та відстань, пройдену для його підняття.

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

Тестування RFusion

Дослідники протестували систему в кількох середовищах, включаючи одне, в якому ключ був закопаний у коробку, повну хаосу, і пульт дистанційного керування був захований під купою предметів на дивані.

Вони використовували підхід до підсумовування радіочастотних вимірювань та обмеження візуальних даних до площі прямо перед роботом, щоб не перевантажувати систему. Це дало результат у 96 відсотків успіху при відкритті предметів, повністю захованих під купою.

“Іноді, якщо ви тільки покладаєтесь на радіочастотні вимірювання, буде виняток, а якщо ви тільки покладаєтесь на зір, буде помилка з боку камери. Але якщо ви поєднаєте їх, вони будуть виправляти одна одну. Це те, що зробило систему такою надійною”, – говорить Боруशकі.

Метью С. Рейнолдс є співробітником CoMotion Presidential Innovation Fellow і асоційованим професором кафедри електротехніки та комп’ютерних наук у Вашингтонському університеті.

“Кожного року мільярди радіочастотних ідентифікаторів використовуються для ідентифікації предметів у сучасних складних ланцюгах поставок, включаючи одяг та багато інших споживчих товарів. Підхід RFusion показує шлях до автономних роботів, які можуть розкопувати купу змішаних предметів та сортувати їх, використовуючи дані, збережені в радіочастотних ідентифікаторах, набагато ефективніше, ніж інспектувати кожен предмет окремо, особливо коли предмети виглядають схоже для системи комп’ютерного зору”, – говорить Рейнолдс. “Підхід RFusion є великим кроком вперед для робототехніки, яка працює у складних ланцюгах поставок, де ідентифікація та “відкриття” правильного предмета швидко та точно є ключем до виконання замовлень вчасно та утримання вимогливих клієнтів у задоволенні.”

Дослідники зараз будуть працювати над збільшенням швидкості системи, щоб вона рухалася гладко.