Полностью Интегрированная Роботизированная Рука Находит и Извлекает Потерянные Предметы

Исследователи в Массачусетском технологическом институте разработали полностью интегрированную роботизированную руку, которая объединяет визуальные данные с камеры и радиочастотную информацию с антенны для поиска и извлечения потерянных объектов. Она может находить объекты даже если они закопаны или находятся вне поля зрения.

Система называется RFusion, и прототип использует RFID-теги, которые являются недорогими, безбатарейными тегами, отражающими сигналы, отправленные антенной. Радиочастотные сигналы могут проходить через большинство поверхностей, поэтому RFusion может найти помеченный предмет даже если он закопан.

Роботизированная рука использует машинное обучение для автоматического определения точного местоположения объекта. Затем она может переместить предметы, находящиеся над ним, схватить объект и подтвердить, что это правильный объект. Камера, антенна, роботизированная рука и ИИ полностью интегрированы, что означает, что система может работать в любой среде без необходимости обширной настройки.

По словам исследователей, RFusion может быть использована для таких применений, как сортировка через кучи для выполнения заказов на складе или для идентификации и установки компонентов на автомобильном заводе.

Фадель Адиб – старший автор и ассоциированный профессор в департаменте электротехники и компьютерных наук. Адиб также является директором группы Signal Kinetics в лаборатории MIT Medical Lab.

“Эта идея найти предметы в хаотическом мире – это открытая проблема, над которой мы работаем уже несколько лет. У нас есть роботы, которые могут искать вещи под кучей, и это растущая потребность в промышленности сегодня. Сейчас вы можете думать об этом как о Roomba на стероидах, но в ближайшем будущем это может иметь много применений в производстве и складских средах”, – сказал Адиб.

Другими соавторами исследования являются исследовательский ассистент Тара Борушики, ведущий автор; аспирант электротехники и компьютерных наук Айзек Перпер; исследовательский ассистент Мерген Начин; и Альберто Родригез, профессор класса 1957 года в департаменте механической инженерии.

Исследование будет представлено на конференции Association for Computing Machinery Conference on Embedded Networked Sensor Systems следующего месяца.

Обучение Системы

Исследователи использовали обучение с подкреплением для обучения нейронной сети, которая может оптимизировать траекторию робота к объекту.

“Это также то, как наш мозг учится. Мы получаем награды от наших учителей, от наших родителей, от компьютерной игры и т. д. То же самое происходит в обучении с подкреплением. Мы позволяем агенту совершать ошибки или делать что-то правильно, а затем мы наказываем или награждаем сеть. Это то, как сеть учится что-то, что действительно трудно для нее смоделировать”, – объясняет Борушики.

Алгоритм оптимизации в RFusion был награжден, когда он ограничивал количество перемещений для локализации предмета и расстояние, пройденное для его подъема.

https://www.youtube.com/watch?v=iqehzw_aLc0&t=4s

Тестирование RFusion

Исследователи протестировали систему в нескольких средах, включая одну, в которой ключ был закопан в коробке, полной мусора, и пульт дистанционного управления был спрятан под кучей предметов на диване.

Они использовали подход к суммированию радиочастотных измерений и ограничению визуальных данных до области прямо перед роботом, чтобы не перегружать систему. Это привело к 96-процентному успеху при извлечении объектов, полностью скрытых под кучей.

“Иногда, если вы только полагаетесь на радиочастотные измерения, будет выброс, и если вы полагаетесь только на видение, будет ошибка камеры. Но если вы объедините их, они будут исправлять друг друга. Это то, что сделало систему такой прочной”, – говорит Борушики.

Мэтью С. Рейнолдс – CoMotion Президентский инновационный стипендиат и ассоциированный профессор электротехники и компьютерных наук в Университете Вашингтона.

“Каждый год миллиарды RFID-тегов используются для идентификации объектов в сегодняшних сложных цепочках поставок, включая одежду и многие другие потребительские товары. Подход RFusion указывает путь к автономным роботам, которые могут рыться в куче смешанных предметов и сортировать их, используя данные, хранящиеся в RFID-тегах, намного более эффективно, чем если бы они должны были осматривать каждый предмет индивидуально, особенно когда предметы похожи на компьютерную систему видения”, – говорит Рейнолдс. “Подход RFusion – это большой шаг вперед для робототехники, работающей в сложных цепочках поставок, где идентификация и ‘подъем’ правильного предмета быстро и точно является ключом к выполнению заказов вовремя и поддержанию требовательных клиентов счастливыми.”

Исследователи теперь будут стремиться увеличить скорость системы, чтобы она работала плавно.