Полностью интегрированная роботизированная рука находит и извлекает потерянные предметы

Исследователи из Массачусетского технологического института разработали полностью интегрированную роботизированную руку, которая объединяет визуальные данные с камеры и радиочастотную (РЧ) информацию с антенны для обнаружения и извлечения потерянных объектов. Он может находить объекты, даже если они скрыты или находятся вне поля зрения. 

Система называется RFusion, и прототип основан на метках RFID, которые представляют собой недорогие метки без батареи, отражающие сигналы, посылаемые антенной. РЧ-сигналы могут проходить через большинство поверхностей, поэтому RFusion может найти предмет с меткой, даже если он зарыт. 

Роботизированная рука использует машинное обучение для автоматического определения точного местоположения объекта. Затем он может переместить предметы поверх себя, схватить объект и убедиться, что это правильный объект. Камера, антенна, роботизированная рука и искусственный интеллект полностью интегрированы, что означает, что система может работать в любой среде без необходимости сложной настройки.

По словам исследователей, RFusion можно использовать для таких приложений, как сортировка штабелей для выполнения заказов на складе или для идентификации и установки компонентов на автомобильном заводе.

Фадель Адиб — старший автор и доцент кафедры электротехники и компьютерных наук. Адиб также является директором группы Signal Kinetics в Медицинской лаборатории Массачусетского технологического института. 

«Идея возможности находить предметы в хаотичном мире — открытая проблема, над которой мы работали несколько лет. Наличие роботов, способных искать вещи под грудой, сегодня является растущей потребностью в промышленности. Прямо сейчас вы можете думать об этом как о Roomba на стероидах, но в ближайшем будущем у него может быть множество применений в производственных и складских условиях», — сказал Адиб. 

Другие соавторы исследования включают ассистента-исследователя Тару Бороушаки, ведущего автора; аспирант по электротехнике и информатике Исаак Перпер; научный сотрудник Мерген Начин; и Альберто Родригес, выпускник 1957 года, доцент кафедры машиностроения.

Исследование будет представлено на конференции Ассоциации вычислительной техники по встраиваемым сетевым сенсорным системам в следующем месяце. 

Обучение системы

Исследователи использовали обучение с подкреплением для обучения нейронной сети, которая может оптимизировать траекторию движения робота к объекту. 

«Именно так учится наш мозг. Мы получаем вознаграждение от наших учителей, от наших родителей, от компьютерной игры и т. д. То же самое происходит и при обучении с подкреплением. Мы позволяем агенту ошибаться или делать что-то правильно, а затем наказываем или вознаграждаем сеть. Так сеть изучает то, что ей действительно сложно смоделировать», — объясняет Бороушаки.

Алгоритм оптимизации в RFusion был вознагражден, когда он ограничивал количество ходов для локализации предмета и расстояние, пройденное для его подбора. 

Тестирование RFusion

Исследователи протестировали систему в нескольких средах, в том числе в той, в которой брелок был спрятан в коробке, полной беспорядка, а пульт дистанционного управления был спрятан под кучей предметов на диване.

Они использовали подход суммирования измерений RF и ограничения визуальных данных областью прямо перед роботом, чтобы не перегружать систему. Это привело к 96-процентному успеху при извлечении объектов, полностью спрятанных под грудой. 

«Иногда, если вы полагаетесь только на радиочастотные измерения, будут выбросы, а если вы полагаетесь только на зрение, иногда будет ошибка камеры. Но если их объединить, они будут корректировать друг друга. Именно это сделало систему такой надежной», — говорит Бороушаки.

Мэтью С. Рейнольдс — президентский научный сотрудник CoMotion по инновациям и адъюнкт-профессор электротехники и вычислительной техники в Вашингтонском университете. 

«Каждый год миллиарды RFID-меток используются для идентификации объектов в современных сложных цепочках поставок, включая одежду и множество других потребительских товаров. Подход RFusion указывает путь к автономным роботам, которые могут копаться в куче смешанных предметов и сортировать их, используя данные, хранящиеся в RFID-метках, что гораздо эффективнее, чем проверять каждый предмет по отдельности, особенно когда предметы похожи на система компьютерного зрения», — говорит Рейнольдс. «Подход RFusion — это большой шаг вперед для робототехники, работающей в сложных цепочках поставок, где быстрое и точное определение и «выбор» нужного товара является ключом к своевременному выполнению заказов и удовлетворению требовательных клиентов».

Теперь исследователи будут стремиться увеличить скорость системы, чтобы обеспечить ее плавное перемещение.