Роботическая система извлекает захороненные объекты

Новая роботическая система под названием FuseBot, разработанная в MIT, сочетает визуальную информацию и радиочастотные сигналы для поиска скрытых предметов, захороненных под кучей объектов. Чтобы найти потерянный предмет, роботы должны использовать сложные рассуждения о куче и объектах в ней.

Исследователи ранее продемонстрировали роботическую руку, которая сочетает визуальную информацию и радиочастотные сигналы для поиска скрытых объектов, помеченных RFID-метками, которые отражают сигналы, отправленные антенной. Но новая система может эффективно извлекать любой захороненный объект, даже если целевой предмет не помечен. Для этого требуется, чтобы некоторые предметы в куче имели эти RFID-метки.

Алгоритмы в FuseBot

Алгоритмы, составляющие FuseBot, могут рассуждать о вероятном местонахождении и ориентации объектов под кучей. Затем они обнаруживают наиболее эффективный способ удаления препятствующих объектов и извлечения целевого предмета. FuseBot смог найти эти скрытые предметы более эффективно, чем другая система робототехники, и сделал это за половину времени.

Новая система может быть применена в таких областях, как склад электронной коммерции.

Исследование вовлекло старшего автора Фаделя Адиба, ассоциированного профессора в департаменте электротехники и компьютерных наук и директора группы Signal Kinetics в Media Lab.

“Эта статья показывает, впервые, что простое присутствие предмета с RFID-меткой в окружающей среде делает намного проще выполнение других задач более эффективным способом. Мы смогли сделать это, потому что добавили многомодальное рассуждение в систему – FuseBot может рассуждать как о виде, так и о радиочастотных сигналах, чтобы понять кучу предметов”, говорит Адиб.

Адиб был присоединен к исследовательским ассистентам Таре Боруше, которая является ведущим автором; Лоре Доддс; и Назиш Неем.

FuseBot включает в себя роботическую руку с прикрепленной видеокамерой и радиочастотной антенной для извлечения непомеченного целевого предмета из смешанной кучи. Система сканирует кучу с помощью камеры, чтобы создать трехмерную модель окружающей среды, и отправляет сигналы от своей антенны, чтобы локализовать RFID-метки в то же время.

Радиоволны могут проходить через большинство твердых поверхностей, позволяя роботу “видеть” в куче. Поскольку предметы, кроме целевого предмета, помечены, FuseBot знает, что целевой предмет не может находиться в том же самом месте.

Информация затем объединяется алгоритмами для обновления трехмерной модели окружающей среды и выделения потенциальных местонахождений целевого предмета, с учетом того, что робот уже знает размер и форму предмета. Система рассуждает о предметах в куче и RFID-метках, чтобы определить, какой предмет переместить, и ищет путь с наименьшим количеством перемещений.

Чтобы преодолеть проблему неопределенности ориентации предметов под кучей, FuseBot использует вероятностное рассуждение. Каждый раз, когда он удаляет предмет, он также использует рассуждение, чтобы определить, какой предмет следует удалить следующим.

“Если я дам человеку кучу предметов, чтобы поискать, он, скорее всего, удалит самый большой предмет сначала, чтобы увидеть, что находится под ним. То, что делает робот, аналогично, но он также включает информацию RFID, чтобы принять более обоснованное решение. Он спрашивает: “Как много больше он поймет о этой куче, если он удалит этот предмет из поверхности?” Боруше говорит.

Робот сканирует кучу после удаления предмета и использует новые данные для оптимизации стратегии.

Превосходство над другими системами

Используя радиочастотные сигналы и рассуждения, FuseBot смог превзойти систему, которая использует только видение. Он извлек целевой предмет с коэффициентом успеха 95 процентов, по сравнению с 84 процентами для другой системы. Он также сделал это с 40 процентами меньшим количеством перемещений и смог локализовать и извлечь предметы более чем в два раза быстрее.

“Мы видим значительное улучшение коэффициента успеха путем включения этой радиочастотной информации. Было также интересно увидеть, что мы смогли соответствовать производительности нашей предыдущей системы и превзойти ее в сценариях, где целевой предмет не имел RFID-метки”, говорит Доддс.

Программное обеспечение, ответственное за выполнение сложных рассуждений, может быть реализовано на любом компьютере, что означает, что FuseBot может быть использован в широком диапазоне настроек. Команда теперь будет стремиться включить более сложные модели в систему, а также изучить различные манипуляции.