Исследователи обнаружили, что слух может улучшить восприятие роботов

Современные роботы в основном полагаются на зрение и осязание, чтобы действовать в своей среде, но это может измениться с новыми исследованиями из Университета Карнеги-Меллона (CMU). Группа исследователей обнаружила, что восприятие робота может улучшиться благодаря слуху.

Исследование было первым крупномасштабным изучением взаимодействия между звуком и роботизированными действиями, согласно исследователям в Институте робототехники CMU. Группа обнаружила, что звук может сыграть роль в帮助 роботов различать объекты. С помощью слуха роботы также могут определить, какой тип действия вызвал звук, и звуки могут помочь предсказать физические свойства новых объектов.

Леррел Пинто – доктор философии в области робототехники в CMU и станет частью факультета Нью-Йоркского университета этой осенью.

“Много предварительной работы в других областях указывало на то, что звук может быть полезен, но не было ясно, насколько он будет полезен в робототехнике”, – сказал Пинто.

Пинто и группа исследователей обнаружили, что уровень производительности был довольно высоким, в частности, 76-процентный уровень точности для роботов, использующих звук для успешной классификации объектов.

Поскольку результаты соответствовали тому, что группа искала, они теперь будут исследовать другие варианты, такие как оснащение роботов инструментированными тростями. Это позволит им идентифицировать объекты, постукивая по ним.

Результаты группы были представлены в июле на виртуальной конференции Robotics Science and Systems. В команду также входили Абхинав Гупта, ассоциированный профессор робототехники, и Дхирадж Ганди, исследовательский ученый в лаборатории Facebook (META ) Artificial Intelligence Research в Питтсбурге.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Исследование и набор данных

Исследование было проведено с созданием большой базы данных и одновременной записью видео и аудио 60 обычных объектов. Некоторые из этих объектов были игрушечными блоками, ручными инструментами, яблоками, туфлями и теннисными мячами. Записи проводились, когда объекты катились и сталкивались в лотке.

Набор данных был затем выпущен после каталогизации около 15 000 взаимодействий.

Tilt-Bot

Взаимодействия были захвачены тем, что команда называет Tilt-Bot, который представляет собой квадратную тарелку, подключенную к роботизированной руке Sawyer. Sawyer также использовался для толкания объектов на поверхности, собирая другие типы данных.

Исследование того, как звук может повлиять на интеллектуальных роботов, существует уже некоторое время, но что нового, так это огромный набор данных.

Одним из новых открытий было то, что робот может использовать свой опыт и знания о звуке определенного набора объектов, чтобы предсказать физические свойства другого набора невидимых объектов.

“Я думаю, что было действительно интересно, когда он терпел неудачу, он терпел неудачу на том, что вы ожидаете, что он терпит неудачу”, – сказал Пинто. Например, робот не мог использовать звук, чтобы различить красный блок или зеленый блок. “Но если это был другой объект, такой как блок или чашка, он мог это сделать”.

Исследование было поддержано Агентством перспективных исследований и разработок Министерства обороны и Офисом морских исследований.