Ученые придают роботам чувствительность пальцев

Команда ученых из Института интеллектуальных систем им. Макса Планка (MPI-IS) представила прочный мягкий тактильный датчик, который использует компьютерное зрение и глубокую нейронную сеть для оценки места контакта объектов с датчиком. Он также может оценить величину приложенных сил.

Новое исследование, опубликованное в Nature Machine Intelligence, поможет роботам чувствовать окружающую среду так же точно, как люди и животные.

Датчик в форме большого пальца с скелетом

Датчик имеет форму большого пальца и состоит из мягкой оболочки, построенной вокруг легкого скелета. Скелет действует как кости, чтобы стабилизировать мягкую ткань пальца, и состоит из эластомера, смешанного с отражающими алюминиевыми хлопьями. Это создает сероватый цвет, который предотвращает проникновение внешнего света. Внутри пальца находится камера с углом обзора 160 градусов, которая записывает цветные изображения, освещенные светодиодами.

Внешний вид цветового узора внутри датчика меняется в зависимости от объекта, который касается оболочки датчика, и камера быстро записывает изображения и передает данные глубокой нейронной сети.

Каждое небольшое изменение света в каждом пикселе обнаруживается алгоритмом, и за долю секунды модель машинного обучения определяет место контакта пальца с объектом. Она также определяет силу и направление сил.

Георг Мартіус является руководителем исследовательской группы Макса Планка в MPI-IS и возглавляет группу автономного обучения.

«Мы достигли этой отличной чувствительности за счет инновационного механического дизайна оболочки, настроенной системы изображения внутри, автоматического сбора данных и передовых методов глубокого обучения», – говорит Мартіус.

Хуанбо Сун является аспирантом Мартіуса.

«Наша уникальная гибридная структура мягкой оболочки, окружающей жесткий скелет, обеспечивает высокую чувствительность и прочность. Наша камера может обнаружить даже самые незначительные деформации поверхности с одного изображения», – говорит Сун.

По мнению Кэтрин Дж. Кученбекер, директора отдела тактильной интеллекта MPI-IS, новые датчики окажутся非常 полезными.

«Предыдущие мягкие тактильные датчики имели только небольшие зоны обнаружения, были хрупкими и трудными в изготовлении, и часто не могли чувствовать силы, параллельные коже, которые необходимы для робототехнической манипуляции, такой как удержание стакана воды или скольжение монеты по столу», – говорит Кученбекер.

Обучение датчика

Для обучения датчика Сун разработал тестовую установку, которая генерирует обучающие данные для модели машинного обучения. Эти данные помогают модели понять связь между изменением сырых пикселей изображения и приложенными силами. Было сгенерировано около 200 000 измерений из тестовой установки, которая исследовала датчик вокруг его поверхности, и модель была обучена за один день.

«Проектирование аппаратного и программного обеспечения, которое мы представляем в нашей работе, может быть передано на широкий спектр робототехнических частей с разными формами и требованиями к точности. Архитектура машинного обучения, обучение и процесс вывода общий и могут быть применены к многим другим дизайнам датчиков», – говорит Хуанбо Сун.