Ученые придают роботам чувствительность пальцев

Группа ученых из Института интеллектуальных систем имени Макса Планка (MPI-IS) представила прочный мягкий тактильный датчик, который использует компьютерное зрение и глубокую нейронную сеть для оценки того, где объекты соприкасаются с датчиком. Он также может оценить, насколько велики приложенные силы.

Новое исследование, опубликованное в Nature Machine Intelligence, поможет роботам чувствовать окружающую среду так же точно, как люди и животные.

Датчик в форме большого пальца с скелетом

Датчик имеет форму большого пальца и состоит из мягкой оболочки, построенной вокруг легкого скелета. Скелет действует так же, как кости, для стабилизации мягких тканей пальца, и состоит из эластомера, смешанного с отражающими алюминиевыми хлопьями. Это создает сероватый цвет, который предотвращает проникновение внешнего света. Внутри пальца находится 160-градусная рыбий глаз камера, которая записывает цветные изображения, освещаемые светодиодами.

Внешний вид цветового узора внутри датчика меняется в зависимости от объекта, который соприкасается с оболочкой датчика, и камера быстро записывает изображения и передает данные глубокой нейронной сети.

Каждое небольшое изменение света в каждом пикселе обнаруживается алгоритмом, и в течение доли секунды модель машинного обучения определяет, где палец соприкасается с объектом. Он также определяет силу сил и направление силы.

Георг Мартис – руководитель исследовательской группы Макса Планка в MPI-IS и глава группы автономного обучения.

“Мы достигли этого отличного показателя чувствительности благодаря инновационному механическому дизайну оболочки, настроенной системы изображения внутри, автоматическому сбору данных и передовому глубокому обучению”, – говорит Мартис.

Хуанбо Сун – аспирант Мартиса.

“Наша уникальная гибридная структура мягкой оболочки, окружающей жесткий скелет, обеспечивает высокую чувствительность и прочность. Наша камера может обнаружить даже самые незначительные деформации поверхности с одного изображения”, – говорит Сун.

По словам Кэтрин Дж. Кухенбеккер, директора отдела тактильной интеллекта в MPI-IS, новые датчики окажутся чрезвычайно полезными.

“Предыдущие мягкие тактильные датчики имели только небольшие зоны обнаружения, были хрупкими и трудными в изготовлении, и часто не могли чувствовать силы, параллельные коже, которые необходимы для робототехники, например, для удержания стакана воды или скольжения монеты по столу”, – говорит Кухенбеккер.

Обучение датчика

Для обучения датчика Сун разработал тестовую площадку, которая генерирует обучающие данные для модели машинного обучения, чтобы она могла понять связь между изменением сырых пикселей изображения и приложенными силами. Было сгенерировано около 200 000 измерений из тестовой площадки, исследующей датчик вокруг его поверхности, и модель была обучена за один день.

“Презентуемый нами аппаратный и программный дизайн может быть передан на широкий спектр робототехнических деталей с разными формами и требованиями к точности. Архитектура машинного обучения, обучение и процесс вывода являются общими и могут быть применены к многим другим дизайнам датчиков”, – говорит Хуанбо Сун.