Система ИИ может точно распознавать жесты рук

Новая система искусственного интеллекта (ИИ), способная распознавать жесты рук, была разработана учеными из Наньянского технологического университета (NTU) в Сингапуре. Технология работает путем сочетания электроники, похожей на кожу, с компьютерным зрением.

Разработка систем ИИ для распознавания жестов рук человека проводится уже около 10 лет и в настоящее время используется в роботах для хирургии, оборудовании для мониторинга здоровья и в игровых системах.

Первоначальные системы ИИ для распознавания жестов были основаны только на зрении, и для улучшения их были интегрированы данные от носимых датчиков. Это называется “слияние данных”. Одной из возможностей сенсорного восприятия является “соматосенсорика”, и носимые датчики могут воссоздать ее.

Точность распознавания жестов все еще трудна для достижения из-за низкого качества данных, поступающих от носимых датчиков. Это происходит из-за громоздкости и плохого контакта с пользователем, а также из-за визуально заблокированных объектов и плохой освещенности.

Еще больше проблем возникает при интеграции визуальных и сенсорных данных, поскольку несоответствующие наборы данных необходимо обрабатывать отдельно и в конечном итоге объединять в конце. Этот процесс неэффективен и приводит к более медленным временам ответа.

Команда NTU разработала несколько способов преодолеть эти проблемы, включая создание “биоинспирированной” системы слияния данных, которая опирается на растяжимые датчики деформации, похожие на кожу, изготовленные из одностенных углеродных нанотрубок. Команда также опиралась на ИИ как способ представить, как кожа и зрение обрабатываются вместе в мозге.

Для разработки системы ИИ были объединены три подхода нейронных сетей. Три типа нейронных сетей были: свёрточная нейронная сеть, разреженная нейронная сеть и многослойная нейронная сеть.

Объединив эти три подхода, команда смогла разработать систему, способную более точно распознавать человеческие жесты по сравнению с другими методами.

Профессор Чен Сяодон является основным автором исследования. Он из Школы материаловедения и инженерии NTU.

“Наша архитектура слияния данных имеет свои уникальные биоинспирированные особенности, которые включают систему, созданную человеком, похожую на иерархию сенсорно-визуального слияния в мозге. Мы считаем, что такие особенности делают нашу архитектуру уникальной по сравнению с существующими подходами.”

Чен также является директором Инновационного центра гибких устройств (iFLEX) в NTU.

“По сравнению с жесткими носимыми датчиками, которые не обеспечивают достаточно близкого контакта с пользователем для точного сбора данных, наша инновация использует растяжимые датчики деформации, которые комфортно прикрепляются к человеческой коже. Это позволяет получить высококачественный сигнал, который необходим для задач высокоточной распознавания”, – сказал Чен.

Результаты команды ученых из NTU Сингапура и Университета технологий Сиднея (UTS) были опубликованы в июне в научном журнале Nature Electronics.

Тестирование системы

Команда протестировала биоинспирированную систему ИИ с помощью робота, управляемого жестами рук. Робот был направлен через лабиринт, и результаты показали, что система ИИ для распознавания жестов рук смогла направить робота через лабиринт без ошибок. Это сравнивается с системой распознавания, основанной на зрении, которая сделала шесть ошибок в том же лабиринте.

Тестирование в плохих условиях, таких как шум и плохие условия освещения, система ИИ все еще поддерживала высокую точность. Точность распознавания составила более 96,7%.

Доктор Ван Мин из Школы материаловедения и инженерии NTU Сингапура был основным автором исследования.

“Секрет высокоточной точности нашей архитектуры заключается в том, что визуальная и соматосенсорная информация могут взаимодействовать и дополнять друг друга на ранней стадии, прежде чем выполнять сложную интерпретацию”, – сказал Мин. “В результате система может рационально собирать согласованную информацию с меньшим количеством избыточных данных и меньшей перцептивной неоднозначностью, что приводит к лучшей точности.”

По мнению профессора Маркуса Антониетти, директора Института коллоидов и интерфейсов имени Макса Планка в Германии, “результаты этой статьи приводят нас на шаг вперед к более умному и поддерживаемому машинами миру. Как и изобретение смартфона, которое революционизировало общество, эта работа дает нам надежду, что мы могли бы однажды физически контролировать весь окружающий мир с большой надежностью и точностью посредством жеста.”

“Есть просто бесконечное количество применений для такой технологии на рынке, чтобы поддержать это будущее. Например, от удаленного управления роботами на умных рабочих местах до экзоскелетов для пожилых людей.”

Исследовательская команда теперь будет работать над системой виртуальной и дополненной реальности на основе биоинспирированной системы ИИ.