Инженеры разрабатывают систему распознавания жестов рук на основе искусственного интеллекта

Инженеры Калифорнийского университета в Беркли разработали устройство, которое может распознавать жесты рук на основе электрических сигналов, обнаруженных в предплечье. Эта недавно разработанная система является результатом носимых биосенсоров и искусственного интеллекта (ИИ), и она может привести к лучшему контролю над протезированием и взаимодействием человека с компьютером.

Али Мойн входил в группу разработчиков и является докторантом кафедры электротехники и компьютерных наук Калифорнийского университета в Беркли. Мойн также является соавтором исследовательской статьи, опубликованной в Интернете 21 декабря в журнале. Природа Электроника.

«Протезирование является одним из важных применений этой технологии, но, кроме того, она также предлагает очень интуитивный способ общения с компьютерами». - сказал Мойн. «Чтение жестов рук — один из способов улучшения взаимодействия человека с компьютером. И хотя есть и другие способы сделать это, например, с помощью камер и компьютерного зрения, это хорошее решение, которое также сохраняет конфиденциальность человека».

Система распознавания жестов рук

Команда работала с Аной Ариас, профессором электротехники Калифорнийского университета в Беркли, во время разработки системы. Вместе они разработали и создали гибкую повязку, способную считывать электрические сигналы в 64 различных точках на предплечье. Затем эти электрические сигналы подавались на электрический чип, запрограммированный с помощью алгоритма ИИ. Этот алгоритм может идентифицировать образцы сигналов в предплечье, которые исходят от определенных жестов рук.

Алгоритм смог идентифицировать 21 отдельный жест рукой.

«Когда вы хотите, чтобы мышцы ваших рук сокращались, ваш мозг посылает электрические сигналы через нейроны шеи и плеч к мышечным волокнам рук и кистей», — сказал Мойн. «По сути, электроды в манжете воспринимают это электрическое поле. Это не так точно, в том смысле, что мы не можем точно определить, какие именно волокна были активированы, но с высокой плотностью электродов он все же может научиться распознавать определенные паттерны».

Алгоритм ИИ сначала учится идентифицировать электрические сигналы в руке и соответствующие им жесты рук, что требует от пользователя ношения устройства во время выполнения этих жестов. Делая шаг вперед, система опирается на алгоритм гиперпространственных вычислений, который представляет собой продвинутый ИИ, который постоянно обновляется. Эта передовая технология позволяет системе корректировать себя с помощью новой информации, такой как движения рук или пот.

«При распознавании жестов ваши сигналы будут меняться со временем, и это может повлиять на производительность вашей модели», - сказал Мойн. «Мы смогли значительно повысить точность классификации, обновив модель на устройстве».

Локальные вычисления на чипе

Еще одна впечатляющая особенность устройства заключается в том, что все вычисления выполняются на чипе, что означает, что никакие личные данные не передаются на другие устройства. Это приводит к ускорению вычислений и защите биологических данных.

Ян Рабей — заслуженный профессор электротехники Дональда О. Педерсена в Калифорнийском университете в Беркли и старший автор статьи.

«Когда Amazon или Apple создают свои алгоритмы, они запускают в облаке кучу программного обеспечения, которое создает модель, а затем модель загружается на ваше устройство», — сказал Ян Рабей. «Проблема в том, что тогда вы застряли с этой конкретной моделью. В нашем подходе мы реализовали процесс, при котором обучение выполняется на самом устройстве. И это очень быстро: вам нужно сделать это только один раз, и он начнет выполнять свою работу. Но если вы сделаете это больше раз, это может стать лучше. Таким образом, это постоянное обучение, как это делают люди».

По словам Рабаи, устройство может быть коммерциализировано после нескольких незначительных изменений.

«Большинство этих технологий уже существуют в других местах, но уникальность этого устройства заключается в том, что оно объединяет биозондирование, обработку и интерпретацию сигналов, а также искусственный интеллект в одну относительно небольшую и гибкую систему с низким бюджетом мощности», — сказал Рабей.