Инженеры разработали систему распознавания жестов рук на основе ИИ

Инженеры из Калифорнийского университета в Беркли разработали устройство, способное распознавать жесты рук на основе электрических сигналов, обнаруживаемых в передней части руки. Эта новая система является результатом носимых биосенсоров и искусственного интеллекта (ИИ), и она может привести к лучшему контролю протезов и взаимодействию человека с компьютером.

Али Моин был частью команды разработчиков и является докторантом в департаменте электротехники и компьютерных наук Калифорнийского университета в Беркли. Моин также является соавтором первой статьи, опубликованной в интернете 21 декабря в журнале Nature Electronics.

“Протезы являются одним из важных применений этой технологии, но кроме того, она также предлагает очень интуитивный способ общения с компьютерами”, – сказал Моин. “Чтение жестов рук является одним из способов улучшения взаимодействия человека с компьютером. И, хотя существуют другие способы сделать это, например, используя камеры и компьютерное зрение, это хорошее решение, которое также сохраняет конфиденциальность человека.”

Система распознавания жестов рук

Команда работала с Аной Ариас, профессором электротехники в Калифорнийском университете в Беркли, во время разработки системы. Вместе они разработали и создали гибкую манжету, способную читать электрические сигналы в 64 разных точках передней части руки. Эти электрические сигналы затем передавались на электрическую микросхему, запрограммированную с алгоритмом ИИ. Этот алгоритм может идентифицировать закономерности сигналов в передней части руки, соответствующие конкретным жестам рук.

Алгоритм смог идентифицировать 21 отдельный жест рук.

“Когда вы хотите, чтобы ваши мышцы руки сокращались, ваш мозг отправляет электрические сигналы через нейроны в вашей шее и плечах к мышечным волокнам в ваших руках”, – сказал Моин. “По сути, то, что электроды в манжете обнаруживают, – это это электрическое поле. Это не так точно, в том смысле, что мы не можем точно указать, какие именно волокна были активированы, но с высокой плотностью электродов оно все равно может научиться распознавать определенные закономерности.”

Алгоритм ИИ сначала учится идентифицировать электрические сигналы в руке и соответствующие им жесты рук, что требует от пользователя носить устройство, делая эти жесты. Далее система использует алгоритм гиперразмерного вычисления, который является продвинутым ИИ, постоянно обновляющимся. Эта продвинутая технология позволяет системе исправлять себя с новой информацией, такой как движения рук или пот.

“При распознавании жестов ваши сигналы будут меняться со временем, и это может повлиять на производительность вашей модели”, – сказал Моин. “Мы смогли значительно улучшить точность классификации, обновив модель на устройстве.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Вычисления на микросхеме

Другой впечатляющий функцией устройства является то, что все вычисления происходят на микросхеме, что означает, что никакие личные данные не передаются на другие устройства. Это приводит к более быстрому времени вычислений и защищенным биологическим данным.

Ян Рабаей является профессором электротехники в Калифорнийском университете в Беркли и старшим автором статьи.

“Когда Amazon (AMZN ) или Apple (AAPL ) создают свои алгоритмы, они запускают программное обеспечение в облаке, которое создает модель, и затем модель загружается на ваше устройство”, – сказал Ян Рабаей. “Проблема в том, что затем вы застреваете с этой конкретной моделью. В нашем подходе мы реализовали процесс, в котором обучение происходит на самом устройстве. И это чрезвычайно быстро: вам нужно сделать это только один раз, и оно начинает работать. Но если вы сделаете это несколько раз, оно может стать лучше. Итак, это постоянно учится, как это делают люди.”

По словам Рабаея, устройство может стать коммерческим после нескольких незначительных изменений.

“Большинство этих технологий уже существуют в других местах, но то, что уникально в этом устройстве, – это то, что оно интегрирует биочувствительность, обработку сигналов и интерпретацию, а также искусственный интеллект в одну систему, которая относительно мала и гибка и имеет низкий энергетический бюджет”, – сказал Рабаей.