Исследователи разработали новый алгоритм распознавания жестов рук

Команда исследователей под руководством Zhiyi Yu из Университета Сунь Ят-сена разработала новый алгоритм распознавания жестов рук, который является сложным, точным и применимым.

Жесты рук все чаще используются для взаимодействия между человеком и компьютером, и недавние достижения в области камерных систем, анализа изображений и машинного обучения значительно улучшили оптическое распознавание жестов. Однако существующие методы сталкиваются с многочисленными проблемами из-за ограничений высокого вычислительного сложности, низкой скорости, низкой точности и небольшого количества распознаваемых жестов.

Новый алгоритм, разработанный командой, попытается преодолеть эти ограничения, и он был описан в статье, опубликованной в Журнале электронного изображения. Одной из основных целей команды было создание алгоритма, который не только преодолевает эти проблемы, но и может быть легко применен в потребительских устройствах.

Адаптивность к разным типам рук

Одним из наиболее впечатляющих аспектов алгоритма является его адаптивность к разным типам рук. Он сначала пытается классифицировать тип руки пользователя как тонкий, нормальный или широкий. Он делает это на основе трех измерений, учитывающих отношения между шириной ладони, длиной ладони и длиной пальцев.

После успешной классификации процесс распознавания жестов рук сравнивает входной жест с сохраненными образцами того же типа руки.

“Традиционные простые алгоритмы часто страдают от низких показателей распознавания, потому что они не могут справиться с разными типами рук. Классифицируя входной жест по типу руки и используя библиотеки образцов, соответствующих этому типу, мы можем улучшить общий показатель распознавания с почти незначительным потреблением ресурсов”, – говорит Ю.

Этап предварительного распознавания

Метод команды также основан на использовании “shortcut-функции” для выполнения этапа предварительного распознавания. Алгоритм распознавания может идентифицировать входной жест из девяти возможных жестов, но сравнение всех особенностей входного жеста с особенностями сохраненных образцов для всех возможных жестов очень трудоемко.

Чтобы преодолеть это, этап предварительного распознавания алгоритма рассчитывает соотношение площади руки, чтобы выбрать три наиболее вероятных жеста из девяти возможных. Это снижает количество кандидатов до трех, и окончательный жест определяется более сложным и высокоточным извлечением особенностей на основе “Hu-инвариантных моментов”.

“Этап предварительного распознавания не только снижает количество вычислений и необходимых аппаратных ресурсов, но также улучшает скорость распознавания без ущерба для точности”, – говорит Ю.

Алгоритм был протестирован на коммерческой процессорной платформе и платформе FPGA с использованием USB-камеры. Команда пригласила 40 волонтеров, чтобы сделать девять жестов рук несколько раз, и еще 40 были использованы для определения точности системы.

Система продемонстрировала, что она может распознавать жесты рук в реальном времени с точностью более 93%. Это было так даже тогда, когда входные изображения жестов были повернуты, переведены или масштабированы.

Исследователи говорят, что они теперь будут сосредоточены на улучшении производительности алгоритма при разных условиях освещения, а также на увеличении количества возможных жестов.