Дослідники розробили новий алгоритм розпізнавання жестів

Команда дослідників під керівництвом Чжиї Ю з Університету Сунь Ятсена розробила новий алгоритм розпізнавання жестів рукою, який є складним, точним і застосовним. 

Жести рук все більше застосовуються для взаємодії людини з комп’ютером, а останні досягнення в системах камер, аналізі зображень і машинному навчанні значно покращили оптичне розпізнавання жестів. З огляду на це, сучасні методи стикаються з багатьма проблемами через обмеження у високій обчислювальній складності, низькій швидкості, низькій точності та малій кількості розпізнаваних жестів. 

Новий алгоритм, розроблений командою, намагається подолати ці обмеження, і це детально описано в статті, опублікованій у Журнал електронних зображень. Однією з головних цілей команди було створити алгоритм, який не тільки подолає ці проблеми, але й може бути легко застосований у пристроях споживчого рівня.

Адаптація до різних типів рук

Одним із найбільш вражаючих аспектів алгоритму є його адаптивність до різних типів рук. Спочатку він намагається класифікувати тип руки користувача як тонкий, нормальний або широкий. Він робить це на основі трьох вимірювань, що враховують співвідношення між шириною долоні, довжиною долоні та довжиною пальця. 

Після успішної класифікації процес розпізнавання жестів рукою порівнює жест введення зі збереженими зразками рук того самого типу. 

«Традиційні прості алгоритми, як правило, страждають від низького рівня розпізнавання, оскільки вони не можуть впоратися з різними типами рук. Спочатку класифікуючи жест введення за типом руки, а потім використовуючи бібліотеки зразків, які відповідають цьому типу, ми можемо покращити загальний рівень розпізнавання з майже незначним споживанням ресурсів», — каже Ю.

Етап попереднього розпізнавання

Метод команди також покладається на використання «функції швидкого доступу» для виконання етапу попереднього розпізнавання. Алгоритм розпізнавання здатний ідентифікувати жест введення з дев’яти можливих жестів, але порівняння всіх функцій жесту введення з характеристиками збережених зразків для всіх можливих жестів займає надзвичайно багато часу. 

Щоб подолати це, етап попереднього розпізнавання алгоритму обчислює співвідношення площі руки, щоб вибрати три найімовірніші жести з дев’яти можливих. Таким чином кількість жестів-кандидатів стає трьома, а остаточний жест визначається більш складним і високоточним виділенням ознак на основі «інваріантних моментів Ху».

«Етап попереднього розпізнавання жестів не тільки зменшує кількість необхідних обчислень і апаратних ресурсів, але й покращує швидкість розпізнавання без шкоди для точності», — говорить Ю. 

Алгоритм був протестований на комерційному процесорі ПК і платформі FPGA за допомогою камери USB. Команда запросила 40 добровольців зробити дев'ять жестів рукою кілька разів, і ще 40 були використані для визначення точності системи.

Система продемонструвала, що може розпізнавати жести в реальному часі з точністю понад 93%. Це було навіть тоді, коли зображення жестів введення оберталися, перекладалися або масштабувалися. 

Дослідники кажуть, що тепер вони намагатимуться зосередитися на покращенні продуктивності алгоритму за різних умов освітлення, а також збільшать кількість можливих жестів.