Розробники створили новий алгоритм розпізнавання жестів рук

Команда дослідників під керівництвом Чжії Ю з Університету Сунь Ят-сена розробила новий алгоритм розпізнавання жестів рук, який є складним, точним і застосовним.

Жести рук все частіше використовуються для взаємодії людини з комп’ютером, і недавні досягнення в галузі камерних систем, аналізу зображень і машинного навчання значно покращили оптичне розпізнавання жестів. Однак чинні методи стикаються з багатьма проблемами через обмеження високої обчислювальної складності, низької швидкості, низької точності і низької кількості розпізнаваних жестів.

Новий алгоритм, розроблений командою, намагається подолати ці обмеження, і він був описаний у статті, опублікованій у Журналі електронного зображення. Одним з головних цілей команди було створення алгоритму, який не тільки подолає ці проблеми, але також може бути легко застосований у пристроях споживчого рівня.

Адаптивність до різних типів рук

Одним з найвражаючих аспектів алгоритму є його адаптивність до різних типів рук. Він спочатку намагається класифікувати тип руки користувача як худу, нормальну або широкую. Він робить це на основі трьох вимірів, що враховують відносини між шириною долоні, довжиною долоні і довжиною пальців.

Після успішної класифікації процес розпізнавання жестів рук порівнює вхідний жест з збереженими зразками того ж типу руки.

“Традиційні прості алгоритми часто страждають від низьких показників розпізнавання, оскільки вони не можуть впоратися з різними типами рук. Класифікуючи вхідний жест за типом руки та використовуючи бібліотеки зразків, що відповідають цьому типу, ми можемо покращити загальний показник розпізнавання з майже незначним споживанням ресурсів”, – говорить Ю.

Ступінь передрозпізнавання

Метод команди також залежить від використання “функції швидкого доступу” для виконання ступеня передрозпізнавання. Алгоритм розпізнавання може розпізнавати вхідний жест з дев’яти можливих жестів, але порівнювати всі характеристики вхідного жесту з характеристиками збережених зразків для всіх можливих жестів дуже часу споживаюче.

Щоб подолати це, ступінь передрозпізнавання алгоритму обчислює співвідношення площі руки для вибору трьох найбільш імовірних жестів з дев’яти можливих. Це зменшує кількість кандидатів на жест до трьох, а остаточний жест визначається більш складним і високоточним витягуванням ознак на основі “Hu-інваріантних моментів”.

“Ступінь передрозпізнавання жестів не тільки зменшує кількість обчислень і апаратних ресурсів, необхідних для розпізнавання, але також покращує швидкість розпізнавання без компромісу точності”, – говорить Ю.

Алгоритм був протестований на комерційному процесорі PC і платформі FPGA з використанням камери USB. Команда запросила 40 добровольців зробити дев’ять жестів рук кілька разів, а ще 40 були використані для визначення точності системи.

Система продемонструвала можливість розпізнавання жестів рук в реальному часі з показником точності понад 93%. Це було справедливим навіть тоді, коли зображення вхідних жестів були обернені, перекладені або масштабовані.

Дослідники заявили, що тепер вони будуть зосереджені на покращенні продуктивності алгоритму під різними умовами освітлення, а також на збільшенні кількості можливих жестів.