Výzkumníci vyvinuli nový algoritmus pro rozpoznávání gest rukou

Tým výzkumníků vedený Zhiyi Yuem z Sun Yat-sen University vyvinul nový algoritmus pro rozpoznávání gest rukou, který je komplexní, přesný a použitelný.

Gesty rukou se stále více používají pro interakce mezi člověkem a počítačem a recentní pokroky v kamerových systémech, analýze obrazu a strojovém učení významně zlepšily optické rozpoznávání gest. Nicméně, současné metody čelí mnoha výzvám kvůli omezením v vysoké výpočetní složitosti, nízké rychlosti, špatné přesnosti a nízkému počtu rozpoznatelných gest.

Nový algoritmus vyvinutý týmem se snaží překonat tyto omezení a byl popsán v článku publikovaném v Journal of Electronic Imaging. Jedním z hlavních cílů týmu bylo vytvořit algoritmus, který nejen překoná tyto výzvy, ale může být také snadno použit v spotřebitelských zařízeních.

Adaptabilita na různé typy rukou

Jedním z nejpozoruhodnějších aspektů algoritmu je jeho adaptabilita na různé typy rukou. Nejprve se snaží klasifikovat typ ruky uživatele jako štíhlou, normální nebo širokou. To dělá na základě tří měření, která zohledňují vztahy mezi šířkou dlaně, délkou dlaně a délkou prstů.

Po úspěšné klasifikaci proces rozpoznávání gest rukou porovnává vstupní gesto se uloženými vzorky stejného typu ruky.

“Tradiční jednoduché algoritmy často trpí nízkou rozpoznávací rychlostí, protože nemohou zvládnout různé typy rukou. Klasifikací vstupního gesta podle typu ruky a použitím vzorkových knihoven, které odpovídají tomuto typu, můžeme zlepšit celkovou rozpoznávací rychlost s téměř zanedbatelnou spotřebou zdrojů,” říká Yu.

Krok před rozpoznáním

Metoda týmu také spoléhá na použití „zkratkového prvku“ pro provedení kroku před rozpoznáním. Algoritmus rozpoznávání může identifikovat vstupní gesto z devíti možných gest, ale je extrémně časově náročné porovnat všechny vlastnosti vstupního gesta se uloženými vzorky pro všechna možná gesta.

K překonání tohoto omezení krok před rozpoznáním algoritmu vypočítává poměr oblasti ruky, aby vybral tři nejpravděpodobnější gesta z devíti možných. To snižuje počet kandidátních gest na tři a konečné gesto je rozhodnuto pomocí komplexnější a přesnější extrakce funkcí založené na „Hu invariantních momentech“.

„Krok před rozpoznáním nejen snižuje počet výpočtů a hardwarových zdrojů, ale také zlepšuje rozpoznávací rychlost bez kompromisů v přesnosti,“ říká Yu.

Algoritmus byl testován na komerčním procesoru PC a platformě FPGA pomocí USB kamery. Tým požádal 40 dobrovolníků, aby provedli devět gest rukou několikrát, a 40 dalších bylo použito pro určení přesnosti systému.

Systém prokázal, že může rozpoznávat gesta rukou v reálném čase s přesností přes 93%. To platilo i v případě, kdy byly vstupní gesta otáčena, překládána nebo měněna měřítkem.

Výzkumníci říkají, že se nyní budou snažit zlepšit výkon algoritmu za různých světelných podmínek a zvýšit počet možných gest.