Výskumníci vyvinuli nový algoritmus na rozpoznávanie gest ruky

Tím výskumníkov pod vedením Zhiyi Yu z univerzity Sun Yat-sen vyvinul nový algoritmus rozpoznávania gest ruky, ktorý je zložitý, presný a použiteľný. 

Gestá rúk sa čoraz viac využívajú na interakcie medzi človekom a počítačom a nedávny pokrok v oblasti kamerových systémov, analýzy obrazu a strojového učenia výrazne zlepšil optické rozpoznávanie gest. Súčasné metódy čelia mnohým výzvam v dôsledku obmedzení vo vysokej výpočtovej zložitosti, nízkej rýchlosti, nízkej presnosti a nízkeho počtu rozpoznateľných gest. 

Nový algoritmus vyvinutý tímom sa pokúša prekonať tieto obmedzenia a bol podrobne popísaný v článku publikovanom v Journal of Electronic Imaging. Jedným z hlavných cieľov tímu bolo vytvoriť algoritmus, ktorý nielenže prekoná tieto výzvy, ale dá sa ľahko aplikovať aj na spotrebiteľské zariadenia.

Prispôsobivosť rôznym typom rúk

Jedným z najpôsobivejších aspektov algoritmu je jeho prispôsobivosť rôznym typom rúk. Najprv sa pokúša klasifikovať typ ruky používateľa ako štíhly, normálny alebo široký. Robí to na základe troch meraní, ktoré zohľadňujú vzťahy medzi šírkou dlane, dĺžkou dlane a dĺžkou prstov. 

Po úspešnej klasifikácii proces rozpoznávania gest ruky porovnáva vstupné gesto s uloženými vzorkami rovnakého typu ruky. 

„Tradičné jednoduché algoritmy majú tendenciu trpieť nízkou mierou rozpoznávania, pretože si nedokážu poradiť s rôznymi typmi rúk. Prvým klasifikovaním vstupného gesta podľa typu ruky a následným použitím vzorových knižníc, ktoré zodpovedajú tomuto typu, môžeme zlepšiť celkovú mieru rozpoznávania s takmer zanedbateľnou spotrebou zdrojov,“ hovorí Yu.

Krok predbežného rozpoznania

Metóda tímu sa tiež spolieha na použitie „funkcie skratky“ na vykonanie kroku predbežného rozpoznania. Algoritmus rozpoznávania je schopný identifikovať vstupné gesto z deviatich možných gest, ale porovnávanie všetkých funkcií vstupného gesta s vlastnosťami uložených vzoriek pre všetky možné gestá je mimoriadne časovo náročné. 

Aby sa to prekonalo, krok predbežného rozpoznania algoritmu vypočíta pomer plochy ruky, aby vybral tri najpravdepodobnejšie gestá z možných deviatich. Tým sa počet kandidátskych gest zvyšuje na tri a o konečnom geste rozhoduje zložitejšia a presnejšia extrakcia funkcií na základe „invariantných momentov Hu“.

„Krok predbežného rozpoznávania gest nielen znižuje počet potrebných výpočtov a hardvérových zdrojov, ale tiež zlepšuje rýchlosť rozpoznávania bez kompromisov v presnosti,“ hovorí Yu. 

Algoritmus bol testovaný v komerčnom PC procesore a platforme FPGA s použitím USB kamery. Tím vyzval 40 dobrovoľníkov, aby urobili deväť gest rukami niekoľkokrát a 40 ďalších bolo použitých na určenie presnosti systému.

Systém preukázal, že dokáže rozpoznať gestá rúk v reálnom čase s presnosťou nad 93 %. Bolo to tak aj vtedy, keď boli obrázky vstupných gest otočené, preložené alebo zmenené. 

Vedci tvrdia, že sa teraz zamerajú na zlepšenie výkonu algoritmu za rôznych svetelných podmienok, ako aj na zvýšenie počtu možných gest.