Istraživači razvijaju novi algoritam za prepoznavanje gestikulacije

Tim istraživača predvođen Zhiyi Yuom sa Sveučilišta Sun Yat-sen razvio je novi algoritam za prepoznavanje gesta rukom koji je složen, točan i primjenjiv. 

Pokreti rukama sve se više prihvaćaju za interakcije između ljudi i računala, a nedavni napredak u sustavima kamera, analizi slike i strojnom učenju uvelike je poboljšao optičko prepoznavanje pokreta. Uz navedeno, trenutne metode suočavaju se s mnogim izazovima zbog ograničenja u visokoj računskoj složenosti, niskoj brzini, slaboj točnosti i malom broju prepoznatljivih gesta. 

Novi algoritam koji je razvio tim pokušava prevladati ta ograničenja, a detaljno je opisan u radu objavljenom u Journal of Electronic Imaging. Jedan od glavnih ciljeva tima bio je stvoriti algoritam koji ne samo da prevladava te izazove, već se također može lako primijeniti na uređajima na razini potrošača.

Prilagodljivost različitim tipovima ruku

Jedan od najimpresivnijih aspekata algoritma je njegova prilagodljivost različitim tipovima ruku. Prvo pokušava klasificirati tip ruke korisnika kao tanku, normalnu ili široku. To čini na temelju tri mjerenja koja uzimaju u obzir odnose između širine dlana, duljine dlana i duljine prstiju. 

Nakon uspješne klasifikacije, proces prepoznavanja geste ruke uspoređuje gestu unosa s pohranjenim uzorcima iste vrste ruke. 

“Tradicionalni jednostavni algoritmi imaju tendenciju da pate od niskih stopa prepoznavanja jer se ne mogu nositi s različitim tipovima ruku. Najprije klasificirajući gestu unosa prema vrsti ruke i zatim koristeći knjižnice uzoraka koje odgovaraju ovoj vrsti, možemo poboljšati ukupnu stopu prepoznavanja uz gotovo zanemarivu potrošnju resursa,” kaže Yu.

Korak prethodnog prepoznavanja

Metoda tima također se oslanja na korištenje "značajke prečaca" za izvođenje koraka prethodnog prepoznavanja. Algoritam za prepoznavanje može identificirati gestu unosa od devet mogućih gesta, ali je izuzetno dugotrajno usporediti sve značajke geste unosa s onima pohranjenih uzoraka za sve moguće geste. 

Kako bi se to prevladalo, korak predprepoznavanja algoritma izračunava omjer površine ruke za odabir tri najvjerojatnije geste od mogućih devet. Time se broj gesta kandidata povećava na tri, a o konačnoj gesti odlučuje složenije i visokoprecizno izdvajanje značajki na temelju "Hu invarijantnih trenutaka".

"Korak prethodnog prepoznavanja geste ne samo da smanjuje broj potrebnih izračuna i hardverskih resursa, već također poboljšava brzinu prepoznavanja bez ugrožavanja točnosti", kaže Yu. 

Algoritam je testiran na komercijalnom PC procesoru i FPGA platformi pomoću USB kamere. Tim je pozvao 40 volontera da naprave devet gestikulacija rukama više puta, a još 40 ih je korišteno za utvrđivanje točnosti sustava.

Sustav je pokazao da može prepoznati geste ruku u stvarnom vremenu sa stopom točnosti od preko 93%. To je bio slučaj čak i kada su slike pokreta za unos rotirane, prevedene ili skalirane. 

Istraživači kažu da će se sada usredotočiti na poboljšanje performansi algoritma pod različitim uvjetima osvjetljenja, kao i na povećanje broja mogućih gesti.