Forskere utvikler ny algoritme for gjenkjennelse av håndbevegelser

Et team av forskere ledet av Zhiyi Yu fra Sun Yat-sen University har utviklet en ny algoritme for gjenkjennelse av håndbevegelser som er kompleks, nøyaktig og anvendelig.

Håndbevegelser blir stadig mer populære for menneske-maskin-interaksjoner, og nyere fremgang i kameraer, bildeanalyse og maskinlæring har betydelig forbedret optisk basert gjenkjennelse av håndbevegelser. Med det sagt, møter nåværende metoder mange utfordringer på grunn av begrensninger i høy beregningskompleksitet, lav hastighet, lav nøyaktighet og lavt antall gjenkjennbare bevegelser.

Den nye algoritmen som er utviklet av teamet prøver å overvinne disse begrensningene, og den ble detaljert i en artikkel publisert i Journal of Electronic Imaging. En av hovedmålene til teamet var å skape en algoritme som ikke bare overvinner disse utfordringene, men også kan være lett å bruke i forbruker-nivå enheter.

Tilpasning til forskjellige håndtyper

En av de mest imponerende aspektene ved algoritmen er dens tilpasning til forskjellige håndtyper. Den prøver først å klassifisere håndtypen til brukeren som enten slank, normal eller bred. Den gjør dette basert på tre målinger som tar hensyn til forholdet mellom håndbredden, håndlengden og fingerlengden.

Etter en vellykket klassifisering, sammenligner håndbevegelses-gjenkjennelsesprosessen den innkommende bevegelsen med lagrede eksempler av samme håndtype.

“Tradisjonelle enkle algoritmer lider ofte av lave gjenkjennelsesrater fordi de ikke kan håndtere forskjellige håndtyper. Ved å først klassifisere den innkommende bevegelsen etter håndtype og deretter bruke eksemplarsamlinger som matcher denne typen, kan vi forbedre den totale gjenkjennelsesraten med nesten ubetydelig ressursforbruk,” sier Yu.

Før-gjenkjennelses-steg

Teamets metode bygger også på bruk av en “snarvei-egenskap” for å utføre et før-gjenkjennelses-steg. Gjenkjennelsesalgoritmen kan identifisere en innkommende bevegelse av ni mulige bevegelser, men det er ekstremt tidskrevende å sammenligne alle egenskapene til den innkommende bevegelsen med de til lagrede eksempler for alle mulige bevegelser.

For å overvinne dette, beregner algoritmens før-gjenkjennelses-steg et forhold mellom håndens areal for å velge de tre mest sannsynlige bevegelsene av de ni mulige. Dette reduserer antallet kandidat-bevegelser til tre, og den endelige bevegelsen bestemmes av en mer kompleks og høy-presisjons egenskaps-uttrekk basert på “Hu-egenskaps-momenter”.

“Før-gjenkjennelses-steg reduserer ikke bare antallet beregninger og maskinvare-resurser som kreves, men forbedrer også gjenkjennelseshastigheten uten å kompromittere nøyaktigheten,” sier Yu.

Algoritmen ble testet på en kommersiell PC-prosessor og en FPGA-plattform med en USB-kamera. Teamet ba 40 frivillige om å gjøre de ni håndbevegelsene flere ganger, og 40 flere ble brukt til å bestemme nøyaktigheten til systemet.

Systemet viste at det kunne gjenkjenne håndbevegelser i sanntid med en nøyaktighetsrate på over 93%. Dette var tilfelle selv når de innkommende bevegelses-bildene var rotert, oversatt eller skalert.

Forskerne sier at de nå vil fokusere på å forbedre algoritmens ytelse under forskjellige lysforhold, samt øke antallet mulige bevegelser.