Pesquisadores desenvolvem novo algoritmo de reconhecimento de gestos manuais

Uma equipe de pesquisadores liderada por Zhiyi Yu, da Universidade Sun Yat-sen, desenvolveu um novo algoritmo de reconhecimento de gestos de mão que é complexo, preciso e aplicável. 

Gestos manuais estão sendo cada vez mais adotados para interações humano-computador, e avanços recentes em sistemas de câmeras, análise de imagens e aprendizado de máquina melhoraram muito o reconhecimento de gestos com base óptica. Dito isto, os métodos atuais enfrentam muitos desafios devido a limitações de alta complexidade computacional, baixa velocidade, baixa precisão e baixo número de gestos reconhecíveis. 

O novo algoritmo desenvolvido pela equipe tenta superar essas limitações e foi detalhado em um artigo publicado no Jornal de Imagem Eletrônica. Um dos principais objetivos da equipe era criar um algoritmo que não apenas superasse esses desafios, mas também pudesse ser facilmente aplicado em dispositivos de nível de consumidor.

Adaptabilidade a Diferentes Tipos de Mão

Um dos aspectos mais impressionantes do algoritmo é sua adaptabilidade a diferentes tipos de mão. Ele primeiro tenta classificar o tipo de mão do usuário como fino, normal ou largo. Ele faz isso com base em três medições que representam as relações entre a largura da palma, o comprimento da palma e o comprimento do dedo. 

Após uma classificação bem-sucedida, o processo de reconhecimento de gestos de mão compara o gesto de entrada com amostras armazenadas do mesmo tipo de mão. 

“Algoritmos simples tradicionais tendem a sofrer com baixas taxas de reconhecimento porque não conseguem lidar com diferentes tipos de mãos. Classificando primeiro o gesto de entrada por tipo de mão e, em seguida, usando bibliotecas de amostra que correspondem a esse tipo, podemos melhorar a taxa geral de reconhecimento com um consumo de recursos quase insignificante”, diz Yu.

A etapa de pré-reconhecimento

O método da equipe também conta com o uso de um “recurso de atalho” para executar uma etapa de pré-reconhecimento. O algoritmo de reconhecimento é capaz de identificar um gesto de entrada de nove gestos possíveis, mas é extremamente demorado comparar todos os recursos do gesto de entrada com os das amostras armazenadas para todos os gestos possíveis. 

Para superar isso, a etapa de pré-reconhecimento do algoritmo calcula uma proporção da área da mão para selecionar os três gestos mais prováveis ​​dos nove possíveis. Isso eleva o número de gestos candidatos para três, e o gesto final é decidido por uma extração de recursos mais complexa e de alta precisão baseada em “momentos invariantes de Hu”.

“A etapa de pré-reconhecimento de gestos não apenas reduz o número de cálculos e recursos de hardware necessários, mas também melhora a velocidade de reconhecimento sem comprometer a precisão”, diz Yu. 

O algoritmo foi testado em um processador de PC comercial e uma plataforma FPGA usando uma câmera USB. A equipe convocou 40 voluntários para fazer os nove gestos com as mãos várias vezes, e mais 40 foram usados ​​para determinar a precisão do sistema.

O sistema demonstrou que pode reconhecer gestos de mão em tempo real com uma taxa de precisão de mais de 93%. Esse foi o caso mesmo quando as imagens dos gestos de entrada foram giradas, transladadas ou dimensionadas. 

Os pesquisadores dizem que agora vão se concentrar em melhorar o desempenho do algoritmo sob diferentes condições de iluminação, bem como aumentar o número de gestos possíveis.