Sistema AI pode reconhecer gestos de mão com precisão

Um novo sistema de inteligência artificial (IA) capaz de reconhecer gestos manuais foi desenvolvido por cientistas da Universidade Tecnológica de Nanyang, Singapura (NTU Singapura). A tecnologia funciona combinando eletrônica semelhante à pele com visão computacional.

O desenvolvimento de sistemas de IA para reconhecimento de gestos de mãos humanas ocorre há cerca de 10 anos, sendo atualmente utilizado em robôs cirúrgicos, equipamentos de monitoramento de saúde e em sistemas de jogos. 

Os sistemas iniciais de reconhecimento de gestos de IA eram apenas visuais e as entradas de sensores vestíveis foram integradas para melhorá-los. Isso é chamado de “fusão de dados”. Uma das habilidades sensoriais é chamada de 'somatossensorial', e os sensores vestíveis podem recriá-la. 

A precisão do reconhecimento de gestos ainda é difícil de alcançar devido à baixa qualidade dos dados provenientes de sensores vestíveis. Isso acontece devido ao volume e ao pouco contato com o usuário, bem como aos efeitos de objetos bloqueados visualmente e pouca iluminação. 

Mais desafios vêm da integração de dados visuais e sensoriais, uma vez que conjuntos de dados incompatíveis precisam ser processados ​​separadamente e eventualmente mesclados no final. Esse processo é ineficiente e leva a tempos de resposta mais lentos. 

A equipe da NTU apresentou algumas maneiras de superar esses desafios, incluindo a criação de um sistema de fusão de dados “bioinspirado” que se baseia em sensores de deformação elásticos semelhantes à pele feitos de nanotubos de carbono de parede única. A equipe também contou com a IA como uma forma de representar como os sentidos da pele e a visão são processados ​​juntos no cérebro.

Três abordagens de redes neurais foram combinadas em um sistema para desenvolver o sistema de IA. Os três tipos de redes neurais foram: uma rede neural convolucional, uma rede neural esparsa e uma rede neural multicamadas.

Ao combinar esses três, a equipe pode desenvolver um sistema capaz de reconhecer com mais precisão os gestos humanos em comparação com outros métodos.

O professor Chen Xiaodon é o principal autor do estudo. Ele é da Escola de Ciência e Engenharia de Materiais da NTU. 

“Nossa arquitetura de fusão de dados tem seus próprios recursos bio-inspirados exclusivos, que incluem um sistema feito pelo homem que se assemelha à hierarquia de fusão somatossensorial-visual no cérebro. Acreditamos que tais recursos tornam nossa arquitetura única para as abordagens existentes.”

Chen também é diretor do Centro Inovador para Dispositivos Flexíveis (iFLEX) da NTU. 

“Em comparação com sensores vestíveis rígidos que não formam um contato íntimo o suficiente com o usuário para coleta de dados precisa, nossa inovação usa sensores de tensão elásticos que se prendem confortavelmente à pele humana. Isso permite a aquisição de sinal de alta qualidade, o que é vital para tarefas de reconhecimento de alta precisão”, disse Chen.

As descobertas da equipe formada por cientistas da NTU Singapore e da University of Technology Sydney (UTS) foram publicadas em junho na revista científica Eletrônicos da Natureza.

Testando o sistema

A equipe testou o sistema de IA de inspiração biológica com um robô controlado por gestos manuais. O robô foi guiado por um labirinto e os resultados demonstraram que o sistema de reconhecimento de gestos de mão AI foi capaz de guiar o robô pelo labirinto sem erros. Isso comparado a um sistema de reconhecimento baseado em visual, que cometeu seis erros no mesmo labirinto.

Testando em condições ruins, como ruído e más condições de iluminação, o sistema AI ainda manteve uma alta precisão. A taxa de precisão de reconhecimento atingiu mais de 96.7%.

O Dr. Wang Ming, da Escola de Ciência e Engenharia de Materiais da NTU Singapore, foi o primeiro autor do estudo. 

“O segredo por trás da alta precisão em nossa arquitetura reside no fato de que as informações visuais e somatossensoriais podem interagir e se complementar em um estágio inicial antes de realizar uma interpretação complexa”, disse Ming. “Como resultado, o sistema pode coletar racionalmente informações coerentes com menos dados redundantes e menos ambiguidade perceptiva, resultando em melhor precisão.”

De acordo com uma visão independente do professor Markus Antonietti, diretor do Instituto Max Planck de colóides e interfaces na Alemanha, “as descobertas deste artigo nos trazem mais um passo em direção a um mundo mais inteligente e mais suportado por máquinas. Assim como a invenção do smartphone que revolucionou a sociedade, este trabalho nos dá esperança de que um dia poderemos controlar fisicamente todo o mundo ao nosso redor com grande confiabilidade e precisão por meio de um gesto”.

“Existem aplicações infinitas para essa tecnologia no mercado para dar suporte a esse futuro. Por exemplo, de um controle remoto de robôs sobre locais de trabalho inteligentes a exoesqueletos para idosos”.

A equipe de pesquisa agora trabalhará em um sistema de realidade virtual e realidade aumentada baseado no sistema de IA de inspiração biológica.