Sistema de IA pode reconhecer gestos de mão com precisão

Um novo sistema de inteligência artificial (IA) capaz de reconhecer gestos de mão foi desenvolvido por cientistas da Universidade Tecnológica de Nanyang, Singapura (NTU Singapura). A tecnologia funciona combinando eletrônica semelhante à pele com visão computacional.

O desenvolvimento de sistemas de IA para reconhecer gestos humanos de mão vem ocorrendo há cerca de 10 anos e é atualmente utilizado em robôs cirúrgicos, equipamentos de monitoramento de saúde e em sistemas de jogos.

Os sistemas iniciais de IA de reconhecimento de gestos eram apenas visuais, e entradas de sensores vestíveis foram integradas para melhorá-los. Isso é chamado de “fusão de dados”. Uma das habilidades de sensoriamento é chamada de “somatossensorial”, e os sensores vestíveis podem recriá-la.

A precisão do reconhecimento de gestos ainda é difícil de alcançar devido à baixa qualidade dos dados provenientes dos sensores vestíveis. Isso ocorre devido à volumosidade e ao mau contato com o usuário, bem como aos efeitos de objetos visualmente bloqueados e à iluminação ruim.

Mais desafios vêm da integração de dados visuais e sensoriais, pois conjuntos de dados não coincidentes precisam ser processados separadamente e eventualmente mesclados no final. Esse processo é ineficiente e leva a tempos de resposta mais lentos.

A equipe da NTU encontrou algumas maneiras de superar esses desafios, incluindo a criação de um sistema de fusão de dados “bioinspirado” que depende de sensores de deformação esticáveis semelhantes à pele feitos de nanotubos de carbono de parede única. A equipe também confiou na IA como uma forma de representar como a pele e a visão são processadas juntas no cérebro.

Três abordagens de redes neurais foram combinadas em um sistema para desenvolver o sistema de IA. Os três tipos de redes neurais foram: uma rede neural convolucional, uma rede neural esparsa e uma rede neural multilayer.

Ao combinar essas três, a equipe pôde desenvolver um sistema capaz de reconhecer gestos humanos com mais precisão em comparação com outros métodos.

O professor Chen Xiaodon é o autor principal do estudo. Ele é da Escola de Ciência e Engenharia de Materiais da NTU.

“Nossa arquitetura de fusão de dados tem suas próprias características bioinspiradas únicas, que incluem um sistema feito pelo homem que se assemelha à hierarquia de fusão somatossensorial-visual no cérebro. Acreditamos que essas características tornam nossa arquitetura única em relação às abordagens existentes.”

Chen também é diretor do Centro de Dispositivos Flexíveis Inovadores (iFLEX) da NTU.

“Em comparação com sensores vestíveis rígidos que não formam um contato íntimo o suficiente com o usuário para coletar dados precisos, nossa inovação usa sensores de deformação esticáveis que se fixam confortavelmente à pele humana. Isso permite a aquisição de sinais de alta qualidade, o que é vital para tarefas de reconhecimento de alta precisão”, disse Chen.

As descobertas da equipe, composta por cientistas da NTU Singapura e da Universidade de Tecnologia de Sydney (UTS), foram publicadas em junho na revista científica Nature Electronics.

Testando o Sistema

A equipe testou o sistema de IA bioinspirado com um robô controlado por gestos de mão. O robô foi guiado por um labirinto, e os resultados demonstraram que o sistema de IA de reconhecimento de gestos de mão foi capaz de guiar o robô pelo labirinto sem erros. Isso em comparação com um sistema de reconhecimento baseado em visão, que cometeu seis erros no mesmo labirinto.

Testando em condições ruins, como ruído e más condições de iluminação, o sistema de IA ainda manteve uma alta precisão. A taxa de precisão de reconhecimento alcançou mais de 96,7%.

O Dr. Wang Ming, da Escola de Ciência e Engenharia de Materiais da NTU Singapura, foi o primeiro autor do estudo.

“O segredo por trás da alta precisão em nossa arquitetura está no fato de que as informações visuais e somatossensoriais podem interagir e se complementar em uma etapa inicial antes de realizar interpretações complexas”, disse Ming. “Como resultado, o sistema pode coletar informações coerentes com menos dados redundantes e menos ambiguidade perceptual, resultando em uma melhor precisão.”

De acordo com uma visão independente do Professor Markus Antonietti, Diretor do Instituto Max Planck de Coloides e Interfaces na Alemanha, “As descobertas deste artigo nos levam mais um passo adiante em direção a um mundo mais inteligente e mais apoiado por máquinas. Assim como a invenção do smartphone, que revolucionou a sociedade, este trabalho nos dá esperança de que um dia poderemos controlar fisicamente todo o nosso mundo ao redor com grande confiabilidade e precisão por meio de um gesto.”

“Há simplesmente aplicações infinitas para essa tecnologia no mercado para apoiar esse futuro. Por exemplo, desde o controle remoto de robôs em ambientes de trabalho inteligentes até exoesqueletos para idosos.”

A equipe de pesquisa agora trabalhará em um sistema de realidade virtual e aumentada baseado no sistema de IA bioinspirado.