El SISTEMA DE INTELIGENCIA ARTIFICIAL PUEDE RECONOCER GESTOS DE MANO CON PRECISIÓN

Un nuevo sistema de inteligencia artificial (IA) capaz de reconocer gestos de mano ha sido desarrollado por científicos de la Universidad Tecnológica de Nanyang, Singapur (NTU Singapur). La tecnología funciona combinando electrónica similar a la piel con visión por computadora.

El desarrollo de sistemas de IA para reconocer gestos humanos ha estado en marcha durante unos 10 años y actualmente se utiliza en robots quirúrgicos, equipos de monitoreo de salud y en sistemas de juegos.

Los sistemas iniciales de reconocimiento de gestos de IA eran solo visuales, y se han integrado entradas de sensores portátiles para mejorarlos. Esto se llama “fusión de datos”. Una de las habilidades de detección se llama “somatosensorial”, y los sensores portátiles pueden recrearla.

La precisión del reconocimiento de gestos todavía es difícil de lograr debido a la baja calidad de los datos que provienen de los sensores portátiles. Esto ocurre debido a la bulkiness y el mal contacto con el usuario, así como los efectos de objetos visualmente bloqueados y mala iluminación.

Más desafíos provienen de la integración de datos visuales y sensoriales, ya que los conjuntos de datos no coincidentes deben procesarse por separado y eventualmente fusionarse al final. Este proceso es ineficiente y conduce a tiempos de respuesta más lentos.

El equipo de NTU encontró algunas formas de superar estos desafíos, incluyendo la creación de un sistema de fusión de datos “bioinspirado” que se basa en sensores de tensión estirables similares a la piel hechos de nanotubos de carbono de pared simple. El equipo también se basó en la IA como una forma de representar cómo la piel y la visión se procesan juntas en el cerebro.

Se combinaron tres enfoques de redes neuronales en un solo sistema para desarrollar el sistema de IA. Los tres tipos de redes neuronales fueron: una red neuronal convolucional, una red neuronal dispersa y una red neuronal de capas múltiples.

Al combinar estos tres, el equipo pudo desarrollar un sistema capaz de reconocer gestos humanos con mayor precisión en comparación con otros métodos.

El profesor Chen Xiaodon es el autor principal del estudio. Es de la Escuela de Ciencia y Ingeniería de Materiales de NTU.

“Nuestra arquitectura de fusión de datos tiene sus propias características bioinspiradas únicas que incluyen un sistema creado por humanos que se asemeja a la jerarquía de fusión somatosensorial-visual en el cerebro. Creemos que tales características hacen que nuestra arquitectura sea única en comparación con los enfoques existentes”.

Chen también es el director del Centro de Dispositivos Flexibles Innovadores (iFLEX) en NTU.

“En comparación con los sensores portátiles rígidos que no forman un contacto lo suficientemente íntimo con el usuario para una recopilación de datos precisa, nuestra innovación utiliza sensores de tensión estirables que se adjuntan cómodamente a la piel humana. Esto permite la adquisición de señales de alta calidad, lo cual es vital para tareas de reconocimiento de alta precisión”, dijo Chen.

Los hallazgos del equipo, formado por científicos de NTU Singapur y la Universidad de Tecnología de Sídney (UTS), se publicaron en junio en la revista científica Nature Electronics.

Probando el sistema

El equipo probó el sistema de IA bioinspirado con un robot controlado mediante gestos de mano. El robot se guió a través de un laberinto, y los resultados demostraron que el sistema de reconocimiento de gestos de mano de IA pudo guiar al robot a través del laberinto sin errores. Esto en comparación con un sistema de reconocimiento basado en la visión, que cometió seis errores en el mismo laberinto.

Al probar en condiciones deficientes, como ruido y condiciones de iluminación deficientes, el sistema de IA aún mantuvo una alta precisión. La tasa de precisión del reconocimiento alcanzó más del 96,7%.

El Dr. Wang Ming, de la Escuela de Ciencia y Ingeniería de Materiales de NTU Singapur, fue el autor principal del estudio.

“El secreto detrás de la alta precisión en nuestra arquitectura radica en el hecho de que la información visual y somatosensorial pueden interactuar y complementarse en una etapa temprana antes de realizar una interpretación compleja”, dijo Ming. “Como resultado, el sistema puede recopilar información coherente con menos datos redundantes y menos ambigüedad perceptual, lo que da como resultado una mayor precisión”.

Según una opinión independiente del profesor Markus Antonietti, director del Instituto Max Planck de Coloides e Interfaces en Alemania, “Los hallazgos de este artículo nos llevan un paso más hacia un mundo más inteligente y con más apoyo de máquinas. Al igual que la invención del smartphone que ha revolucionado la sociedad, este trabajo nos da esperanza de que podríamos controlar físicamente todo nuestro mundo circundante con gran confiabilidad y precisión a través de un gesto”.

“Hay aplicaciones prácticamente ilimitadas para esta tecnología en el mercado para apoyar este futuro. Por ejemplo, desde el control remoto de robots en lugares de trabajo inteligentes hasta exoesqueletos para personas mayores”.

El equipo de investigación ahora trabajará en un sistema de realidad virtual y aumentada basado en el sistema de IA bioinspirado.