Sistema de IA puede reconocer gestos manuales con precisión

Un nuevo sistema de inteligencia artificial (IA) capaz de reconocer gestos manuales ha sido desarrollado por científicos de la Universidad Tecnológica de Nanyang, Singapur (NTU Singapur). La tecnología funciona combinando electrónica similar a la piel con visión por computadora.

El desarrollo de sistemas de IA para reconocer gestos manuales humanos ha estado en marcha durante unos 10 años, y actualmente se utiliza en robots quirúrgicos, equipo de monitoreo de salud y en sistemas de juegos.

Los sistemas iniciales de reconocimiento de gestos de IA eran solo visuales, y se han integrado entradas de sensores portátiles para mejorarlos. Esto se llama “fusión de datos”. Una de las habilidades de detección se llama “somatosensorial”, y los sensores portátiles pueden recrearla.

La precisión del reconocimiento de gestos todavía es difícil de lograr debido a la baja calidad de los datos que provienen de los sensores portátiles. Esto sucede debido a la bulkiness y el mal contacto con el usuario, así como los efectos de objetos visualmente bloqueados y mala iluminación.

Más desafíos provienen de la integración de datos visuales y sensoriales, ya que los conjuntos de datos no coincidentes necesitan ser procesados por separado y eventualmente fusionados al final. Este proceso es ineficiente y conduce a tiempos de respuesta más lentos.

El equipo de NTU encontró algunas formas de superar estos desafíos, incluyendo la creación de un sistema de fusión de datos “bioinspirado” que se basa en sensores de deformación estirables similares a la piel hechos de nanotubos de carbono de pared simple. El equipo también se basó en la IA como una forma de representar cómo la piel y la visión se procesan juntas en el cerebro.

Se combinaron tres enfoques de redes neuronales en un solo sistema para desarrollar el sistema de IA. Los tres tipos de redes neuronales fueron: una red neuronal convolucional, una red neuronal dispersa y una red neuronal multilayer.

Al combinar estos tres, el equipo pudo desarrollar un sistema capaz de reconocer gestos humanos con más precisión en comparación con otros métodos.

El profesor Chen Xiaodon es el autor principal del estudio. Él es de la Escuela de Ciencia y Ingeniería de Materiales en NTU.

“Nuestra arquitectura de fusión de datos tiene sus propias características bioinspiradas únicas que incluyen un sistema creado por humanos que se asemeja a la jerarquía de fusión somatosensorial-visual en el cerebro. Creemos que tales características hacen que nuestra arquitectura sea única en comparación con los enfoques existentes.”

Chen también es Director del Centro de Dispositivos Flexibles Innovadores (iFLEX) en NTU.

“En comparación con los sensores portátiles rígidos que no forman un contacto lo suficientemente íntimo con el usuario para una recopilación de datos precisa, nuestra innovación utiliza sensores de deformación estirables que se adhieren cómodamente a la piel humana. Esto permite una adquisición de señales de alta calidad, que es vital para tareas de reconocimiento de alta precisión”, dijo Chen.

Los hallazgos del equipo compuesto por científicos de NTU Singapur y la Universidad de Tecnología de Sídney (UTS) se publicaron en junio en la revista científica Nature Electronics.

Poniendo a prueba el sistema

El equipo probó el sistema de IA bioinspirado con un robot controlado a través de gestos manuales. El robot se guió a través de un laberinto, y los resultados demostraron que el sistema de reconocimiento de gestos de IA fue capaz de guiar al robot a través del laberinto sin errores. Esto en comparación con un sistema de reconocimiento visual, que cometió seis errores en el mismo laberinto.

Al probar bajo condiciones pobres, como ruido y malas condiciones de iluminación, el sistema de IA aún mantuvo una alta precisión. La tasa de precisión de reconocimiento alcanzó más del 96,7%.

El Dr. Wang Ming de la Escuela de Ciencia y Ingeniería de Materiales en NTU Singapur fue el autor principal del estudio.

“El secreto detrás de la alta precisión en nuestra arquitectura radica en el hecho de que la información visual y somatosensorial pueden interactuar y complementarse en una etapa temprana antes de realizar una interpretación compleja”, dijo Ming. “Como resultado, el sistema puede recopilar coherentemente información con menos datos redundantes y menos ambigüedad perceptual, lo que conduce a una mayor precisión”.

Según una opinión independiente del profesor Markus Antonietti, Director del Instituto Max Planck de Coloides e Interfaces en Alemania, “Los hallazgos de este artículo nos llevan un paso adelante hacia un mundo más inteligente y con más soporte de máquinas. Al igual que la invención del smartphone que ha revolucionado la sociedad, este trabajo nos da esperanza de que podríamos controlar físicamente todo nuestro mundo circundante con gran confiabilidad y precisión a través de un gesto”.

“Hay aplicaciones simples y sin fin para esta tecnología en el mercado para apoyar este futuro. Por ejemplo, desde el control remoto de robots en lugares de trabajo inteligentes hasta exoesqueletos para personas mayores”.

El equipo de investigación ahora trabajará en un sistema de RV y AR basado en el sistema de IA bioinspirado.