Controlador Humanoides Enmascarado de Intel: Un Enfoque Novedoso para la Generación de Movimiento Humano Físicamente Realista y Dirigible

Investigadores de Intel Labs, en colaboración con expertos académicos y de la industria, han introducido una técnica innovadora para generar movimiento humano realista y dirigible a partir de entradas multi-modales esparsas. Su trabajo, destacado en la Conferencia Europea de Visión por Computadora (ECCV 2024), se centra en superar los desafíos de generar comportamientos humanos naturales y basados en la física en personajes humanoides de alta dimensión. Esta investigación es parte de la iniciativa más amplia de Intel Labs para avanzar en visión por computadora y aprendizaje automático.

Intel Labs y sus socios presentaron recientemente seis artículos de vanguardia en ECCV 2024, una conferencia de primer nivel organizada por la Asociación Europea de Visión por Computadora (ECVA).

El artículo Generación de Movimientos Humanos Físicamente Realistas y Dirigibles a partir de Entradas Multi-Modales presentó innovaciones que incluyen una estrategia de defensa novedosa para proteger los modelos de texto a imagen de ataques de equipo rojo basados en instrucciones y el desarrollo de un conjunto de datos a gran escala diseñado para mejorar la coherencia espacial en estos modelos. Entre estas contribuciones, el artículo destaca la dedicación de Intel a avanzar en modelado generativo mientras prioriza las prácticas de IA responsable.

Generación de Movimientos Humanos Realistas Utilizando Entradas Multi-Modales

El Controlador Humanoides Enmascarado (MHC) de Intel es un sistema innovador diseñado para generar movimiento humano en entornos de física simulada. A diferencia de los métodos tradicionales que dependen en gran medida de datos de captura de movimiento completamente detallados, el MHC está diseñado para manejar datos de entrada esparsos, incompletos o parciales de una variedad de fuentes. Estas fuentes pueden incluir controladores de realidad virtual, que pueden rastrear solo movimientos de manos o cabeza; entradas de joystick que dan solo comandos de navegación de alto nivel; seguimiento de video, donde ciertas partes del cuerpo pueden estar ocultas; o incluso instrucciones abstractas derivadas de instrucciones de texto.

La innovación de la tecnología radica en su capacidad para interpretar y llenar los vacíos donde los datos están faltantes o son incompletos. Logra esto a través de lo que Intel denomina las capacidades Catch-up, Combine, and Complete (CCC):

• Catch-up: Esta función permite que el MHC recupere y resincronice su movimiento cuando ocurren interrupciones, como cuando el sistema comienza en un estado fallido, como un personaje humanoide que ha caído. El sistema puede corregir rápidamente sus movimientos y reanudar el movimiento natural sin necesidad de volver a entrenar o ajustes manuales.
• Combine: MHC puede combinar diferentes secuencias de movimiento, como fusionar movimientos del cuerpo superior de una acción (por ejemplo, saludar) con movimientos del cuerpo inferior de otra (por ejemplo, caminar). Esta flexibilidad permite la generación de comportamientos completamente nuevos a partir de datos de movimiento existentes.
• Complete: Cuando se le dan entradas esparsas, como datos de movimiento parciales del cuerpo o directivas vagas de alto nivel, el MHC puede inferir e inteligentemente generar las partes faltantes del movimiento. Por ejemplo, si solo se especifican movimientos de brazos, el MHC puede generar autonomamente movimientos de piernas correspondientes para mantener el equilibrio físico y la realismo.

El resultado es un sistema de generación de movimiento altamente adaptable que puede crear movimientos suaves, realistas y físicamente precisos, incluso con directivas incompletas o subespecificadas. Esto hace que el MHC sea ideal para aplicaciones en juegos, robótica, realidad virtual y cualquier escenario donde se necesite movimiento humano de alta calidad pero los datos de entrada son limitados.

El Impacto del MHC en los Modelos de Movimiento Generativo

El Controlador Humanoides Enmascarado (MHC) es parte de un esfuerzo más amplio de Intel Labs y sus colaboradores para construir responsablemente modelos generativos, incluidos aquellos que alimentan tareas de generación de texto a imagen y generación 3D. Como se discutió en ECCV 2024, este enfoque tiene implicaciones significativas para industrias como la robótica, la realidad virtual, los juegos y la simulación, donde la generación de movimiento humano realista es crucial. Al incorporar entradas multi-modales y permitir que el controlador transite sin problemas entre movimientos, el MHC puede manejar condiciones del mundo real donde los datos de los sensores pueden ser ruidosos o incompletos.

Este trabajo de Intel Labs se presenta junto a otras investigaciones avanzadas presentadas en ECCV 2024, como su defensa novedosa para modelos de texto a imagen y el desarrollo de técnicas para mejorar la coherencia espacial en la generación de imágenes. Juntas, estas mejoras demuestran el liderazgo de Intel en el campo de la visión por computadora, con un enfoque en el desarrollo de tecnologías de IA seguras, escalables y responsables.

Conclusión

El Controlador Humanoides Enmascarado (MHC), desarrollado por Intel Labs y colaboradores académicos, representa un paso crucial hacia adelante en el campo de la generación de movimiento humano. Al abordar el complejo problema de control de la generación de movimientos realistas a partir de entradas multi-modales, el MHC allana el camino para nuevas aplicaciones en VR, juegos, robótica y simulación. Esta investigación, presentada en ECCV 2024, demuestra el compromiso de Intel con el avance de la IA responsable y el modelado generativo, contribuyendo a tecnologías más seguras y adaptables en diversos dominios.