Controlador humanoide enmascarado de Intel: un nuevo enfoque para la generación de movimiento humano físicamente realista y dirigible

Investigadores de Intel Labs, en colaboración con expertos académicos y de la industria, han presentado una técnica innovadora para generar movimiento humano realista y dirigible a partir de entradas dispersas y multimodales. Su trabajo, destacado en la conferencia Conferencia europea sobre visión artificial (ECCV 2024), se centra en superar los desafíos de generar comportamientos humanos naturales y basados ​​en la física en personajes humanoides de alta dimensión. Esta investigación forma parte de la iniciativa más amplia de Intel Labs para impulsar la visión artificial y el aprendizaje automático.

Intel Labs y sus socios presentaron recientemente Seis artículos de vanguardia en ECCV 2024, una conferencia de primer nivel organizada por la Asociación Europea de Visión por Computador (AECV).

El documento Generación de movimientos humanos físicamente realistas y dirigibles a partir de entradas multimodales Se mostraron innovaciones que incluyen una nueva estrategia de defensa para proteger los modelos de texto a imagen de ataques de equipos rojos basados ​​en indicaciones y el desarrollo de un conjunto de datos a gran escala diseñado para mejorar la consistencia espacial en estos modelos. Entre estas contribuciones, el documento destaca la dedicación de Intel a la promoción del modelado generativo al tiempo que prioriza IA responsable prácticas.

Generación de movimientos humanos realistas mediante entradas multimodales

El controlador humanoide enmascarado (MHC) de Intel es un sistema innovador diseñado para generar movimientos similares a los humanos en entornos de física simulada. A diferencia de los métodos tradicionales que dependen en gran medida de datos de captura de movimiento completamente detallados, el MHC está diseñado para manejar datos de entrada escasos, incompletos o parciales de una variedad de fuentes. Estas fuentes pueden incluir controladores de realidad virtual, que solo pueden rastrear movimientos de la mano o la cabeza; entradas de joystick que solo brindan comandos de navegación de alto nivel; seguimiento de video, donde ciertas partes del cuerpo pueden estar ocluidas; o incluso instrucciones abstractas derivadas de indicaciones de texto.

La innovación de la tecnología radica en su capacidad de interpretar y completar los espacios vacíos donde faltan datos o están incompletos. Esto lo logra mediante lo que Intel denomina el Ponerse al día, combinar y completar (CCC) capacidades:

• Alcanzar:Esta función permite que el MHC recupere y resincronice su movimiento cuando se producen interrupciones, como cuando el sistema se inicia en un estado fallido, como un personaje humanoide que se ha caído. El sistema puede corregir rápidamente sus movimientos y reanudar el movimiento natural sin necesidad de volver a entrenarlo ni realizar ajustes manuales.
• Combinar:MHC puede combinar diferentes secuencias de movimiento, como fusionar los movimientos de la parte superior del cuerpo de una acción (por ejemplo, saludar con la mano) con las acciones de la parte inferior del cuerpo de otra (por ejemplo, caminar). Esta flexibilidad permite generar comportamientos completamente nuevos a partir de datos de movimiento existentes.
• Rutina de Belleza completa con:Cuando se le dan datos escasos, como datos parciales de movimientos corporales o directivas vagas de alto nivel, el MHC puede inferir y generar de manera inteligente las partes faltantes del movimiento. Por ejemplo, si solo se especifican movimientos de brazos, el MHC puede generar de manera autónoma los movimientos de piernas correspondientes para mantener el equilibrio físico y el realismo.

El resultado es un sistema de generación de movimiento altamente adaptable que puede crear movimientos fluidos, realistas y físicamente precisos, incluso con directivas incompletas o poco especificadas. Esto hace que MHC sea ideal para aplicaciones en juegos, robótica, realidad virtual y cualquier escenario en el que se necesite un movimiento similar al humano de alta calidad pero los datos de entrada sean limitados.

El impacto del MHC en los modelos de movimiento generativo

El controlador humanoide enmascarado (MHC) es parte de un esfuerzo más amplio de Intel Labs y sus colaboradores para construir de manera responsable modelos generativos, incluidos aquellos que impulsan la conversión de texto a imagen y generación 3D Tareas. Como se discutió en ECCV 2024, este enfoque tiene implicaciones significativas para industrias como la robótica, la realidad virtual, los juegos y la simulación, donde la generación de movimiento humano realista es crucial. Al incorporar entradas multimodales y permitir que el controlador realice transiciones sin problemas entre movimientos, el MHC puede manejar condiciones del mundo real donde los datos del sensor pueden ser ruidosos o incompletos.

Este trabajo de Intel Labs se suma a otras investigaciones avanzadas presentadas en ECCV 2024, como su novedosa defensa de los modelos de conversión de texto a imagen y el desarrollo de técnicas para mejorar la coherencia espacial en la generación de imágenes. En conjunto, estos avances demuestran el liderazgo de Intel en el campo de la visión artificial, con un enfoque en el desarrollo de tecnologías de inteligencia artificial seguras, escalables y responsables.

Conclusión

El controlador humanoide enmascarado (MHC), desarrollado por Intel Labs y colaboradores académicos, representa un avance fundamental en el campo de la generación de movimiento humano. Al abordar el complejo problema de control de generar movimientos realistas a partir de entradas multimodales, el MHC allana el camino para nuevas aplicaciones en realidad virtual, juegos, robótica y simulación. Esta investigación, presentada en ECCV 2024, demuestra el compromiso de Intel con el avance de la IA responsable y el modelado generativo, contribuyendo a tecnologías más seguras y adaptativas en varios dominios.