Contrôleur humanoïde masqué d’Intel : une approche novatrice pour la génération de mouvements humains physiquement réalistes et directables

Les chercheurs d’Intel Labs, en collaboration avec des experts universitaires et industriels, ont introduit une technique révolutionnaire pour générer des mouvements humains réalistes et directables à partir de données multi-modales éparses. Leur travail, mis en évidence à la Conférence européenne sur la vision par ordinateur (ECCV 2024), se concentre sur la résolution des défis liés à la génération de comportements humains naturels et physiquement basés dans des personnages humanoïdes à haute dimension. Cette recherche fait partie de l’initiative plus large d’Intel Labs pour faire progresser la vision par ordinateur et l’apprentissage automatique.

Intel Labs et ses partenaires ont récemment présenté six articles de pointe à l’ECCV 2024, une conférence de premier plan organisée par l’Association européenne de vision par ordinateur (ECVA).

L’article Génération de mouvements humains physiquement réalistes et directables à partir de données multi-modales a présenté des innovations, notamment une nouvelle stratégie de défense pour protéger les modèles de texte-à-image contre les attaques de red teaming basées sur des invites, ainsi que le développement d’un grand ensemble de données conçu pour améliorer la cohérence spatiale dans ces modèles. Parmi ces contributions, l’article met en évidence l’engagement d’Intel en faveur de la promotion de la modélisation générative tout en donnant la priorité à des pratiques d’IA responsables.

Génération de mouvements humains réalistes à l’aide de données multi-modales

Le Contrôleur humanoïde masqué (MHC) d’Intel est un système révolutionnaire conçu pour générer des mouvements humains dans des environnements de physique simulée. Contrairement aux méthodes traditionnelles qui s’appuient lourdement sur des données de capture de mouvement entièrement détaillées, le MHC est conçu pour gérer des données d’entrée éparses, incomplètes ou partielles provenant de diverses sources. Ces sources peuvent inclure des contrôleurs VR, qui ne suivent peut-être que les mouvements des mains ou de la tête ; des entrées de joystick qui ne donnent que des commandes de navigation de haut niveau ; un suivi vidéo, où certaines parties du corps peuvent être occultées ; ou même des instructions abstraites dérivées d’invites de texte.

L’innovation de la technologie réside dans sa capacité à interpréter et à combler les lacunes où les données sont manquantes ou incomplètes. Cela est réalisé grâce à ce que Intel appelle les capacités Catch-up, Combine, and Complete (CCC) :

• Catch-up : cette fonction permet au MHC de récupérer et de resynchroniser son mouvement lorsqu’il y a des perturbations, comme lorsque le système démarre dans un état défaillant, comme un personnage humanoïde qui est tombé. Le système peut rapidement corriger ses mouvements et reprendre un mouvement naturel sans réentraînement ou ajustements manuels.
• Combine : le MHC peut combiner différentes séquences de mouvement, comme fusionner les mouvements du corps supérieur d’une action (par exemple, faire des signes) avec les mouvements du corps inférieur d’une autre action (par exemple, marcher). Cette flexibilité permet la génération de nouveaux comportements entièrement à partir de données de mouvement existantes.
• Complete : lorsque des entrées éparses sont fournies, telles que des données de mouvement de corps partielles ou des directives de haut niveau vagues, le MHC peut intelligemment déduire et générer les parties manquantes du mouvement. Par exemple, si seuls les mouvements des bras sont spécifiés, le MHC peut générer de manière autonome des mouvements de jambes correspondants pour maintenir l’équilibre physique et la réalisme.

Le résultat est un système de génération de mouvement hautement adaptable qui peut créer des mouvements lisses, réalistes et physiquement précis, même avec des directives incomplètes ou sous-spécifiées. Cela rend le MHC idéal pour les applications dans les jeux, la robotique, la réalité virtuelle et tout scénario où des mouvements humains de haute qualité sont nécessaires mais les données d’entrée sont limitées.

L’impact du MHC sur les modèles de mouvement génératifs

Le Contrôleur humanoïde masqué (MHC) fait partie d’un effort plus large d’Intel Labs et de ses collaborateurs pour construire des modèles génératifs de manière responsable, y compris ceux qui alimentent les tâches de génération de texte-à-image et de génération 3D. Comme discuté à l’ECCV 2024, cette approche a des implications significatives pour les industries telles que la robotique, la réalité virtuelle, les jeux et la simulation, où la génération de mouvements humains réalistes est cruciale. En incorporant des entrées multi-modales et en permettant au contrôleur de passer en douceur d’un mouvement à un autre, le MHC peut gérer les conditions du monde réel où les données des capteurs peuvent être bruyantes ou incomplètes.

Ce travail d’Intel Labs se trouve aux côtés d’autres recherches avancées présentées à l’ECCV 2024, telles que leur nouvelle défense pour les modèles de texte-à-image et le développement de techniques pour améliorer la cohérence spatiale dans la génération d’images. Ensemble, ces progrès mettent en évidence le leadership d’Intel dans le domaine de la vision par ordinateur, avec un focus sur le développement de technologies d’IA sécurisées, évolutives et responsables.

Conclusion

Le Contrôleur humanoïde masqué (MHC), développé par Intel Labs et des collaborateurs universitaires, représente une étape cruciale dans le domaine de la génération de mouvements humains. En résolvant le problème complexe de contrôle de la génération de mouvements réalistes à partir de données multi-modales, le MHC ouvre la voie à de nouvelles applications dans la VR, les jeux, la robotique et la simulation. Cette recherche, présentée à l’ECCV 2024, démontre l’engagement d’Intel en faveur de la promotion d’une IA responsable et de la modélisation générative, contribuant ainsi à des technologies plus sûres et plus adaptatives dans divers domaines.