Le contrôleur humanoïde masqué d’Intel : une approche novatrice pour la génération de mouvements humains réalistes et dirigés

Les chercheurs d’Intel Labs (INTC ), en collaboration avec des experts universitaires et industriels, ont introduit une technique révolutionnaire pour générer des mouvements humains réalistes et dirigés à partir de données multi-modales éparses. Leur travail, mis en évidence à la Conférence européenne sur la vision par ordinateur (ECCV 2024), se concentre sur la résolution des défis liés à la génération de comportements humains naturels et physiquement basés dans des personnages humanoïdes à haute dimension. Cette recherche fait partie de l’initiative plus large d’Intel Labs pour faire progresser la vision par ordinateur et l’apprentissage automatique.

Intel Labs et ses partenaires ont récemment présenté six articles de pointe à l’ECCV 2024, une conférence de premier plan organisée par l’Association européenne de vision par ordinateur (ECVA).

Le document Génération de mouvements humains réalistes et dirigés à partir de données multi-modales a présenté des innovations, notamment une nouvelle stratégie de défense pour protéger les modèles de texte-à-image contre les attaques de red teaming basées sur des invites et le développement d’un grand ensemble de données conçu pour améliorer la cohérence spatiale dans ces modèles. Parmi ces contributions, le document met en évidence l’engagement d’Intel en faveur de la modélisation générative responsable et de la priorité accordée aux pratiques d’IA responsables.

Génération de mouvements humains réalistes à l’aide de données multi-modales

Le contrôleur humanoïde masqué (MHC) d’Intel est un système innovant conçu pour générer des mouvements humains dans des environnements de physique simulée. Contrairement aux méthodes traditionnelles qui s’appuient fortement sur des données de capture de mouvement détaillées, le MHC est conçu pour gérer des données d’entrée éparses, incomplètes ou partielles provenant de diverses sources. Ces sources peuvent inclure des contrôleurs de réalité virtuelle, qui peuvent suivre uniquement les mouvements de la main ou de la tête ; des entrées de joystick qui donnent uniquement des commandes de navigation de haut niveau ; un suivi vidéo, où certaines parties du corps peuvent être occultées ; ou même des instructions abstraites dérivées de invites de texte.

L’innovation de cette technologie réside dans sa capacité à interpréter et à combler les lacunes où les données sont manquantes ou incomplètes. Elle atteint cet objectif grâce à ce que Intel appelle les capacités Catch-up, Combine, and Complete (CCC) :

• Catch-up : Cette fonction permet au MHC de récupérer et de resynchroniser son mouvement lorsqu’il y a des perturbations, comme lorsque le système démarre dans un état défaillant, par exemple un personnage humanoïde qui est tombé. Le système peut rapidement corriger ses mouvements et reprendre un mouvement naturel sans réentraînement ni ajustements manuels.
• Combine : Le MHC peut combiner différentes séquences de mouvement, telles que la fusion des mouvements du haut du corps d’une action (par exemple, faire un signe de la main) avec les mouvements du bas du corps d’une autre action (par exemple, marcher). Cette flexibilité permet de générer de nouveaux comportements à partir de données de mouvement existantes.
• Complete : Lorsque des entrées éparses sont fournies, telles que des données de mouvement partielles du corps ou des directives de haut niveau vagues, le MHC peut intelligemment déduire et générer les parties manquantes du mouvement. Par exemple, si seuls les mouvements des bras sont spécifiés, le MHC peut générer de manière autonome des mouvements des jambes correspondants pour maintenir l’équilibre physique et la réalisme.

Le résultat est un système de génération de mouvement hautement adaptable qui peut créer des mouvements lisses, réalistes et physiquement précis, même avec des directives incomplètes ou sous-spécifiées. Cela rend le MHC idéal pour les applications dans les jeux, la robotique, la réalité virtuelle et tout scénario où des mouvements humains de haute qualité sont nécessaires mais où les données d’entrée sont limitées.

L’impact du MHC sur les modèles de mouvement génératifs

Le contrôleur humanoïde masqué (MHC) fait partie d’un effort plus large d’Intel Labs et de ses collaborateurs pour construire des modèles génératifs de manière responsable, y compris ceux qui alimentent les tâches de génération d’images à partir de texte et de génération 3D. Comme discuté à l’ECCV 2024, cette approche a des implications significatives pour les industries telles que la robotique, la réalité virtuelle, les jeux et la simulation, où la génération de mouvements humains réalistes est cruciale. En intégrant des entrées multi-modales et en permettant au contrôleur de passer en douceur d’un mouvement à un autre, le MHC peut gérer les conditions du monde réel où les données des capteurs peuvent être bruyantes ou incomplètes.

Ce travail d’Intel Labs se distingue parmi d’autres recherches avancées présentées à l’ECCV 2024, telles que leur nouvelle défense pour les modèles de texte-à-image et le développement de techniques pour améliorer la cohérence spatiale dans la génération d’images. Ensemble, ces progrès démontrent le leadership d’Intel dans le domaine de la vision par ordinateur, avec un accent sur le développement de technologies d’IA sécurisées, évolutives et responsables.

Conclusion

Le contrôleur humanoïde masqué (MHC), développé par Intel Labs et des collaborateurs universitaires, représente une étape cruciale dans le domaine de la génération de mouvements humains. En résolvant le problème complexe de contrôle de la génération de mouvements réalistes à partir de données multi-modales, le MHC ouvre la voie à de nouvelles applications dans la réalité virtuelle, les jeux, la robotique et la simulation. Cette recherche, présentée à l’ECCV 2024, démontre l’engagement d’Intel en faveur de la modélisation générative responsable et contribue à des technologies plus sûres et plus adaptatives dans divers domaines, permettant ainsi la génération de mouvements réalistes à partir de données multi-modales, le MHC ouvre la voie à de nouvelles applications dans la VR, les jeux, la robotique et la simulation. Cette recherche, présentée à l’ECCV 2024, démontre l’engagement d’Intel en faveur de la modélisation générative responsable et contribue à des technologies plus sûres et plus adaptatives dans divers domaines.