Controlador humanoide mascarado da Intel: uma nova abordagem para geração de movimento humano fisicamente realista e direcionável

pesquisadores da Intel Labs, em colaboração com especialistas acadêmicos e da indústria, introduziram uma técnica inovadora para gerar movimento humano realista e direcionável a partir de entradas esparsas e multimodais. Seu trabalho, destacado no Conferência Europeia sobre Visão Computacional (ECCV 2024), concentra-se em superar os desafios de gerar comportamentos humanos naturais e físicos em personagens humanoides de alta dimensão. Esta pesquisa faz parte de uma iniciativa mais ampla do Intel Labs para avançar a visão computacional e o aprendizado de máquina.

A Intel Labs e seus parceiros apresentaram recentemente seis artigos de vanguarda na ECCV 2024, uma conferência de primeira linha organizada pela Associação Europeia de Visão Computacional (ECVA).

O papel Gerando movimentos humanos fisicamente realistas e direcionáveis ​​a partir de entradas multimodais apresentou inovações, incluindo uma nova estratégia de defesa para proteger modelos de texto para imagem de ataques de red teaming baseados em prompt e o desenvolvimento de um conjunto de dados em larga escala projetado para melhorar a consistência espacial nesses modelos. Entre essas contribuições, o artigo destaca a dedicação da Intel em avançar na modelagem generativa, ao mesmo tempo em que prioriza AI responsável práticas.

Gerando movimentos humanos realistas usando entradas multimodais

O Masked Humanoid Controller (MHC) da Intel é um sistema inovador projetado para gerar movimentos semelhantes aos humanos em ambientes de física simulada. Ao contrário dos métodos tradicionais que dependem muito de dados de captura de movimento totalmente detalhados, o MHC é construído para lidar com dados de entrada esparsos, incompletos ou parciais de uma variedade de fontes. Essas fontes podem incluir controladores de RV, que podem rastrear apenas movimentos de mão ou cabeça; entradas de joystick que fornecem apenas comandos de navegação de alto nível; rastreamento de vídeo, onde certas partes do corpo podem ser ocluídas; ou até mesmo instruções abstratas derivadas de prompts de texto.

A inovação da tecnologia está na sua capacidade de interpretar e preencher as lacunas onde os dados estão faltando ou incompletos. Ela consegue isso por meio do que a Intel chama de Recuperar, combinar e completar (CCC) capacidades:

• Alcançar: Este recurso permite que o MHC recupere e ressincronize seu movimento quando ocorrem interrupções, como quando o sistema inicia em um estado de falha, como um personagem humanoide que caiu. O sistema pode corrigir rapidamente seus movimentos e retomar o movimento natural sem retreinamento ou ajustes manuais.
• Combinar: O MHC pode misturar diferentes sequências de movimento, como mesclar movimentos da parte superior do corpo de uma ação (por exemplo, acenar) com ações da parte inferior do corpo de outra (por exemplo, caminhar). Essa flexibilidade permite a geração de comportamentos inteiramente novos a partir de dados de movimento existentes.
• Preencha: Quando dados de entradas esparsas, como dados de movimento corporal parcial ou diretivas vagas de alto nível, o MHC pode inferir e gerar inteligentemente as partes ausentes do movimento. Por exemplo, se apenas movimentos de braço forem especificados, o MHC pode gerar autonomamente movimentos de perna correspondentes para manter o equilíbrio físico e o realismo.

O resultado é um sistema de geração de movimento altamente adaptável que pode criar movimentos suaves, realistas e fisicamente precisos, mesmo com diretivas incompletas ou subespecificadas. Isso torna o MHC ideal para aplicações em jogos, robótica, realidade virtual e qualquer cenário em que seja necessário movimento humano de alta qualidade, mas os dados de entrada sejam limitados.

O Impacto do MHC nos Modelos de Movimento Generativo

O Masked Humanoid Controller (MHC) faz parte de um esforço mais amplo da Intel Labs e seus colaboradores para construir de forma responsável modelos generativos, incluindo aqueles que alimentam a conversão de texto para imagem e Geração 3D tarefas. Conforme discutido na ECCV 2024, essa abordagem tem implicações significativas para indústrias como robótica, realidade virtual, jogos e simulação, onde a geração de movimento humano realista é crucial. Ao incorporar entradas multimodais e permitir que o controlador faça a transição perfeita entre os movimentos, o MHC pode lidar com condições do mundo real, onde os dados do sensor podem ser ruidosos ou incompletos.

Este trabalho do Intel Labs está ao lado de outras pesquisas avançadas apresentadas no ECCV 2024, como sua nova defesa para modelos de texto para imagem e o desenvolvimento de técnicas para melhorar a consistência espacial na geração de imagens. Juntos, esses avanços demonstram a liderança da Intel no campo da visão computacional, com foco no desenvolvimento de tecnologias de IA seguras, escaláveis ​​e responsáveis.

Conclusão

O Masked Humanoid Controller (MHC), desenvolvido pela Intel Labs e colaboradores acadêmicos, representa um passo crítico à frente no campo da geração de movimento humano. Ao abordar o complexo problema de controle de gerar movimentos realistas a partir de entradas multimodais, o MHC abre caminho para novas aplicações em VR, jogos, robótica e simulação. Esta pesquisa, apresentada no ECCV 2024, demonstra o comprometimento da Intel em avançar a IA responsável e a modelagem generativa, contribuindo para tecnologias mais seguras e adaptáveis ​​em vários domínios.