Controlador Humanóide Mascaramento da Intel: Uma Abordagem Inovadora para Geração de Movimento Humano Realista e Direcionável

Pesquisadores dos Laboratórios da Intel (INTC ), em colaboração com especialistas acadêmicos e da indústria, introduziram uma técnica inovadora para gerar movimento humano realista e direcionável a partir de entradas multi-modais esparsas. Seu trabalho, destacado na Conferência Europeia de Visão Computacional (ECCV 2024), se concentra em superar os desafios de gerar comportamentos humanos naturais e baseados em física em personagens humanoides de alta dimensionalidade. Essa pesquisa faz parte da iniciativa mais ampla dos Laboratórios da Intel para avançar na visão computacional e no aprendizado de máquina.

Os Laboratórios da Intel e seus parceiros recentemente apresentaram seis artigos de ponta em ECCV 2024, uma conferência de alto nível organizada pela Associação Europeia de Visão Computacional (ECVA).

O artigo Geração de Movimentos Humanos Realistas e Direcionáveis a Partir de Entradas Multi-Modais apresentou inovações, incluindo uma nova estratégia de defesa para proteger modelos de texto-para-imagem de ataques de red teaming baseados em prompts e o desenvolvimento de um conjunto de dados de grande escala projetado para melhorar a consistência espacial nesses modelos. Entre essas contribuições, o artigo destaca o compromisso da Intel em avançar na modelagem gerativa, priorizando práticas de IA responsável.

Geração de Movimentos Humanos Realistas Usando Entradas Multi-Modais

O Controlador Humanóide Mascaramento (MHC) da Intel é um sistema inovador projetado para gerar movimento humano-like em ambientes de física simulada. Ao contrário dos métodos tradicionais que dependem fortemente de dados de captura de movimento detalhados, o MHC é projetado para lidar com dados de entrada esparsos, incompletos ou parciais de várias fontes. Essas fontes podem incluir controladores de realidade virtual, que podem rastrear apenas movimentos de mãos ou cabeça; entradas de joystick que dão apenas comandos de navegação de alto nível; rastreamento de vídeo, onde certas partes do corpo podem ser ocultadas; ou até instruções abstratas derivadas de prompts de texto.

A inovação da tecnologia reside em sua capacidade de interpretar e preencher as lacunas onde os dados estão faltando ou são incompletos. Isso é alcançado por meio do que a Intel chama de capacidades Catch-up, Combine e Complete (CCC):

• Catch-up: Essa funcionalidade permite que o MHC recupere e ressincronize seu movimento quando ocorrem interrupções, como quando o sistema começa em um estado falho, como um personagem humanóide que caiu. O sistema pode rapidamente corrigir seus movimentos e retomar o movimento natural sem retreinamento ou ajustes manuais.
• Combine: O MHC pode mesclar diferentes sequências de movimento, como mesclar movimentos do corpo superior de uma ação (por exemplo, acenar) com movimentos do corpo inferior de outra ação (por exemplo, andar). Essa flexibilidade permite a geração de comportamentos completamente novos a partir de dados de movimento existentes.
• Complete: Quando dado entradas esparsas, como dados de movimento parcial do corpo ou diretrizes de alto nível vagas, o MHC pode inteligentemente inferir e gerar as partes faltantes do movimento. Por exemplo, se apenas movimentos de braços forem especificados, o MHC pode autonomamente gerar movimentos de pernas correspondentes para manter o equilíbrio físico e a realidade.

O resultado é um sistema de geração de movimento altamente adaptável que pode criar movimentos suaves, realistas e fisicamente precisos, mesmo com diretrizes incompletas ou subespecificadas. Isso torna o MHC ideal para aplicações em jogos, robótica, realidade virtual e qualquer cenário onde seja necessário movimento humano-like de alta qualidade, mas os dados de entrada sejam limitados.

O Impacto do MHC em Modelos de Movimento Gerativos

O Controlador Humanóide Mascaramento (MHC) faz parte de um esforço mais amplo dos Laboratórios da Intel e seus colaboradores para construir modelos gerativos de forma responsável, incluindo aqueles que alimentam tarefas de geração de texto-para-imagem e geração 3D. Como discutido no ECCV 2024, essa abordagem tem implicações significativas para indústrias como robótica, realidade virtual, jogos e simulação, onde a geração de movimento humano realista é crucial. Ao incorporar entradas multi-modais e permitir que o controlador faça transições suaves entre movimentos, o MHC pode lidar com condições do mundo real onde os dados dos sensores podem ser ruins ou incompletos.

Esse trabalho dos Laboratórios da Intel está ao lado de outras pesquisas avançadas apresentadas no ECCV 2024, como sua nova defesa para modelos de texto-para-imagem e o desenvolvimento de técnicas para melhorar a consistência espacial na geração de imagens. Juntos, esses avanços demonstram a liderança da Intel no campo da visão computacional, com foco no desenvolvimento de tecnologias de IA seguras, escaláveis e responsáveis.

Conclusão

O Controlador Humanóide Mascaramento (MHC), desenvolvido pelos Laboratórios da Intel e colaboradores acadêmicos, representa um passo crítico para a frente no campo da geração de movimento humano. Ao abordar o complexo problema de controle de geração de movimentos realistas a partir de entradas multi-modais, o MHC abre caminho para novas aplicações em RV, jogos, robótica e simulação. Essa pesquisa, destacada no ECCV 2024, demonstra o compromisso da Intel em avançar na IA responsável e na modelagem gerativa, contribuindo para tecnologias mais seguras e adaptáveis em vários domínios.