英特尔的掩蔽人形控制器：一种生成物理上真实且可定向的人类运动的新方法

来自 英特尔实验室 的研究人员，与学术和行业专家合作，提出了一种从稀疏的多模态输入中生成真实且可定向的人类运动的开创性技术。他们的工作在 欧洲计算机视觉会议 (ECCV 2024) 上进行了介绍，重点是克服在高维人形角色中生成自然、基于物理的行为的挑战。这项研究是英特尔实验室推进计算机视觉和机器学习的更广泛计划的一部分。

英特尔实验室和其合作伙伴最近在 ECCV 2024 上发表了 六篇尖端论文，这是由 欧洲计算机视觉协会 (ECVA) 组织的顶级会议。

论文 从多模态输入中生成物理上真实且可定向的人类运动 展示了创新，包括一种新型的防御策略，用于保护基于文本的图像模型免受提示攻击，以及开发了一种大规模数据集，旨在提高这些模型的空间一致性。在这些贡献中，该论文强调了英特尔致力于推进生成性建模，同时优先考虑 负责任的 AI 实践。

使用多模态输入生成真实的人类运动

英特尔的掩蔽人形控制器 (MHC) 是一种突破性的系统，旨在生成模拟物理环境中的类人运动。与传统方法不同，传统方法严重依赖完整的运动捕捉数据，MHC 设计用于处理来自各种来源的稀疏、不完整或部分输入数据。这些来源可以包括 VR 控制器，它们可能只跟踪手或头部运动；操纵杆输入，它们只提供高级导航命令；视频跟踪，某些身体部位可能被遮挡；或从文本提示中推导出的抽象指令。

该技术的创新之处在于其解释和填补缺失或不完整数据的能力。它通过英特尔所谓的 追赶、组合和完成 (CCC) 能力来实现：

• 追赶：该功能允许 MHC 在中断发生时恢复和重新同步其运动，例如，当系统以失败状态开始时，例如人形角色已经倒下。系统可以快速纠正其运动并恢复自然运动，而无需重新训练或手动调整。
• 组合：MHC 可以将不同的运动序列合并在一起，例如，将一个动作（例如挥手）的上身运动与另一个动作（例如行走）的下身运动合并。这种灵活性允许从现有的运动数据中生成全新的行为。
• 完成：当给定稀疏输入时，例如部分身体运动数据或模糊的高级指令，MHC 可以智能地推断和生成缺失的运动部分。例如，如果只指定了手臂运动，MHC 可以自主生成对应的腿部运动，以保持物理平衡和真实性。

结果是一个高度可适应的运动生成系统，可以创建平滑、真实且物理上准确的运动，即使输入数据有限或不完整。这使得 MHC 非常适合应用于游戏、机器人、虚拟现实和任何需要高质量的人类运动但输入数据有限的场景。

MHC 对生成性运动模型的影响

掩蔽人形控制器 (MHC) 是英特尔实验室和其合作伙伴致力于建设生成性模型（包括支持文本到图像和 3D 生成 任务的模型）的一部分更广泛的努力。如在 ECCV 2024 上讨论的，这种方法对机器人、虚拟现实、游戏和模拟等行业具有重大影响，在这些行业中，生成真实的人类运动至关重要。通过整合多模态输入并使控制器能够无缝地在运动之间转换，MHC 可以处理现实世界中传感器数据可能存在噪音或不完整的条件。

这项工作与英特尔实验室在 ECCV 2024 上呈现的其他尖端研究一起，例如他们为文本到图像模型开发的新型防御策略和提高图像生成空间一致性的技术。这些进步共同展示了英特尔在计算机视觉领域的领导地位，重点是开发安全、可扩展和负责任的 AI 技术。

结论

英特尔实验室和学术合作伙伴开发的掩蔽人形控制器 (MHC) 代表了人类运动生成领域的一个重要进步。通过解决从多模态输入中生成真实运动的复杂控制问题，MHC 为虚拟现实、游戏、机器人和模拟中的新应用铺平了道路。这项在 ECCV 2024 上发表的研究表明了英特尔致力于推进负责任的 AI 和生成性建模，促进各个领域的更安全和更适应性技术。