인텔의 가면을 쓴 휴머노이드 컨트롤러: 물리적으로 현실적이고 지시 가능한 인간 동작 생성을 위한 새로운 접근 방식

연구원 인텔 연구소, 학계 및 산업 전문가와 협력하여 희소하고 다중 모드 입력에서 현실적이고 지시 가능한 인간 동작을 생성하는 획기적인 기술을 도입했습니다. 그들의 작업은 컴퓨터 비전에 관한 유럽 회의 (ECCV 2024)는 고차원 인간형 캐릭터에서 자연스럽고 물리적인 인간 행동을 생성하는 데 따르는 과제를 극복하는 데 중점을 두고 있습니다. 이 연구는 컴퓨터 비전 및 머신 러닝 발전을 위한 인텔 랩의 광범위한 이니셔티브의 일환입니다.

Intel Labs와 파트너는 최근 다음과 같은 내용을 발표했습니다. ECCV 2024에서 XNUMX개의 최첨단 논문 발표, 주최하는 최고의 컨퍼런스 유럽 ​​컴퓨터 비전 협회 (ECVA).

종이 다중 모달 입력에서 물리적으로 현실적이고 지시 가능한 인간 동작 생성 텍스트-이미지 모델을 프롬프트 기반 레드팀 공격으로부터 보호하기 위한 새로운 방어 전략과 이러한 모델에서 공간적 일관성을 개선하도록 설계된 대규모 데이터 세트의 개발을 포함한 혁신을 선보였습니다. 이러한 기여 중에서 이 논문은 생성 모델링을 발전시키는 동시에 우선순위를 정하는 데 있어 인텔의 헌신을 강조합니다. 책임있는 AI 관행.

다중 모달 입력을 사용하여 현실적인 인간 동작 생성

인텔의 Masked Humanoid Controller(MHC)는 시뮬레이션된 물리 환경에서 인간과 같은 동작을 생성하도록 설계된 획기적인 시스템입니다. 완전히 세부적인 동작 캡처 데이터에 크게 의존하는 기존 방식과 달리 MHC는 다양한 소스에서 희소하고 불완전하거나 부분적인 입력 데이터를 처리하도록 구축되었습니다. 이러한 소스에는 손이나 머리 움직임만 추적할 수 있는 VR 컨트롤러, 고수준 탐색 명령만 제공하는 조이스틱 입력, 특정 신체 부위가 가려질 수 있는 비디오 추적 또는 텍스트 프롬프트에서 파생된 추상적인 지침이 포함될 수 있습니다.

이 기술의 혁신은 데이터가 누락되거나 불완전한 격차를 해석하고 채우는 능력에 있습니다. 인텔이 이를 따라잡기, 합치기, 완료(CCC) 기능 :

• 케첩: 이 기능을 사용하면 MHC가 중단이 발생할 때(예: 시스템이 실패한 상태, 예를 들어 넘어진 휴머노이드 캐릭터) 동작을 복구하고 재동기화할 수 있습니다. 이 시스템은 재교육이나 수동 조정 없이도 동작을 빠르게 수정하고 자연스러운 동작을 재개할 수 있습니다.
• 결합: MHC는 상체 동작(예: 흔들기)과 하체 동작을 다른 동작(예: 걷기)에서 합치는 것처럼 서로 다른 동작 시퀀스를 함께 혼합할 수 있습니다. 이러한 유연성 덕분에 기존 동작 데이터에서 완전히 새로운 행동을 생성할 수 있습니다.
• 완료: 부분적인 신체 움직임 데이터나 모호한 상위 수준 지시와 같은 희소한 입력이 주어지면 MHC는 동작의 누락된 부분을 지능적으로 추론하고 생성할 수 있습니다. 예를 들어, 팔 움직임만 지정된 경우 MHC는 물리적 균형과 사실성을 유지하기 위해 해당 다리 동작을 자율적으로 생성할 수 있습니다.

그 결과, 불완전하거나 지정이 부족한 지시에도 부드럽고 사실적이며 물리적으로 정확한 움직임을 생성할 수 있는 매우 적응력 있는 동작 생성 시스템이 탄생했습니다. 따라서 MHC는 게임, 로봇, 가상 현실 및 고품질의 인간과 같은 동작이 필요하지만 입력 데이터가 제한적인 모든 시나리오에 이상적입니다.

생성 동작 모델에 대한 MHC의 영향

가면을 쓴 휴머노이드 컨트롤러(MHC)는 텍스트-이미지 변환을 지원하는 모델을 포함하여 생성 모델을 책임감 있게 구축하기 위한 Intel Labs와 협력업체의 보다 광범위한 노력의 일부입니다. 3D 생성 작업. ECCV 2024에서 논의된 대로, 이 접근 방식은 로봇공학, 가상 현실, 게임, 시뮬레이션과 같은 산업에 중대한 영향을 미치며, 이러한 산업에서는 사실적인 인간 동작의 생성이 중요합니다. 다중 모드 입력을 통합하고 컨트롤러가 동작 간에 원활하게 전환할 수 있도록 함으로써 MHC는 센서 데이터에 노이즈가 있거나 불완전할 수 있는 실제 조건을 처리할 수 있습니다.

Intel Labs의 이 연구는 텍스트-이미지 모델을 위한 새로운 방어 및 이미지 생성에서 공간적 일관성을 개선하기 위한 기술 개발과 같은 ECCV 2024에서 발표된 다른 고급 연구와 함께 합니다. 이러한 발전은 안전하고 확장 가능하며 책임감 있는 AI 기술 개발에 중점을 두고 컴퓨터 비전 분야에서 Intel의 리더십을 보여줍니다.

결론

Intel Labs와 학계 협력자들이 개발한 Masked Humanoid Controller(MHC)는 인간 동작 생성 분야에서 중요한 진전을 나타냅니다. 다중 모드 입력에서 현실적인 동작을 생성하는 복잡한 제어 문제를 해결함으로써 MHC는 VR, 게임, 로봇 및 시뮬레이션에서 새로운 응용 프로그램을 위한 길을 열었습니다. ECCV 2024에서 소개된 이 연구는 책임 있는 AI와 생성 모델링을 발전시키고 다양한 도메인에서 보다 안전하고 적응력 있는 기술에 기여하려는 Intel의 의지를 보여줍니다.