인텔의 마스킨드 휴머노이드 컨트롤러: 멀티모달 입력을 사용한 물리적으로 실제적이고 제어 가능한 인간 동작 생성을 위한 새로운 접근법

인텔 연구소의 연구자들은 학계와 산업계의 전문가들과 협력하여 멀티모달 입력에서 실제적이고 제어 가능한 인간 동작을 생성하는 혁신적인 기술을 개발했습니다. ECCV 2024에서 강조된 उनक의 연구는 고차원 휴머노이드 캐릭터에서 자연스럽고 물리적으로 기반한 인간 행동을 생성하는 어려움을 극복하는 데 중점을 두었습니다. 이 연구는 컴퓨터 비전과 기계 학습을 발전시키기 위한 인텔 연구소의 더广泛한 이니셔티브의 일부입니다.

인텔 연구소와 그들의 협력자들은 최근 ECCV 2024에서 6개의 최신 연구 논문을 발표했습니다. 이는 유럽 컴퓨터 비전 협회(ECVA)가 주최하는 최고의 컴퓨터 비전 컨퍼런스입니다.

논문 멀티모달 입력에서 물리적으로 실제적이고 제어 가능한 인간 동작 생성은 텍스트-이미지 모델을 프롬프트 기반의 적대적 공격으로부터 보호하는 새로운 방어 전략과 공간 일관성을 개선하기 위한 대규모 데이터셋 개발을 포함한 혁신을 보여주었습니다. 이러한 공헌 중에서 이 논문은 인텔이 생성 모델링을 발전시키는 데 대한 헌신과 함께 책임 있는 AI 실践을 우선시하는 것을 강조합니다.

멀티모달 입력을 사용한 실제적 인간 동작 생성

인텔의 마스킨드 휴머노이드 컨트롤러(MHC)는 시뮬레이션 물리 환경에서 인간과 같은 동작을 생성하기 위한 혁신적인 시스템입니다. 전통적인 방법과 달리, MHC는 완전히 자세한 모션 캡처 데이터에 의존하지 않고 다양한 소스의 희소한, 불완전한 또는 부분적인 입력 데이터를 처리하도록 설계되었습니다. 이러한 소스는 VR 컨트롤러, 조이스틱 입력, 비디오 트래킹 또는 텍스트 프롬프트에서 파생된 추상적인 지침을 포함할 수 있습니다.

이 기술의 혁신은 데이터가 누락되거나 불완전한 경우에 이를 해석하고 채우는 능력에 있습니다. 이를 위해 인텔은 캐치업, 결합, 완성(CCC) 기능을 개발했습니다:

• 캐치업: 이 기능은 MHC가 중단이 발생할 때, 예를 들어 시스템이 실패한 상태에서 시작하거나 휴머노이드 캐릭터가 넘어졌을 때, 동작을 회복하고 재同步할 수 있도록 합니다. 시스템은 빠르게 동작을 수정하고 자연스러운 동작을 재개할 수 있습니다.
• 결합: MHC는 서로 다른 동작 시퀸스를 결합할 수 있습니다. 예를 들어, 한 동작에서 상반신 동작(예: 흔들기)과 다른 동작에서 하반신 동작(예: 걷기)을 결합할 수 있습니다. 이러한 유연성은 기존의 동작 데이터에서 완전히 새로운 동작을 생성할 수 있습니다.
• 완성: 부분적인 입력 데이터 또는 모호한 고수준 지침이 주어졌을 때, MHC는 누락된 동작의 부분을 지능적으로 추론하고 생성할 수 있습니다. 예를 들어, 오직 팔 동작만 지정되었다면, MHC는 물리적으로 실제적이고 균형을 유지하는 하반신 동작을 자동으로 생성할 수 있습니다.

결과적으로, MHC는 매우 적응성이 높은 동작 생성 시스템으로, 제한적이거나 미지정된 지침으로도 부드럽고 실제적이고 물리적으로 정확한 동작을 생성할 수 있습니다. 이는 게임, 로봇공학, 가상 현실 및 높은 品질의 인간과 같은 동작이 필요한 모든 시나리오에서 이상적인 솔루션입니다.

MHC의 생성 동작 모델에 대한 영향

MHC는 인텔 연구소와 그들의 협력자들이 책임 있는 생성 모델을 개발하기 위한 더广泛한 노력의 일부입니다. ECCV 2024에서 논의된 바와 같이, 이 접근법은 로봇공학, 가상 현실, 게임 및 시뮬레이션과 같은 산업에서 실제적 인간 동작의 생성이 중요한 분야에서重大한 의미를 가지고 있습니다. 멀티모달 입력을 포함하고 컨트롤러가 동작 사이를 무리없이 전환할 수 있도록 함으로써, MHC는 센서 데이터가 시끄럽거나 불완전할 수 있는 실제 상황을 처리할 수 있습니다.

이 연구는 ECCV 2024에서 발표된 다른 최신 연구와 함께 인텔의 컴퓨터 비전 분야에서의 리더십을 보여줍니다. 이는 보안, 확장성 및 책임 있는 AI 기술의 개발에 중점을 두고 있습니다.

결론

인텔 연구소와 학계의 협력자들이 개발한 마스킨드 휴머노이드 컨트롤러(MHC)는 인간 동작 생성 분야에서 중요한 발전입니다. 멀티모달 입력에서 실제적 인간 동작을 생성하는 복잡한 제어 문제를 해결함으로써, MHC는 가상 현실, 게임, 로봇공학 및 시뮬레이션과 같은 새로운 응용 분야를 가능하게 합니다. ECCV 2024에서 발표된 이 연구는 인텔이 책임 있는 AI와 생성 모델링을 발전시키는 데 대한 헌신을 보여주며, 다양한 분야에서 더 안전하고 더 적응성이 높은 기술을 개발하는 데 기여합니다.