AR 및 VR의 새로운 발전: 손목 카메라

증강 현실(AR)과 가상 현실(VR)은 3D 손 자세 추정용으로 새로 개발된 손목 착용 장치로 한 단계 더 발전했습니다. 이 장치는 도쿄 공과 대학(Tokyo Tech)의 연구자들 및 카네기 멜런 대학, 세인트 앤드루스 대학, 뉴 사우스 웨일즈 대학의 팀이 함께 개발했습니다.

새로운 시스템의 주요 특징은 손의 뒷면을 촬영할 수 있는 카메라입니다. 이것은 DorsalNet이라는 신경망을 사용하여 동적 제스처를 식별할 수 있습니다.

AR 및 VR 장치의 사용은 특히 의료, 스포츠, 엔터테인먼트 산업에서 증가하고 있습니다. 이 새로운 개발은 더 이상 불편한 방법을 사용하지 않아도 됩니다. 예를 들어, 큰 장갑을 사용하여 자연스러운 움직임을 방해하는 방법이 있습니다.

3D 손 자세 인식 시스템

연구 팀은 도쿄 공과 대학의 Hideki Koike가 이끌었습니다.

연구자에 따르면, “이 연구는 도르살 손 영역의 시각적 특징을 사용하여 실시간 3D 손 자세 추정기를 개발한 첫 번째 연구입니다. 시스템은 DorsalNet이라는 신경망을 지원하는 카메라로 구성되어 있으며, 손의 뒷면에서 변경을 감지하여 3D 손 자세를 정확하게 추정할 수 있습니다.”

장치는 카메라와 손목에 착용되며, 3D 손 자세 인식 시스템으로 작동합니다. 이 장치의 가장 중요한 특징은 스마트 워치와 비슷한 것으로, 환경과 장치가 움직여도 손의 움직임을 캡처할 수 있다는 것입니다.

정확도 및 예비 테스트

연구에 따르면, 새로 개발된 시스템은 이전 시도보다 더 나은 성능을 보였습니다. 특히, 동적 제스처를 인식하는 데 평균 20% 더 정확합니다. 11가지 다른 그립 유형을 식별하는 경우, 75%의 정확도를 보입니다.

예비 테스트에 따르면, 시스템은 스마트 장치 제어에 사용할 수 있습니다. 이러한 응용 프로그램에는 손가락 각도를 변경하여 스마트 워치의 시간을 변경하는 것이 포함됩니다. 또한 연구자들은 손목의 회전을 사용하여 포인터를 제어하는 가상 마우스 또는 키보드로 작동할 수 있음을 보여주었습니다.

연구자에 따르면, 시스템을 실제로 사용하기 위해서는 더 많은 개선이 필요합니다. 예를 들어, 더 빠른 프레임 레이트를 가진 더 발전된 카메라를 사용하여 더 빠른 손의 움직임을 캡처하고, 다양한 조명 조건을 처리할 수 있어야 합니다.

이 연구는 2020년 10월 20-23일 가상으로 개최될 33번째 ACM 심포지엄에서 발표될 예정입니다.