์ฆ๊ฐํ์ค
AR ๋ฐ VR์ ๋ฐ์ , ์๋ก์ด ์๋ชฉ ์นด๋ฉ๋ผ ๋ฑ์ฅ
증강 현실(AR)과 가상 현실(VR)이 3D 손 자세 추정용 새로운 손목 착용 장치를 만들면서 한 단계 발전했습니다. 이 장치는 도쿄 공과대학(Tokyo Tech)의 연구진과 카네기 멜런 대학교, 세인트 앤드루스 대학교, 뉴 사우스 웨일즈 대학교의 팀이 함께 만들었습니다.
새로운 시스템의 주요 특징은 손등의 이미지를 캡처할 수 있는 카메라입니다. 이것은 DorsalNet이라는 신경망을 사용하여 동적 제스처를 식별할 수 있습니다.
AR과 VR 장치의 사용은 특히 의료, 스포츠, 엔터테인먼트 산업에서 증가하고 있습니다. 이 새로운 개발은 현재 사용되는 더 큰 장갑과 같은 더 불편한 방법에서 산업을 멀어지게 할 것입니다. 이 장갑은 자연스러운 움직임을 어렵게 만듭니다.
3D 손 자세 인식 시스템
연구 팀은 도쿄 공과대학의 Hideki Koike가 이끌었습니다.
연구진에 따르면, “이 연구는 손등 영역의 시각적 특징을 사용하여 실시간 3D 손 자세 추정기를 구현한 최초의 비전 기반 시스템입니다. 시스템은 DorsalNet이라는 신경망을 지원하는 카메라로 구성되며, 손등의 변화를 감지하여 3D 손 자세를 정확하게 추정할 수 있습니다.”
장치에는 카메라가 있으며 손목에 착용되며, 3D 손 자세 인식 시스템으로 작동합니다. 장치의 가장 중요한 측면은 스마트워치와 유사할 수 있으며, 환경과 장치 자체가 이동하는 경우에도 손 움직임을 캡처할 수 있다는 것입니다.
정확도 및 예비 테스트
연구에 따르면 새로 개발된 시스템은 이전 시도보다 더 나은 성능을 보여주었습니다. 특히, 동적 제스처를 인식하는 데 평균 20% 더 정확했습니다. 11가지 다른 그립 유형을 식별하는 경우 75%의 정확도率를 보였습니다.
예비 테스트에서는 시스템이 스마트 디바이스 제어에 사용될 수 있음을 보여주었습니다. 이러한 응용 프로그램에는 손가락 각도를 변경하여 스마트워치의 시간을 변경하는 것이 포함됩니다. 또한 연구진은 손목 회전을 사용하여 포인터를 제어하는 가상 마우스 또는 키보드로 작동할 수 있음을 보여주었습니다.
연구진에 따르면, 시스템을 실제 세계에서 사용하기 위해서는 더 많은 개선이 필요할 것입니다. 예를 들어, 더 빠른 손목 움직임을 캡처하기 위해 더 높은 프레임 레이트를 가진 더 발전된 카메라를 사용해야 하며, 다양한 조명 조건을 처리해야 합니다.
이 연구는 2020년 10월 20-23일 개최될 33rd ACM Symposium on User Interface Software and Technology (UIST)에서 발표될 예정입니다.
