인공 지능 시스템이 손 제스처를 정확하게 인식한다

싱가포르 난양 기술 대학(NTU Singapore)의 과학자들이 손 제스처를 인식할 수 있는 새로운 인공 지능(AI) 시스템을 개발했다. 이 기술은 피부와 같은 전자와 컴퓨터 비전을 결합하여 작동한다.

인간의 손 제스처를 인식하는 AI 시스템의 개발은 약 10년 전부터 시작되었으며, 현재 수술 로봇, 건강 모니터링 장비 및 게임 시스템에서 사용되고 있다.

초기 AI 제스처 인식 시스템은 시각 전용이었으며, 착용 가능한 센서의 입력을 통합하여 개선했다. 이것을 “데이터 퓨전”이라고 한다. 감각 능력 중 하나는 “소마토센서리”라고 불리며, 착용 가능한 센서가 이를 재현할 수 있다.

제스처 인식의 정확도는 여전히 어려운 문제로, 착용 가능한 센서에서 낮은 품질의 데이터가 제공되기 때문이다. 이는 센서가 사용자와 충분히 닿지 않으며, 시각적으로 가려진 물체와 나쁨 조명 조건으로 인해 발생한다.

시각적 및 감각적 데이터의 통합으로 인해 추가적인 도전이 발생한다. 불일치하는 데이터 세트를 별도로 처리한 후에 결합해야 하기 때문이며, 이는 비효율적이고 응답 시간을 더디게 만든다.

NTU 팀은 이러한 도전을 극복하기 위해 몇 가지 방법을 개발했으며, 그 중 하나는 피부와 같은 전자와 컴퓨터 비전을 결합하여 작동하는 “생체启発” 데이터 퓨전 시스템을 생성하는 것이다. 팀은 또한 AI를 사용하여 뇌에서 감각과 시각이 함께 처리되는 방식을 나타내는 방법을 개발했다.

세 가지 신경망 접근 방식을 하나의 시스템으로 결합하여 AI 시스템을 개발했다. 세 가지 유형의 신경망은 convolutional 신경망, sparse 신경망 및 다층 신경망이었다.

이 세 가지를 결합하여 팀은 다른 방법보다 더 정확하게 인간의 제스처를 인식할 수 있는 시스템을 개발할 수 있었다.

천 샤오동 교수는 이 연구의 주요 저자로, 난양 기술 대학의 재료 과학 및 공학 학교에 속한다.

“우리의 데이터 퓨전 아키텍처는 인간의 뇌에서 감각과 시각이 함께 처리되는 방식을 모방한 고유한 생체启発 특성을 가지고 있다. 우리는 이러한 특성이 기존의 접근 방식과 다르다고 믿는다.”

천은 또한 난양 기술 대학의 유연한 장치 혁신 센터(iFLEX)의 디렉터이다.

“刚性 착용 가능한 센서와 달리 사용자와 충분히 닿지 않아 정확한 데이터 수집이 어려운 경우, 우리의 혁신은 인간의 피부에 편안하게 부착되는 가늘고 유연한 스트레인 센서를 사용한다. 이는 높은 精度의 신호 수집을 가능하게 하며, 높은 精度의 인식 작업에 필수적이다.”

NTU 싱가포르와 시드니 기술 대학(UTS)의 과학자들이 구성한 팀의 연구 결과는 6월에 네이처 일렉트로닉스에 발표되었다.

시스템 테스트

팀은 손 제스처를 통해 로봇을 제어하는 바이오启発 AI 시스템을 테스트했다. 로봇은 미로를 통해 이동했으며, 결과는 AI 손 제스처 인식 시스템이 로봇을 미로를 통해 이동시키는 데 오류가 없음을 보여주었다. 이는 시각 기반 인식 시스템과 비교했을 때, 6개의 오류가 발생했다.

음과 나쁨 조명 조건에서 테스트한 결과, AI 시스템은 여전히 높은 정확도를 유지했다. 인식 정확도는 96.7% 이상에 달했다.

왕 밍 박사는 난양 기술 대학의 재료 과학 및 공학 학교에서 이 연구의 첫 번째 저자이다.

“우리의 아키텍처의 높은 정확도는 시각적 및 감각적 정보가 초기에 상호 작용하고 보완할 수 있는 사실에 있다. 따라서 시스템은 불필요한 데이터와 지각적 모호성을 줄여 더 높은 정확도를 달성할 수 있다.”

독립적인 관점에서 마르쿠스 안토니에티 교수는 “이 논문의 결과는 우리를 더 지능적이고 기계 지원되는 세계로 한 걸음 더近づける 것이다. 스마트폰의 발명과 같이 이 기술은 우리 주변의 모든 것을 신뢰성과 精度로 제어할 수 있는 미래를 제공한다.”

“이 기술은 원격 로봇 제어, 스마트 작업장, 노인용 엑소스켈레톤 등 다양한 응용 분야에서 사용될 수 있다.”

연구 팀은 바이오启発 AI 시스템을 기반으로 하는 가상 현실(VR) 및 aumented reality(AR) 시스템을 개발할 계획이다.