엔지니어가 개발한 AI 기반 핸드 제스처 인식 시스템

캘리포니아 대학교 버클리(University of California, Berkeley)의 엔지니어들은 전완부에서 감지되는 전기 신호를 기반으로 핸드 제스처를 인식할 수 있는 장치를 개발했습니다. 이 새로 개발된 시스템은 웨어러블 바이오 센서와 인공 지능(AI)의 결과이며, 프로스θε틱스와 인간-컴퓨터 상호작용의 제어를 개선할 수 있습니다.

Ali Moin은 디자인 팀의 일원으로 UC 버클리의 전기 공학 및 컴퓨터 과학 박사 과정 학생입니다. Moin은 또한 12월 21일 Nature Electronics 저널에 온라인으로 발표된 연구 논문의 공동 제1저자입니다.

“프로스θε틱스는 이 기술의 중요한 응용 분야 중 하나이지만, 또한 컴퓨터와 의사소통하는 매우 직관적인 방법을 제공합니다.”라고 Moin은 말했다. “핸드 제스처를 읽는 것은 인간-컴퓨터 상호작용을 개선하는 한 가지 방법입니다. 그리고, 다른 방법으로 컴퓨터 비전을 사용하여 카메라로 하는 방법이 있지만, 이 방법은 개인의隐私를 유지하면서 좋은 해결책입니다.”

핸드 제스처 인식 시스템

팀은 UC 버클리의 전기 공학 교수인 Ana Arias와 함께 시스템을 개발했습니다. 함께 유연한 아ーム밴드를 설계하여 전완부의 64个 다른 점에서 전기 신호를 읽을 수 있게 만들었습니다. 이러한 전기 신호는 AI 알고리즘으로 프로그래밍된 전기 칩으로 전송되었습니다. 이 알고리즘은 전완부에서 특정 핸드 제스처에서 발생하는 신호 패턴을 식별할 수 있습니다.

알고리즘은 21개의 개별 핸드 제스처를 식별할 수 있었습니다.

“당신의 손 근육을 수축시키고 싶을 때,你的 뇌는 목과 어깨의 신경을 통해 전기 신호를 손과 손가락의 근섬유로 보냅니다.”라고 Moin은 말했다. “본질적으로, 커프에 있는 전극이 감지하는 것은 이 전기 필드입니다. 그것은 매우 정밀하지는 않지만, 전극의 높은 밀도로 인해 특정 패턴을 인식할 수 있습니다.”

AI 알고리즘은 먼저 사용자가 제스처를 만들 때 장치를 착용하는 동안 전완부의 전기 신호와 해당 핸드 제스처를 식별하는 것을 학습합니다.さらに, 시스템은 하이퍼 차원 컴퓨팅 알고리즘을 사용하여 지속적으로 업데이트합니다. 이 고급 기술로 시스템은 새로운 정보, 즉 팔의 움직임이나 땀과 같은 것을 고려하여 자신을 교정할 수 있습니다.

“제스처 인식에서,你的 신호는 시간이 지남에 따라 변경될 것이며, 이는 모델의 성능에 영향을 미칠 수 있습니다.”라고 Moin은 말했다. “장치에서 모델을 업데이트함으로써 우리는 분류 정확도를 크게 향상시킬 수 있었습니다.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

칩에서 로컬로 컴퓨팅

장치의 또 다른 인상적인 기능은 모든 컴퓨팅이 칩에서 수행된다는 것입니다. 즉, 개인 데이터가 다른 장치로 전송되지 않습니다. 이는 더 빠른 컴퓨팅 시간과 보호된 생물학적 데이터를 의미합니다.

Jan Rabaey는 UC 버클리의 전기 공학 명예 교수이자 논문의 선임 저자입니다.

“Amazon (AMZN ) 이나 Apple (AAPL ) 이 알고리즘을 만들 때, 클라우드에서 소프트웨어를 실행하여 모델을 생성하고, 모델을 장치에 다운로드합니다.”라고 Jan Rabaey는 말했다. “문제는 그 특정 모델에 고정되어 있다는 것입니다. 우리의 접근 방식에서는 장치 자체에서 학습을 구현했습니다. 그리고 매우 빠릅니다. 단 한번만 수행하면 작업을 시작합니다. 하지만 여러 번 수행할 수록 더 좋아질 수 있습니다. 따라서 지속적으로 학습합니다. 이것은 인간이 하는 방식입니다.”

Jan Rabaey에 따르면, 장치는 몇 가지 작은 변경 후에 상업화될 수 있습니다.

“이 장치의 대부분의 기술은 이미 다른 곳에서 존재하지만, 이 장치가 특별한 점은 바이오 센싱, 신호 처리 및 해석, 인공 지능을 하나의 시스템으로 통합하여 상대적으로 작고 유연하며 저전력 예산을 갖춘 시스템을 만들었다는 것입니다.”라고 Rabaey는 말했다.