Розробки в галузі AR і VR з новою камерою на зап’ясті

Розробки в галузі доповненої реальності (AR) і віртуальної реальності (VR) зробили ще один крок вперед завдяки створенню нового пристрою на зап’ясті для оцінки положення руки в 3D. Пристрій був створений дослідниками в Токійському технологічному інституті (Tokyo Tech), разом з командами з Університету Карнегі-Меллона, Університету Сент-Ендрюса і Університету Нового Південного Уельсу.

Головною особливістю нового системи є камера, яка здатна захоплювати зображення на задній стороні руки. Це відбувається завдяки використанню нейронної мережі під назвою DorsalNet. Нейронна мережа здатна розпізнавати динамічні жести.

Використання пристроїв AR і VR зростає, особливо в галузях таких як охорона здоров’я, спорт і розваги. Ця нова розробка допоможе рухатися галузі від більш громіздких методів, які зараз використовуються, включаючи великі рукавички, які роблять важким природний рух.

Система розпізнавання положення руки в 3D

Дослідницька команда була очолювана Хідекі Коіке в Токійському технологічному інституті.

За словами дослідників, “Ця робота є першою візуальною системою оцінки положення руки в реальному часі, яка використовує візуальні особливості з дорсальної області руки. Система складається з камери, підтримуваної нейронною мережею під назвою DorsalNet, яка може точно оцінювати положення руки в 3D, визначаючи зміни на задній стороні руки”.

Пристрій має камеру і носиться на зап’ясті, і він діє як система розпізнавання положення руки в 3D. Найважливішим аспектом пристрою, який може бути схожим на смарт-годинник, є те, що він може захоплювати рухи руки навіть тоді, коли середовище і сам пристрій рухаються.

Точність і попередні тести

Дослідження показало, що новостворена система працює краще, ніж попередні спроби. Зокрема, вона на 20% більш точна в розпізнаванні динамічних жестів. Коли йдеться про розпізнавання конкретних 11 типів захоплення, вона має точність 75%.

Попередні тести показали, що система може бути використана для контролю розумних пристроїв. Ці застосування включають речі такі як зміна часу на смарт-годиннику просто зміною кута пальців. Окрім того, дослідники продемонстрували, як вона може діяти як віртуальна миша або клавіатура, дозволяючи діям таких як обертання зап’ястя контролювати вказівник.

За словами дослідників, для використання системи в реальному світі будуть потрібні подальші покращення. Наприклад, їм потрібно буде використовувати більш просунуту камеру з вищою частотою кадрів, щоб захоплювати швидші рухи зап’ястя, а також обробляти різні умови освітлення.

Дослідження буде представлено на 33-му симпозіумі ACM з програмного забезпечення та технологій інтерфейсу користувача (UIST), який відбудеться віртуально 20-23 жовтня 2020 року.