Достижения в области AR и VR с новой камерой на запястье

Реальность дополненная (AR) и виртуальная реальность (VR) сделали еще один шаг вперед с созданием нового устройства, носимого на запястье, для оценки 3D-позы руки. Устройство было создано исследователями в Токийском технологическом институте (Tokyo Tech), вместе с командами из Университета Карнеги-Меллона, Университета Сент-Эндрюса и Университета Нового Южного Уэльса.

Основной особенностью нового системы является камера, способная захватывать изображения на задней части руки. Это достигается с помощью использования нейронной сети под названием DorsalNet. Нейронная сеть способна определять динамические жесты.

Использование устройств AR и VR увеличивается, особенно в таких отраслях, как здравоохранение, спорт и развлечение. Это новое развитие поможет отойти от более громоздких методов, которые сейчас используются, включая большие перчатки, которые затрудняют естественные движения.

Система распознавания 3D-позы руки

Исследовательская команда была возглавлена Хидеки Коикэ в Tokyo Tech.

По словам исследователей, “Эта работа является первой видовой реальной системы оценки 3D-позы руки, использующей визуальные особенности области задней части руки. Система состоит из камеры, поддерживаемой нейронной сетью под названием DorsalNet, которая может точно оценить 3D-позу руки, обнаруживая изменения на задней части руки.”

Устройство имеет камеру и носится на запястье, и оно действует как система распознавания 3D-позы руки. Наиболее важным аспектом устройства, которое может быть похоже на смарт-часы, является то, что оно может захватывать движения руки даже тогда, когда окружающая среда и само устройство движутся.

Точность и предварительные испытания

Исследования показали, что новая система работает лучше, чем предыдущие попытки. В частности, она на 20% более точна в распознавании динамических жестов. Когда речь идет об определении 11 различных типов захвата, она имеет точность 75%.

Предварительные испытания показали, что система может быть использована для управления умными устройствами. Эти применения включают такие вещи, как изменение времени на смарт-часах, просто изменяя угол пальца. Кроме того, исследователи продемонстрировали, как оно может действовать как виртуальная мышь или клавиатура, позволяя действиям, таким как вращение запястья, для управления указателем.

По словам исследователей, для того, чтобы система могла быть использована в реальном мире, необходимо будет сделать больше улучшений. Например, им придется использовать более совершенную камеру с более высокой частотой кадров, чтобы захватить более быстрые движения запястья, а также обработать различные условия освещения.

Исследования будут представлены на 33-м симпозиуме ACM по программному обеспечению и технологии пользовательского интерфейса (UIST), который состоится виртуально с 20 по 23 октября 2020 года.