Достижения в AR и VR с новой камерой на запястье

Дополненная реальность (AR) и виртуальная реальность (VR) продвинулись еще на один шаг с созданием нового наручного устройства для трехмерной оценки позы рук. Устройство было создано исследователями Токийского технологического института (Tokyo Tech) вместе с командами из Университета Карнеги-Меллона, Университета Сент-Эндрюс и Университета Нового Южного Уэльса. 

Главной особенностью новой системы является камера, способная делать снимки тыльной стороны ладони. Это делается с помощью нейронной сети DorsalNet. Нейронная сеть способна идентифицировать динамические жесты.

Использование устройств AR и VR растет, особенно в таких отраслях, как здравоохранение, спорт и развлечения. Эта новая разработка поможет отойти от более громоздких методов, на которые полагаются в настоящее время, включая большие перчатки, затрудняющие естественное движение. 

3D-система распознавания позы рук

Исследовательскую группу возглавил Хидэки Койке из Tokyo Tech. 

По словам исследователей, «Эта работа является первым трехмерным оценщиком позы руки в режиме реального времени, основанным на зрении, с использованием визуальных особенностей тыльной области руки. Система состоит из камеры, поддерживаемой нейронной сетью DorsalNet, которая может точно оценивать трехмерные позы рук, обнаруживая изменения в тыльной стороне ладони». 

Устройство имеет камеру, носится на запястье и действует как система распознавания поз рук в 3D. Наиболее важным аспектом устройства, которое может быть похоже на умные часы, является то, что оно может фиксировать движения рук, даже когда окружающая среда и само устройство движутся. 

Точность и предварительные испытания

Исследование показало, что недавно разработанная система работает лучше, чем предыдущие попытки. В частности, он в среднем на 20% точнее распознает динамические жесты. Когда дело доходит до определения конкретных 11 различных типов захвата, точность составляет 75%.

Предварительные испытания показали, что систему можно использовать для управления интеллектуальными устройствами. Эти приложения включают в себя такие вещи, как изменение времени умных часов простым изменением угла наклона пальца. Кроме того, исследователи продемонстрировали, как он может действовать как виртуальная мышь или клавиатура, позволяя таким действиям, как вращение запястья, управлять указателем.

По словам исследователей, для использования системы в реальном мире потребуется больше улучшений. Например, им потребуется использовать более совершенную камеру с более высокой частотой кадров, чтобы фиксировать более быстрые движения запястья, а также справляться с различными условиями освещения.

Исследование будет представлено на 33-й Симпозиум ACM по программному обеспечению и технологиям пользовательского интерфейса (UIST), который пройдет виртуально 20-23 октября 2020 года.