ARとVRの進化 – 新しい手首カメラの開発

拡張現実（AR）と仮想現実（VR）は、3D手の姿勢推定用の新しい手首用デバイスの開発によってさらに一歩進化しました。このデバイスは、東京工業大学（東京テック）の研究者と、カーネギーメロン大学、セントアンドリュース大学、ニューサウスウェールズ大学のチームによって作成されました。

新しいシステムの主要なポイントは、手の背面を撮影できるカメラです。これは、DorsalNetというニューラルネットワークを使用して実現しています。ニューラルネットワークは、ダイナミックなジェスチャーを識別できます。

ARとVRデバイスの使用は、特に医療、スポーツ、エンターテインメントなどの業界で増えています。この新しい開発は、現在使用されているより大きな手袋を必要としない、よりコンパクトな方法に業界を移行させるのに役立ちます。

3D手の姿勢認識システム

研究チームは、東京テックのHideki Koikeによって率いられました。

研究者によると、「この研究は、手の背面からの視覚的な特徴を使用して、リアルタイムの3D手の姿勢を推定する最初の視覚ベースのシステムです。システムは、DorsalNetというニューラルネットワークを使用して、手の背面の変化を検出して、3D手の姿勢を正確に推定します。」

デバイスにはカメラが付いており、手首に装着され、3D手の姿勢認識システムとして機能します。デバイスの最も重要な側面は、スマートウォッチに似ていますが、環境やデバイス自体が動いている場合でも、手の動きを捉えることができることです。

精度と予備テスト

研究では、新しく開発されたシステムが以前の試みよりも優れていることが示されました。特に、ダイナミックなジェスチャーの認識において、平均20%以上の精度が向上しました。11種類の異なる把持タイプを識別する場合、精度率は75%でした。

予備テストでは、システムがスマートデバイスの制御に使用できることが示されました。たとえば、指の角度を変更するだけでスマートウォッチの時間を変更することができます。また、研究者は、システムが仮想マウスまたはキーボードとして機能し、手首の回転でポインターを制御できることも実証しました。

研究者によると、システムを実際の世界で使用するには、より高度なカメラを使用して、より速い手の動きを捉え、さまざまな照明条件に対処する必要があります。

この研究は、2020年10月20-23日に開催される第33回ACMシンポジウム_on_User_Interface_Software_and_Technology（UIST）で発表される予定です。