Progressi nell’AR e VR con la nuova fotocamera al polso

La realtà aumentata (AR) e la realtà virtuale (VR) hanno fatto un passo avanti con la creazione di un nuovo dispositivo indossabile al polso per la stima della posizione della mano in 3D. Il dispositivo è stato creato da ricercatori dell’Istituto di Tecnologia di Tokyo (Tokyo Tech), insieme a team della Carnegie Mellon University, dell’Università di St Andrews e dell’Università del Nuovo Galles del Sud.

Il punto principale del nuovo sistema è una fotocamera in grado di catturare immagini sulla parte posteriore della mano. Ciò avviene attraverso l’utilizzo di una rete neurale chiamata DorsalNet. La rete neurale è in grado di rilevare gesti dinamici.

L’uso di dispositivi AR e VR è in aumento, specialmente in settori come la sanità, lo sport e l’intrattenimento. Questo nuovo sviluppo aiuterà a spostare l’industria lontano dai metodi più ingombranti attualmente utilizzati, che includono guanti grandi che rendono difficile il movimento naturale.

Sistema di riconoscimento della posizione della mano 3D

Il team di ricerca è stato guidato da Hideki Koike alla Tokyo Tech.

Secondo i ricercatori, “Questo lavoro è il primo estimatore di posizione della mano 3D in tempo reale basato sulla visione, che utilizza caratteristiche visive dalla regione dorsale della mano. Il sistema consiste in una fotocamera supportata da una rete neurale chiamata DorsalNet, che può stimare con precisione la posizione della mano 3D rilevando i cambiamenti nella parte posteriore della mano.”

Il dispositivo ha una fotocamera e viene indossato al polso, ed agisce come un sistema di riconoscimento della posizione della mano 3D. L’aspetto più importante del dispositivo, che potrebbe essere simile a un orologio intelligente, è che può catturare i movimenti della mano anche quando l’ambiente e il dispositivo stesso sono in movimento.

Precisione e test preliminari

La ricerca ha dimostrato che il sistema appena sviluppato si esegue meglio dei precedenti tentativi. In particolare, è in media il 20% più preciso nel riconoscimento dei gesti dinamici. Quando si tratta di identificare 11 tipi di presa diversi, ha un tasso di precisione del 75%.

I test preliminari hanno mostrato che il sistema potrebbe essere utilizzato per il controllo di dispositivi intelligenti. Queste applicazioni includono cose come cambiare l’ora di un orologio intelligente semplicemente cambiando l’angolo delle dita. Oltre a ciò, i ricercatori hanno dimostrato come potrebbe agire come un mouse o una tastiera virtuale, consentendo azioni come la rotazione del polso per controllare un puntatore.

Secondo i ricercatori, ci saranno bisogno di ulteriori miglioramenti per utilizzare il sistema nel mondo reale. Ad esempio, dovranno utilizzare una fotocamera più avanzata con un tasso di frame più alto per catturare movimenti del polso più rapidi, nonché gestire diverse condizioni di illuminazione.

La ricerca sarà presentata al 33° Simposio ACM su tecnologie e software per l’interfaccia utente (UIST), che si terrà virtualmente dal 20 al 23 ottobre 2020.