Realtà aumentata (RA)
Avanzamenti in AR e VR con la nuova fotocamera da polso
La realtà aumentata (AR) e la realtà virtuale (VR) hanno compiuto un ulteriore passo avanti con la creazione di un nuovo dispositivo da polso per la stima della posizione della mano in 3D. Il dispositivo è stato creato dai ricercatori del Tokyo Institute of Technology (Tokyo Tech), insieme ai team della Carnegie Mellon University, dell'Università di St Andrews e dell'Università del New South Wales.
Il punto principale del nuovo sistema è una fotocamera in grado di catturare immagini sul dorso della mano. Lo fa attraverso l'uso di una rete neurale chiamata DorsalNet. La rete neurale è in grado di identificare gesti dinamici.
L'uso di dispositivi AR e VR è in aumento, soprattutto in settori come la salute, lo sport e l'intrattenimento. Questo nuovo sviluppo aiuterà ad allontanare il settore dai metodi più ingombranti attualmente utilizzati, che includono guanti grandi che rendono difficile il movimento naturale.
Sistema di riconoscimento della posizione della mano 3D
Il team di ricerca è stato guidato da Hideki Koike del Tokyo Tech.
Secondo i ricercatori, “Questo lavoro è il primo stimatore della posizione della mano 3D in tempo reale basato sulla visione che utilizza le caratteristiche visive della regione dorsale della mano. Il sistema è costituito da una telecamera supportata da una rete neurale denominata DorsalNet che può stimare con precisione le pose delle mani 3D rilevando i cambiamenti nel dorso della mano.
Il dispositivo ha una fotocamera ed è indossato al polso e funge da sistema di riconoscimento della posizione della mano 3D. L'aspetto più importante del dispositivo, che potrebbe essere simile a uno smartwatch, è che può catturare i movimenti delle mani anche quando l'ambiente e il dispositivo stesso sono in movimento.
Accuratezza e Prove Preliminari
La ricerca ha dimostrato che il sistema di nuova concezione offre prestazioni migliori rispetto ai tentativi precedenti. In particolare, è in media il 20% più preciso nel riconoscere i gesti dinamici. Quando si tratta di identificare 11 diversi tipi di presa specifici, ha un tasso di precisione del 75%.
I test preliminari hanno dimostrato che il sistema potrebbe essere utilizzato per il controllo di dispositivi intelligenti. Queste applicazioni includono cose come cambiare l'ora di uno smartwatch semplicemente cambiando l'angolazione delle dita. Oltre a ciò, i ricercatori hanno dimostrato come potrebbe agire come un mouse o una tastiera virtuale, consentendo ad azioni come la rotazione del polso di controllare un puntatore.
Secondo i ricercatori, saranno necessari ulteriori miglioramenti affinché il sistema possa essere utilizzato nel mondo reale. Ad esempio, dovranno utilizzare una fotocamera più avanzata con un frame rate più elevato per acquisire movimenti del polso più rapidi, nonché gestire diverse condizioni di illuminazione.
La ricerca sarà presentata al 33° Simposio ACM sul software e la tecnologia dell'interfaccia utente (UIST), che si terrà virtualmente dal 20 al 23 ottobre 2020.
