Avansările în AR și VR cu o nouă cameră de la încheietura mâinii

Realitatea augmentată (AR) și realitatea virtuală (VR) au făcut un pas înainte cu crearea unui dispozitiv nou purtabil la încheietura mâinii pentru estimarea poziției mâinii 3D. Dispozitivul a fost creat de cercetători de la Institutul de Tehnologie din Tokyo (Tokyo Tech), împreună cu echipe de la Universitatea Carnegie Mellon, Universitatea St Andrews și Universitatea din New South Wales.

Punctul principal al noului sistem este o cameră care poate captura imagini pe partea din spate a mâinii. Acest lucru se realizează prin utilizarea unei rețele neuronale numite DorsalNet. Rețeaua neuronală poate identifica gesturi dinamice.

Utilizarea dispozitivelor AR și VR este în creștere, în special în industrii precum sănătate, sport și divertisment. Această nouă dezvoltare va ajuta la îndepărtarea de metodele mai voluminoase pe care se bazau în prezent, care includ mănuși mari care fac dificilă mișcarea naturală.

Sistem de recunoaștere a poziției mâinii 3D

Echipa de cercetare a fost condusă de Hideki Koike la Tokyo Tech.

Conform cercetătorilor, “Această lucrare este primul estimator de poziție a mâinii 3D în timp real, care utilizează caracteristici vizuale din regiunea dorsală a mâinii. Sistemul constă într-o cameră susținută de o rețea neuronală numită DorsalNet, care poate estima cu acuratețe pozițiile 3D ale mâinii prin detectarea schimbărilor de pe partea din spate a mâinii.”

Dispozitivul are o cameră și este purtat la încheietura mâinii, și acționează ca un sistem de recunoaștere a poziției mâinii 3D. Cel mai important aspect al dispozitivului, care ar putea fi similar cu un smartwatch, este că poate captura mișcările mâinii chiar și atunci când mediul și dispozitivul în sine se mișcă.

Acuratețe și teste preliminare

Cercetarea a demonstrat că noul sistem dezvoltat performează mai bine decât încercările anterioare. În special, este cu 20% mai precis în recunoașterea gesturilor dinamice. Atunci când vine vorba de identificarea unui anumit tip de strângere, are o rată de acuratețe de 75%.

Testele preliminare au arătat că sistemul poate fi utilizat pentru controlul dispozitivelor inteligente. Aceste aplicații includ lucruri precum schimbarea orei unui smartwatch prin simpla modificare a unghiului degetului. În plus, cercetătorii au demonstrat cum poate acționa ca un mouse virtual sau tastatură, permițând acțiuni precum rotirea încheieturii mâinii pentru a controla un pointer.

Conform cercetătorilor, vor fi necesare îmbunătățiri suplimentare pentru ca sistemul să poată fi utilizat în lumea reală. De exemplu, vor trebui să utilizeze o cameră mai avansată cu o rată de cadre mai mare pentru a captura mișcări mai rapide ale încheieturii mâinii, precum și pentru a gestiona diferite condiții de iluminare.

Cercetarea va fi prezentată la cel de-al 33-lea Simpozion ACM despre Interfața Utilizator și Tehnologia Software (UIST), care urmează să aibă loc virtual în perioada 20-23 octombrie 2020.