Avansări în AR și VR cu o nouă cameră de la încheietura mâinii

Realitatea augmentată (AR) și realitatea virtuală (VR) au avansat un pas mai departe cu crearea unui dispozitiv nou purtabil la încheietura mâinii pentru estimarea poziției mâinii 3D. Dispozitivul a fost creat de cercetători de la Institutul de Tehnologie din Tokyo (Tokyo Tech), împreună cu echipe de la Universitatea Carnegie Mellon, Universitatea St Andrews și Universitatea din New South Wales. 

Punctul principal al noului sistem este o cameră care poate captura imagini pe partea dorsală a mâinii. Acest lucru se realizează prin utilizarea unei rețele neuronale numite DorsalNet. Rețeaua neuronală poate identifica gesturi dinamice.

Utilizarea dispozitivelor AR și VR este în creștere, în special în industrii precum sănătate, sport și divertisment. Această nouă dezvoltare va ajuta la îndepărtarea de metodele mai voluminoase folosite în prezent, care includ mănuși mari care fac dificilă mișcarea naturală. 

Sistem de recunoaștere a poziției mâinii 3D

Echipa de cercetare a fost condusă de Hideki Koike la Tokyo Tech. 

Conform cercetătorilor, „Această lucrare este primul estimator de poziție a mâinii 3D în timp real, bazat pe caracteristici vizuale din regiunea dorsală a mâinii. Sistemul constă într-o cameră susținută de o rețea neuronală numită DorsalNet, care poate estima cu acuratețe pozițiile mâinii 3D prin detectarea schimbărilor de pe partea dorsală a mâinii.” 

Dispozitivul are o cameră și este purtat la încheietura mâinii și acționează ca un sistem de recunoaștere a poziției mâinii 3D. Aspectul cel mai important al dispozitivului, care ar putea fi similar cu un ceas inteligent, este că poate captura mișcările mâinii chiar și atunci când mediul și dispozitivul în sine se mișcă. 

Acuratețe și teste preliminare

Cercetarea a demonstrat că noul sistem dezvoltat funcționează mai bine decât încercările anterioare. În special, este cu 20% mai precis în recunoașterea gesturilor dinamice. Atunci când vine vorba de identificarea a 11 tipuri de apucare diferite, are un nivel de acuratețe de 75%.

Testele preliminare au arătat că sistemul poate fi utilizat pentru controlul dispozitivelor inteligente. Aceste aplicații includ lucruri precum schimbarea orei unui ceas inteligent prin simpla schimbare a unghiului degetului. În plus, cercetătorii au demonstrat cum poate acționa ca un mouse sau tastatură virtuală, permițând acțiuni precum rotirea încheieturii mâinii pentru a controla un pointer.

Conform cercetătorilor, vor fi necesare îmbunătățiri suplimentare pentru ca sistemul să poată fi utilizat în lumea reală. De exemplu, vor trebui să utilizeze o cameră mai avansată cu o rată de cadre mai mare pentru a captura mișcările mai rapide ale încheieturii mâinii, precum și pentru a gestiona diverse condiții de iluminare.

Cercetarea va fi prezentată la Simpozionul ACM de Tehnologie Software pentru Interfață Utilizator (UIST), care urmează să aibă loc virtual între 20-23 octombrie 2020.