Edistysaskelut AR- ja VR-tekniikassa uuden rannesormenkameran myötä

Lisätty todellisuus (AR) ja virtuaalitodellisuus (VR) ovat edenneet askelen eteenpäin uuden rannetukeva rannekorun kehittämisen myötä, joka mahdollistaa 3D-käsiasennon arvioinnin. Laite on kehitetty Tokion teknillisen yliopiston (Tokyo Tech) tutkijoiden toimesta yhteistyössä Carnegien Mellon -yliopiston, St Andrews -yliopiston ja Uuden Etelä-Walesin yliopiston tiimien kanssa.

Uuden järjestelmän tärkein ominaisuus on kamera, joka pystyy ottamaan kuvia käden takapuolelta. Tämä tapahtuu DorsalNet-nimisen neuroverkon avulla. Neuroverkko pystyy tunnistamaan dynaamiset eleet.

AR- ja VR-laitteiden käyttö on lisääntynyt erityisesti terveydenhoito-, urheilu- ja viihdealoilla. Tämä uusi kehitys auttaa siirtymään pois nykyisistä kömpelöistä menetelmistä, jotka sisältävät suuret hanskat, jotka vaikeuttavat luonnollista liikettä.

3D-käsiasennon tunnistusjärjestelmä

Tutkimusryhmää johti Hideki Koike Tokyo Techistä.

Tutkijoiden mukaan “Tämä työ on ensimmäinen näköön perustuva reaaliaikainen 3D-käsiasennon arviointi, joka käyttää visuaalisia piirteitä käden takapuolelta. Järjestelmä koostuu kamerasta, jota tukee neuroverkko nimeltä DorsalNet, joka pystyy tarkasti arvioimaan 3D-käsiasentoja havaitsemalla muutoksia käden takapuolella.”

Laite sisältää kameran ja sitä käytetään ranteessa, ja se toimii 3D-käsiasennon tunnistusjärjestelmänä. Laite voi olla samankaltainen kuin älykello, ja se pystyy havaitsemaan käsiliikkeet, vaikka ympäristö ja laite itsessään liikkuvat.

Tarkkuus ja esitutkimukset

Tutkimus osoitti, että kehitetty järjestelmä toimii paremmin kuin aiemmat yritykset. Erityisesti se on keskimäärin 20 % tarkempi dynaamisten eleiden tunnistamisessa. Kun on kyse 11 eri otteen tyypin tunnistamisesta, sen tarkkuus on 75 %.

Esitutkimukset osoittivat, että järjestelmää voidaan käyttää älylaitteiden ohjaukseen. Näihin sovelluksiin kuuluvat esimerkiksi älykellon ajan muuttaminen vain sormen kulman muuttamalla. Lisäksi tutkijat osoittivat, miten se voi toimia virtuaalisena hiirenä tai näppäimistönä, jolloin rannekiertoa voidaan käyttää osoittimen ohjaamiseen.

Tutkijoiden mukaan järjestelmään tarvitaan edelleen parannuksia, jotta se voidaan käyttää todellisessa maailmassa. Esimerkiksi heidän on käytettävä edistyneempää kameraa, jolla on korkeampi kuvataajuus, jotta voidaan havaita nopeammat ranneliikkeet, sekä hallita erilaisia valaistusolosuhteita.

Tutkimus esitetään 33. ACM Symposium on User Interface Software and Technology (UIST) -tapaamisessa, joka järjestetään virtuaalisesti 20.-23.10.2020.