Älyjärjestelmä tunnistaa käden liikkeet tarkasti

Nanyangin teknillisen yliopiston (NTU Singapore) tutkijat ovat kehittäneet uuden älyjärjestelmän, joka pystyy tunnistamaan käden liikkeet. Teknologia toimii yhdistämällä ihonkaltaiset elektroniikka ja tietokoneen näkö.

Älyjärjestelmien kehittäminen tunnistamaan ihmisen käden liikkeet on ollut käynnissä noin 10 vuotta, ja sitä käytetään tällä hetkellä kirurgisissa roboteissa, terveydenhuollon laitteissa ja pelijärjestelmissä.

Alkuperäiset älyjärjestelmät käden liikkeiden tunnistamiseen olivat vain visuaalisia, ja niiden parantamiseksi on integroitu tietoja wearable-sensoreista. Tätä kutsutaan “data-fusioniksi”. Yksi näistä aistimiskyvyistä on kutsuttu “somatosensoriseksi”, ja wearable-sensorit voivat jäljitellä sitä.

Käden liikkeiden tunnistamisen tarkkuus on edelleen haasteellista saavuttaa johtuen wearable-sensoreista tulevan datan alhaisesta laadusta. Tämä johtuu sensoreiden kömpelyydestä ja huonosta kosketuksesta käyttäjän kanssa, sekä visuaalisesti estettyjen esineiden ja huonon valaistuksen vaikutuksesta.

Lisää haasteita tulee visuaalisen ja somatosensorisen datan yhdistämisestä, koska epäsovittaiset tietojoukot on käsiteltävä erikseen ja lopulta yhdistettävä lopussa. Tämä prosessi on tehokas ja johtaa hitaampiin vastausaikoihin.

NTU-tiimi keksi joitain keinoja voittaa nämä haasteet, mukaan lukien “bioinspiroidun” data-fusion-järjestelmän luominen, joka perustuu ihonkaltaisiin venyviin jännityssensoreihin, jotka on valmistettu yksiseinäisistä hiilinanoputkista. Tiimi turvautui myös älykkääseen tapaan edustaa, miten iho aistii ja näkö prosessoidaan yhdessä aivoissa.

Kolme neuroverkko-lähestymistapaa yhdistettiin yhteen järjestelmään kehittääkseen älyjärjestelmän. Kolme neuroverkkojen tyyppiä olivat: konvoluutio-neuroverkko, harva neuroverkko ja monikerroksinen neuroverkko.

Näiden kolmen yhdistämisen kautta tiimi pystyi kehittämään järjestelmän, joka pystyy tunnistamaan ihmisen käden liikkeet tarkemmin kuin muut menetelmät.

Professori Chen Xiaodon on tutkimuksen pääkirjoittaja. Hän on kotoisin NTU:n Materiaalitieteiden ja -tekniikan koulusta.

“Meidän data-fusion-arkkitehtuurimme on omiaan bioinspiroituja piirteitä, jotka sisältävät ihmisen luoman järjestelmän, joka muistuttaa somatosensorista-visuaalista fuusiota aivoissa. Uskomme, että nämä piirteet tekevät meidän arkkitehtuuristamme ainutlaatuisen olemassa oleviin lähestymistapoihin nähden.”

Chen on myös Innovative Centre for Flexible Devices (iFLEX) -keskuksen johtaja NTU:ssa.

“Vertailukelpoisesti jäykkiin wearable-sensoreihin, jotka eivät muodosta tarpeeksi läheistä kosketusta käyttäjän kanssa tarkkaan datan keräämiseksi, meidän innovaatio käyttää venyviä jännityssensoreita, jotka kiinnittyvät mukavasti ihmisen ihoon. Tämä mahdollistaa laadukkaan signaalin hankinnan, joka on välttämätöntä korkean tarkkuuden tunnistustehtävissä”, Chen sanoi.

Tutkimustulokset, jotka koostuivat NTU Singaporen ja University of Technology Sydneyn (UTS) tutkijoista, julkaistiin kesäkuussa Nature Electronics -tieteellisessä lehdessä Nature Electronics.

Järjestelmän testaus

Tiimi testasi bioinspiroituja älyjärjestelmää robottia, jota ohjattiin käden liikkeillä. Robotti ohjattiin läpi sokkeloa, ja tulokset osoittivat, että älyjärjestelmän käden liikkeiden tunnistus pystyi ohjaamaan robottia sokkelon läpi ilman virheitä. Tämä verrattuna visuaaliseen tunnistusjärjestelmään, joka teki kuusi virhettä samassa sokkelossa.

Testaus heikkokuntoisissa olosuhteissa, kuten melussa ja huonossa valaistuksessa, älyjärjestelmä säilytti edelleen korkean tarkkuuden. Tunnetarkkuusasteikko saavutti yli 96,7 %.

Tohtori Wang Ming NTU Singaporen Materiaalitieteiden ja -tekniikan koulusta oli tutkimuksen ensisijainen kirjoittaja.

“Salaisuus meidän arkkitehtuurimme takana olevan korkean tarkkuuden on se, että visuaalinen ja somatosensorinen tieto voivat vuorovaikuttaa ja täydentää toisiaan varhaisessa vaiheessa ennen monimutkaisen tulkinnan suorittamista”, Ming sanoi. “Tämän seurauksena järjestelmä voi järkevästi kerätä yhtenäisiä tietoja vähemmän tarpeettoman datan ja vähemmän havaintoambiguuden kanssa, mikä johtaa parempaan tarkkuuteen.”

Riippumattoman näkemyksen mukaan professori Markus Antonietti, Max Planck Institute of Colloids and Interfacesin johtaja Saksassa, “Tutkimustulokset tästä paperista vievät meidät askelen eteenpäin älykkäämmän ja konepohjaisemman maailman suuntaan. Samalla tavoin kuin älypuhelimien keksiminen on vallankumouksellisesti muuttanut yhteiskuntaa, tämä työ antaa meille toiveita, että voimme jonain päivänä fyysisesti ohjata koko ympäröivää maailmaamme suurella luotettavuudella ja tarkkuudella käden liikkeen kautta.”

“On vain loputtomia sovelluksia tällaiselle teknologialle markkinoilla tukemaan tätä tulevaisuutta. Esimerkiksi etärobotti ohjauksesta älykkäisiin työpaikkoihin vanhuksien eksoskeleetteihin.”

Tutkimusryhmä työskentelee nyt VR- ja AR-järjestelmän parissa, joka perustuu bioinspiroituun älyjärjestelmään.