Tekoälyjärjestelmä voi tunnistaa käsieleet tarkasti

Singaporen Nanyang Technological Universityn (NTU Singapore) tutkijat ovat kehittäneet uuden tekoälyjärjestelmän, joka pystyy tunnistamaan käsieleitä. Tekniikka toimii yhdistämällä ihomaista elektroniikkaa tietokonenäköön.

Ihmisen käden eleitä tunnistavia tekoälyjärjestelmiä on kehitetty noin 10 vuotta, ja sitä käytetään tällä hetkellä kirurgisissa roboteissa, terveydentilan seurantalaitteissa ja pelijärjestelmissä. 

Alkuperäiset AI-eletunnistusjärjestelmät olivat vain visuaalisia, ja puettavien antureiden tulot on integroitu parantamaan niitä. Tätä kutsutaan "datafuusioksi". Yhtä tunnistuskykyä kutsutaan "somatosensoriseksi", ja puettavat anturit voivat luoda sen uudelleen. 

Eleiden tunnistuksen tarkkuutta on edelleen vaikea saavuttaa puettavien antureiden datan heikon laadun vuoksi. Tämä johtuu tilavuudesta ja huonosta kontaktista käyttäjään sekä visuaalisesti estettyjen esineiden ja huonon valaistuksen vaikutuksista. 

Lisää haasteita tulee visuaalisen ja sensorisen datan integroinnista, koska yhteensopimattomat tietojoukot on käsiteltävä erikseen ja lopulta yhdistettävä. Tämä prosessi on tehoton ja johtaa hitaampiin vasteaikoihin. 

NTU-tiimi keksi muutamia tapoja voittaa nämä haasteet, mukaan lukien "bioinspiroidun" datafuusiojärjestelmän luominen, joka perustuu yksiseinäisistä hiilinanoputkista valmistettuihin ihomaisiin venyviin venymäantureihin. Tiimi luotti myös tekoälyyn keinona edustaa sitä, kuinka ihoaistit ja näkökyky käsitellään yhdessä aivoissa.

Kolme hermoverkkolähestymistapaa yhdistettiin yhdeksi järjestelmäksi tekoälyjärjestelmän kehittämiseksi. Kolme hermoverkkotyyppiä olivat: konvoluutiohermoverkko, harva hermoverkko ja monikerroksinen hermoverkko.

Yhdistämällä nämä kolme, tiimi voisi kehittää järjestelmän, joka pystyy tunnistamaan ihmisen eleitä tarkemmin muihin menetelmiin verrattuna.

Professori Chen Xiaodon on tutkimuksen johtava kirjoittaja. Hän on NTU:n materiaalitieteen ja tekniikan korkeakoulusta. 

"Datafuusioarkkitehtuurillamme on omat ainutlaatuiset biovaikutteiset piirteensä, joihin kuuluu ihmisen valmistama järjestelmä, joka muistuttaa aivojen somatosensorista-visuaalista fuusiohierarkiaa. Uskomme, että tällaiset ominaisuudet tekevät arkkitehtuuristamme ainutlaatuisen olemassa oleville lähestymistavoille."

Chen on myös NTU:n Innovative Center for Flexible Devices (iFLEX) johtaja. 

"Verrattuna jäykiin puetettaviin antureisiin, jotka eivät muodosta riittävän intiimiä kontaktia käyttäjän kanssa tarkkaan tiedonkeruuun, innovaatiomme käyttää venyviä venytysantureita, jotka kiinnittyvät mukavasti ihmisen iholle. Tämä mahdollistaa korkealaatuisen signaalin hankinnan, mikä on elintärkeää erittäin tarkkaan tunnistustehtäviin", Chen sanoi.

NTU Singaporen ja Sydneyn teknillisen yliopiston (UTS) tutkijoista koostuvan ryhmän tulokset julkaistiin kesäkuussa tieteellisessä lehdessä. Luontoelektroniikka.

Järjestelmän testaus

Tiimi testasi bioinspiroitua tekoälyjärjestelmää robotilla, jota ohjattiin käsieleillä. Robotti ohjattiin sokkelon läpi, ja tulokset osoittivat, että tekoälyn käsieleiden tunnistusjärjestelmä pystyi ohjaamaan robotin sokkelon läpi ilman virheitä. Tämä verrattuna visuaaliseen tunnistusjärjestelmään, joka teki kuusi virhettä samassa sokkelossa.

Testattaessa huonoissa olosuhteissa, kuten melussa ja huonoissa valaistusolosuhteissa, AI-järjestelmä säilytti edelleen korkean tarkkuuden. Tunnistustarkkuus oli yli 96.7 %.

Tohtori Wang Ming NTU Singaporen materiaalitieteen ja tekniikan korkeakoulusta oli tutkimuksen ensimmäinen kirjoittaja. 

"Arkkitehtuurimme korkean tarkkuuden salaisuus piilee siinä, että visuaalinen ja somatosensorinen informaatio voivat olla vuorovaikutuksessa ja täydentää toisiaan varhaisessa vaiheessa ennen monimutkaisen tulkinnan suorittamista", Ming sanoi. "Tämän seurauksena järjestelmä voi rationaalisesti kerätä johdonmukaista tietoa vähemmällä redundantilla tiedolla ja vähemmän havainnointia koskevalla epäselvyydellä, mikä johtaa parempaan tarkkuuteen."

Saksan Max Planck Institute of Colloids and Interfaces -instituutin johtajan, professori Markus Antoniettin riippumattoman näkemyksen mukaan "Tämän paperin havainnot tuovat meille uuden askeleen kohti älykkäämpää ja konetuetumpaa maailmaa. Aivan kuten älypuhelimen keksintö, joka on mullistanut yhteiskunnan, tämä työ antaa meille toivoa, että voisimme jonain päivänä hallita fyysisesti kaikkea ympäröivää maailmaamme erittäin luotettavasti ja tarkasti eleen avulla.

”Tällaiselle teknologialle on markkinoilla yksinkertaisesti loputtomasti sovelluksia tämän tulevaisuuden tukemiseksi. Esimerkiksi älykkäiden työpaikkojen robotti-etäohjauksesta vanhusten eksoskeletoihin."

Tutkimusryhmä työskentelee nyt VR- ja AR-järjestelmän parissa, joka perustuu biovaikutteiseen tekoälyjärjestelmään.