Et AI-system kan gjenkjenne håndbevegelser nøyaktig

Et nytt kunstig intelligens-system (AI) som kan gjenkjenne håndbevegelser, er utviklet av forskere fra Nanyang Technological University, Singapore (NTU Singapore). Teknologien fungerer ved å kombinere hud-lignende elektronikk med datavisjon.

Utviklingen av AI-systemer for å gjenkjenne menneskelige håndbevegelser, har pågått i omtrent 10 år, og brukes for tiden i kirurgiske roboter, helseovervåkingsutstyr og i spill-systemer.

De første AI-gest-gjenkjennelsessystemene var bare visuelle, og innputt fra bærbare sensorer er integrert for å forbedre dem. Dette kalles “data-fusjon”. En av sansningsevnenene kalles “somatosensory”, og de bærbare sensorene kan gjenskape den.

Nøyaktighet i gest-gjenkjenning er fortsatt vanskelig å oppnå på grunn av lav kvalitet på data fra bærbare sensorer. Dette skjer på grunn av bulkheten og dårlig kontakt med brukeren, samt effekter av visuelt blokkerte objekter og dårlig lys.

Flere utfordringer kommer fra integreringen av visuell og sansning-data, siden mismatchede datasett må prosesseres separat og til slutt slås sammen ved slutten. Denne prosessen er ineffektiv og fører til langsommere responstider.

NTU-teamet kom opp med noen måter å overvinne disse utfordringene, inkludert opprettelsen av et “bio-inspirert” data-fusjon-system som baserer seg på hud-lignende strekkbare strainer-sensorer laget av enkeltveggede karbonnanorør. Teamet baserte seg også på AI som en måte å representere hvordan hud og visjon prosesseres sammen i hjernen.

Tre neurale nettverks-tilnærminger ble kombinert i ett system for å utvikle AI-systemet. De tre typene neurale nettverk var: et konvolusjons-neuralt nettverk, et sparsomt neuralt nettverk og et flerlaget neuralt nettverk.

Ved å kombinere disse tre, kunne teamet utvikle et system som kunne gjenkjenne menneskelige gester mer nøyaktig enn andre metoder.

Professor Chen Xiaodon er hovedforfatter av studien. Han er fra School of Materials Science and Engineering ved NTU.

“Vår data-fusjons-arkitektur har sine egne unike bio-inspirerte egenskaper som inkluderer et menneskeskapt system som ligner den somatosensory-visuelle fusjons-hierarkiet i hjernen. Vi tror at slike egenskaper gjør vår arkitektur unik i forhold til eksisterende tilnærminger.”

Chen er også direktør for Innovative Centre for Flexible Devices (iFLEX) ved NTU.

“I sammenligning med stive bærbare sensorer som ikke danner en intim nok kontakt med brukeren for nøyaktig datainnsamling, bruker vår innovasjon strekkbare strainer-sensorer som komfortabelt fester seg på menneskehuden. Dette tillater høykvalitets signal-innsamling, som er avgjørende for høy-presisjonsgjenkjenning-oppgaver,” sa Chen.

Funnene fra teamet bestående av forskere fra NTU Singapore og University of Technology Sydney (UTS) ble publisert i juni i det vitenskapelige tidsskriftet Nature Electronics.

Testing av systemet

Teamet testet det bio-inspirerte AI-systemet med en robot kontrollert gjennom håndbevegelser. Roboten ble guidet gjennom en labyrint, og resultater viste at AI-håndbevegelses-gjenkjennelsessystemet kunne guide roboten gjennom labyrinten uten feil. Dette sammenlignet med et visuelt-basert gjenkjennelsessystem, som gjorde seks feil i samme labyrint.

Testing under dårlige forhold, som støy og dårlig lys, beholdt AI-systemet fortsatt en høy nøyaktighet. Gjenkjennelses-nøyaktighets-raten nådde over 96,7%.

Dr Wang Ming fra School of Materials Science & Engineering ved NTU Singapore var første forfatter av studien.

“Hemmeligheten bak den høye nøyaktigheten i vår arkitektur ligger i det faktum at den visuelle og somatosensory-informasjonen kan interagere og komplementere hverandre på et tidlig stadium før kompleks tolkning utføres. Som resultat kan systemet rasjonelt samle sammenhengende informasjon med mindre redundant data og mindre perseptuell tvetydighet, noe som resulterer i bedre nøyaktighet,” sa Ming.

Ifølge en uavhengig vurdering fra Professor Markus Antonietti, direktør for Max Planck Institute of Colloids and Interfaces i Tyskland, “funnene fra denne artikkelen bringer oss et skritt nærmere en smartere og mer maskin-støttet verden. Liksom oppfinnelsen av smarttelefonen som har revolusjonert samfunnet, gir dette arbeidet oss håp om at vi en dag kan fysisk kontrollere hele vår omverden med stor pålitelighet og nøyaktighet gjennom en gest.”

“Det er enkelt sagt ubegrensede muligheter for slik teknologi på markedet for å støtte denne fremtiden. For eksempel, fra fjern-styrt robot-kontroll over smarte arbeidsplasser til eksoskjeletter for eldre.”

Forsknings-teamet vil nå arbeide med et VR- og AR-system basert på det bio-inspirerte AI-systemet.