Et AI-system kan gjenkjenne håndbevegelser nøyaktig

Et nytt kunstig intelligenssystem (AI) som kan gjenkjenne håndbevegelser, er utviklet av forskere fra Nanyang Technological University, Singapore (NTU Singapore). Teknologien fungerer ved å kombinere hudlignende elektronikk med datavisjon.

Utviklingen av AI-systemer for å gjenkjenne menneskelige håndbevegelser, har pågått i omtrent 10 år, og det brukes for tiden i kirurgiske roboter, helseovervåkingsutstyr og i spill-systemer.

De første AI-gest gjenkjennelsessystemene var bare visuelle, og innputt fra bærbare sensorer er integrert for å forbedre dem. Dette kalles “datafusjon”. En av sansningsevnenes kalles “somatosensorisk”, og de bærbare sensorene kan gjenskape det.

Gest gjenkjennelsesnøyaktighet er fortsatt vanskelig å oppnå på grunn av lavkvalitetsdata fra bærbare sensorer. Dette skjer på grunn av bulkheten og dårlig kontakt med brukeren, samt effekter av visuelt blokkerte objekter og dårlig belysning.

Flere utfordringer kommer fra integreringen av visuell og sanse-data, siden mismatchede datasett må prosesseres separat og til slutt slås sammen i slutten. Denne prosessen er ineffektiv og fører til langsommere responstider.

NTU-teamet kom opp med noen måter å overvinne disse utfordringene, inkludert skapelsen av et “bioinspirert” datafusjonssystem som avhenger av hudlignende strekkbare stræksensorer laget av enkeltveggede karbonnanorør. Teamet avhengige også av AI som en måte å representere hvordan hud og visjon prosesseres sammen i hjernen.

Tre neurale nettverks-tilnærminger ble kombinert i ett system for å utvikle AI-systemet. De tre typene neurale nettverk var: et konvolusjonsneuralt nettverk, et sparsomt neuralt nettverk og et flerlaget neuralt nettverk.

Ved å kombinere disse tre, kunne teamet utvikle et system i stand til å mer nøyaktig gjenkjenne menneskelige gester sammenlignet med andre metoder.

Professor Chen Xiaodon er hovedforfatter av studien. Han er fra School of Materials Science and Engineering at NTU.

“Vår datafusjonsarkitektur har sine egne unike bio-inspirerte funksjoner som inkluderer et menneskeskapt system som ligner på den somatosensorisk-visuelle fusjons-hierarkiet i hjernen. Vi tror at slike funksjoner gjør vår arkitektur unik i forhold til eksisterende tilnærminger.”

Chen er også direktør for Innovative Centre for Flexible Devices (iFLEX) at NTU.

“I sammenligning med stive bærbare sensorer som ikke danner en intim nok kontakt med brukeren for nøyaktig datainnsamling, bruker vår innovasjon strekkbare stræksensorer som komfortabelt fester seg på menneskehuden. Dette tillater høykvalitets signalinnsamling, som er avgjørende for høy-presisjons gjenkjenningsoppgaver,” sa Chen.

Funnene fra teamet bestående av forskere fra NTU Singapore og University of Technology Sydney (UTS) ble publisert i juni i det vitenskapelige tidsskriftet Nature Electronics.

Testing av systemet

Teamet testet det bio-inspirerte AI-systemet med en robot kontrollert gjennom håndbevegelser. Roboten ble guidet gjennom en labyrint, og resultater viste at AI-håndbevegelses gjenkjennelsessystemet kunne guide roboten gjennom labyrinten uten feil. Dette sammenlignet med et visuelt-basert gjenkjennelsessystem, som gjorde seks feil i samme labyrint.

Testing under dårlige forhold, som støy og dårlig belysning, opprettholdt AI-systemet likevel en høy nøyaktighet. Gjenkjennelsesnøyaktighetsraten nådde over 96,7%.

Dr Wang Ming fra School of Materials Science & Engineering at NTU Singapore var første forfatter av studien.

“Hemmeligheten bak den høye nøyaktigheten i vår arkitektur ligger i det faktum at den visuelle og somatosensoriske informasjonen kan samhandle og supplere hverandre på et tidlig stadium før kompleks tolkning utføres,” sa Ming. “Som et resultat kan systemet rasjonelt samle sammenhengende informasjon med mindre redundante data og mindre perseptuell tvetydighet, noe som resulterer i bedre nøyaktighet.”

Ifølge en uavhengig vurdering fra Professor Markus Antonietti, direktør for Max Planck Institute of Colloids and Interfaces i Tyskland, “Funnene fra denne artikkelen bringer oss et skritt nærmere en smartere og mer maskin-støttet verden. Liksom oppfinnelsen av smartphone som har revolusjonert samfunnet, gir dette arbeidet oss håp om at vi en dag kan fysisk kontrollere hele vår omverden med stor pålitelighet og nøyaktighet gjennom en gest.”

“Det er enklest endelige applikasjoner for slik teknologi på markedet for å støtte denne fremtiden. For eksempel, fra fjernkontroll av roboter over smarte arbeidsplasser til eksoskjeletter for eldre.”

Forsknings-teamet vil nå arbeide på et VR- og AR-system basert på det bio-inspirerte AI-systemet.