AI-system kan känna igen handrörelser exakt

En ny artificiell intelligens (AI)-system som kan känna igen handrörelser har utvecklats av forskare från Nanyang Technological University, Singapore (NTU Singapore). Teknologin fungerar genom att kombinera hudliknande elektronik med datorseende.

Utvecklingen av AI-system för att känna igen mänskliga handrörelser har pågått i cirka 10 år och används för närvarande i kirurgiska robotar, hälsövervakningsutrustning och i spel system.

De första AI-systemen för att känna igen handrörelser var endast visuella, och indata från bärbara sensorer har integrerats för att förbättra dem. Detta kallas “datafusion”. En av de känsliga förmågorna kallas “somatosensory”, och de bärbara sensorerna kan återskapa den.

Precisionen för att känna igen handrörelser är fortfarande svår att uppnå på grund av den låga kvaliteten på data från bärbara sensorer. Detta beror på att sensorerna är otympliga och har dålig kontakt med användaren, samt att visuellt blockerade föremål och dålig belysning påverkar.

Ytterligare utmaningar kommer från integrationen av visuell och sensorisk data, eftersom omatchade datamängder måste bearbetas separat och sedan sammanfogas i slutet. Detta förfarande är ineffektivt och leder till långsammare svarstider.

NTU-teamet kom med några sätt att övervinna dessa utmaningar, inklusive skapandet av ett “bioinspirerat” datafusionsystem som förlitar sig på hudliknande, sträckbara stränsensorer tillverkade av enkelväggiga kolnanorör. Teamet förlitade sig också på AI som ett sätt att representera hur hud och syn bearbetas tillsammans i hjärnan.

Tre neurala nätverksmetoder kombinerades till ett system för att utveckla AI-systemet. De tre typerna av neurala nätverk var: ett konvolutionsneuralt nätverk, ett glesneuralt nätverk och ett multilagerneuralt nätverk.

Genom att kombinera dessa tre kunde teamet utveckla ett system som kunde känna igen mänskliga handrörelser mer exakt jämfört med andra metoder.

Professor Chen Xiaodon är huvudförfattare till studien. Han är från Skolan för materialvetenskap och teknik vid NTU.

“Vår datafusionsarkitektur har sina egna unika bioinspirerade funktioner som inkluderar ett människotillverkat system som liknar den somatosensory-visuella fusionshierarkin i hjärnan. Vi tror att dessa funktioner gör vår arkitektur unik i förhållande till befintliga metoder.”

Chen är också chef för Innovative Centre for Flexible Devices (iFLEX) vid NTU.

“Jämfört med styva bärbara sensorer som inte har tillräckligt nära kontakt med användaren för att samla in exakta data, använder vår innovation sträckbara stränsensorer som bekvämt fäster på mänsklig hud. Detta möjliggör högkvalitativ signalinsamling, som är avgörande för högprecisionsigenkänningstester”, sa Chen.

Resultaten från teamet bestående av forskare från NTU Singapore och University of Technology Sydney (UTS) publicerades i juni i den vetenskapliga tidskriften Nature Electronics.

Testning av systemet

Teamet testade det bioinspirerade AI-systemet med en robot som styrdes genom handrörelser. Roboten guidades genom en labyrint, och resultaten visade att AI-systemet för handrörelseigenkänning kunde guida roboten genom labyrinten utan fel. Detta jämfört med ett visuellt baserat igenkänningsystem, som gjorde sex fel i samma labyrint.

Testning under dåliga förhållanden, såsom buller och dålig belysning, behöll AI-systemet fortfarande en hög noggrannhet. Igenkänningsnoggrannheten nådde över 96,7%.

Dr Wang Ming från Skolan för materialvetenskap och teknik vid NTU Singapore var första författare till studien.

“Hemligheten bakom den höga noggrannheten i vår arkitektur ligger i det faktum att den visuella och somatosensory informationen kan interagera och komplettera varandra i ett tidigt skede innan komplex tolkning utförs. Som ett resultat kan systemet rationellt samla in sammanhängande information med mindre redundant data och mindre perceptuell tvetydighet, vilket resulterar i bättre noggrannhet”, sa Ming.

Enligt en oberoende synvinkel från professor Markus Antonietti, chef för Max Planck Institute of Colloids and Interfaces i Tyskland, “Tar resultaten från denna artikel oss ett steg närmare en smartare och mer maskinbaserad värld. Liksom uppfinningen av smartphones som har revolutionerat samhället, ger detta arbete oss hopp om att vi en dag kan fysiskt styra hela vår omgivning med stor tillförlitlighet och precision genom en gest.”

“Det finns helt enkelt otaliga tillämpningar för sådan teknik på marknaden för att stödja denna framtid. Till exempel, från fjärrstyrning av robotar över smarta arbetsplatser till exoskelett för äldre.”

Forskningsgruppen kommer nu att arbeta med ett VR- och AR-system baserat på det bioinspirerade AI-systemet.