Et AI-system kan genkende håndbevægelser nøjagtigt

Et nyt kunstig intelligenssystem (AI) i stand til at genkende håndbevægelser er blevet udviklet af forskere fra Nanyang Technological University, Singapore (NTU Singapore). Teknologien virker ved at kombinere hudlignende elektronik med computer vision.

Udviklingen af AI-systemer til at genkende menneskelige håndbevægelser har været i gang i omkring 10 år, og det bruges i dag i kirurgiske robotter, sundheds-overvågningsudstyr og i spilsystemer.

De første AI-gestusgenkendelsessystemer var kun visuelle, og input fra bærbare sensorer er blevet integreret for at forbedre dem. Dette kaldes “datafusion”. En af sansningsevnerne kaldes “somatosensorisk”, og de bærbare sensorer kan genskabe det.

Nøjagtigheden af gestusgenkendelse er stadig svær at opnå på grund af den lave kvalitet af data fra bærbare sensorer. Dette skyldes bulketheden og den dårlige kontakt med brugeren, samt effekterne af visuelt blokerede objekter og dårlig belysning.

Der er yderligere udfordringer ved integrationen af visuelle og sensoriske data, da ikke-matchede datasæt skal behandles separat og til sidst sammenføjes i slutningen. Denne proces er ineffektiv og fører til langsommere responstider.

NTU-holdet fandt på nogle måder at overvinde disse udfordringer, herunder oprettelsen af et “bioinspireret” datafusionsystem, der afhænger af hudlignende strækbare strængsensorer lavet af enkeltvæggede kulstofnanorør. Holdet afhængigt også af AI som en måde at repræsentere, hvordan hud og vision behandles sammen i hjernen.

Tre neurale netværks tilgange blev kombineret i ét system for at udvikle AI-systemet. De tre typer neurale netværk var: et convolutionelt neuralt netværk, et sparsomt neuralt netværk og et flerlaget neuralt netværk.

Ved at kombinere disse tre kunne holdet udvikle et system i stand til mere nøjagtigt at genkende menneskelige gestus end andre metoder.

Professor Chen Xiaodon er hovedforfatter af studiet. Han er fra Skolen for Materialsvidenskab og -ingenørvidenskab på NTU.

“Vores datafusionsarkitektur har sine egne unikke bioinspirerede funktioner, der inkluderer et menneskeskabt system, der ligner den somatosensorisk-visuelle fusionshierarki i hjernen. Vi tror, at disse funktioner gør vores arkitektur unik i forhold til eksisterende tilgange.”

Chen er også direktør for Innovative Centre for Flexible Devices (iFLEX) på NTU.

“I forhold til stive bærbare sensorer, der ikke danner en intim nok kontakt med brugeren til nøjagtig dataindsamling, bruger vores innovation strækbare strængsensorer, der kan sættes komfortabelt på menneskehuden. Dette giver mulighed for højkvalitets signalindsamling, der er afgørende for højpræcisionsgenkendelse,” sagde Chen.

Forskningsteamets resultater, der består af forskere fra NTU Singapore og University of Technology Sydney (UTS), blev offentliggjort i juni i det videnskabelige tidsskrift Nature Electronics.

Test af systemet

Holdet testede det bioinspirerede AI-system med en robot, der blev styret gennem håndbevægelser. Robotten blev guidet gennem en labyrint, og resultaterne viste, at AI-håndbevægelsesgenkendelsessystemet kunne guide robotten gennem labyrinten uden fejl. Dette i modsætning til et visuelt baseret genkendelsessystem, der begik seks fejl i samme labyrint.

Ved test under dårlige betingelser, såsom støj og dårlige lysforhold, opretholdt AI-systemet stadig en høj nøjagtighed. Genkendelsesnøjagtighedsraten nåede over 96,7%.

Dr. Wang Ming fra Skolen for Materialsvidenskab & Ingeniørvidenskab på NTU Singapore var første forfatter af studiet.

“Hemmeligheden bag den høje nøjagtighed i vores arkitektur ligger i, at den visuelle og somatosensoriske information kan interagere og supplere hinanden på et tidligt stadium, før kompleks tolkning udføres. Derved kan systemet rationelt indsamle kohærent information med mindre redundant data og mindre perceptuel tvetydighed, hvilket resulterer i bedre nøjagtighed,” sagde Ming.

Ifølge en uafhængig vurdering fra professor Markus Antonietti, direktør for Max Planck Institute of Colloids and Interfaces i Tyskland, “Forskningens resultater bringer os et skridt nærmere en smartere og mere maskinunderstøttet verden. Ligesom opfindelsen af smartphone, der har revolutioneret samfundet, giver dette arbejde os håb om, at vi en dag kan fysisk styre hele vores omgivende verden med stor pålidelighed og

“Der er simpelthen utallige anvendelser for sådan teknologi på markedet for at støtte denne fremtid. For eksempel fra fjernstyring af robotter over smarte arbejdspladser til eksoskeletter til ældre.”

Forskningsholdet vil nu arbejde på et VR- og AR-system baseret på det bioinspirerede AI-system.