Ingeniører utvikler AI-basert håndbevegelsesgjenkjenningssystem

Ingeniører ved University of California, Berkeley har utviklet en enhet som kan gjenkjenne håndbevegelser basert på elektriske signaler oppdaget i underarmen. Dette nyutviklede systemet er et resultat av bærbare biosensorer og kunstig intelligens (AI), og det kan føre til bedre kontroll over proteser og interaksjon mellom mennesker og datamaskiner.

Ali Moin var en del av designteamet og er doktorgradsstudent ved UC Berkeleys avdeling for elektroteknikk og informatikk. Moin er også med-førsteforfatter av forskningsartikkelen publisert online 21. desember i tidsskriftet Naturelektronikk.

"Protetikk er en viktig anvendelse av denne teknologien, men i tillegg til det tilbyr den også en veldig intuitiv måte å kommunisere med datamaskiner på." sa Moin. "Å lese håndbevegelser er en måte å forbedre interaksjonen mellom mennesker og datamaskiner på. Og selv om det finnes andre måter å gjøre det på, for eksempel ved å bruke kameraer og datasyn, er dette en god løsning som også ivaretar individets personvern.»

Håndbevegelsesgjenkjenningssystem

Teamet jobbet med Ana Arias, professor i elektroteknikk ved UC Berkeley, under utviklingen av systemet. Sammen designet og skapte de et fleksibelt armbånd som er i stand til å lese elektriske signaler på 64 forskjellige punkter på underarmen. Disse elektriske signalene ble deretter matet inn i en elektrisk brikke programmert med en AI-algoritme. Denne algoritmen kan identifisere signalmønstre i underarmen som kommer fra spesifikke håndbevegelser.

Algoritmen var i stand til å identifisere 21 individuelle håndbevegelser.

"Når du vil at håndmusklene dine skal trekke seg sammen, sender hjernen elektriske signaler gjennom nevroner i nakken og skuldrene til muskelfibre i armer og hender," sa Moin. "I hovedsak, det elektrodene i mansjetten føler er dette elektriske feltet. Det er ikke så nøyaktig, i den forstand at vi ikke kan finne ut hvilke eksakte fibre som ble utløst, men med den høye tettheten av elektroder kan den likevel lære å gjenkjenne visse mønstre.»

AI-algoritmen lærer først å identifisere elektriske signaler i armen og deres tilsvarende håndbevegelser, noe som krever at brukeren bærer enheten mens han gjør disse bevegelsene. For å ta ting et skritt videre, er systemet avhengig av en hyperdimensjonal dataalgoritme, som er en avansert AI som kontinuerlig oppdaterer seg selv. Denne avanserte teknologien gjør at systemet kan korrigere seg selv med ny informasjon, som armbevegelser eller svette.

"Ved gestgjenkjenning kommer signalene dine til å endre seg over tid, og det kan påvirke ytelsen til modellen din," sa Moin. "Vi var i stand til å forbedre klassifiseringsnøyaktigheten betraktelig ved å oppdatere modellen på enheten."

Beregning lokalt på brikken

En annen imponerende funksjon ved enheten er at all databehandling foregår på brikken, noe som betyr at ingen personlige data overføres til andre enheter. Dette resulterer i en raskere databehandlingstid og beskyttede biologiske data.

Jan Rabaey er Donald O. Pedersen Distinguished Professor of Electrical Engineering ved UC Berkeley og seniorforfatter av artikkelen.

"Når Amazon eller Apple lager algoritmene sine, kjører de en haug med programvare i skyen som lager modellen, og deretter lastes modellen ned til enheten din," sa Jan Rabaey. "Problemet er at da sitter du fast med den spesielle modellen. I vår tilnærming implementerte vi en prosess der læringen gjøres på selve enheten. Og det er ekstremt raskt: Du trenger bare å gjøre det én gang, og det begynner å gjøre jobben. Men hvis du gjør det flere ganger, kan det bli bedre. Så det er kontinuerlig læring, og det er hvordan mennesker gjør det."

Ifølge Rabaey kan enheten bli kommersialisert etter bare noen få små endringer.

"De fleste av disse teknologiene finnes allerede andre steder, men det som er unikt med denne enheten er at den integrerer biosensing, signalbehandling og tolkning, og kunstig intelligens i ett system som er relativt lite og fleksibelt og har et lavt strømbudsjett," sa Rabaey.