Ingeniører utvikler AI-basert håndgestur-gjenkjennelsessystem

Ingeniører ved University of California, Berkeley har utviklet en enhet som kan gjenkjenne håndbevegelser basert på elektriske signaler detektert i underarmen. Dette nyutviklede systemet er resultatet av bærbare biosensorer og kunstig intelligens (AI), og det kan føre til bedre kontroll over proteser og menneske-dator-interaksjon.

Ali Moin var en del av design-teamet og er en doktorgradsstudent i UC Berkeley’s Department of Electrical Engineering and Computer Sciences. Moin er også med-forfatter av forskningsrapporten som ble publisert online den 21. desember i tidsskriftet Nature Electronics.

“Proteser er en viktig anvendelse av denne teknologien, men foruten det tilbyr det også en svært intuitiv måte å kommunisere med datamaskiner på,” sa Moin. “Lese håndbevegelser er en måte å forbedre menneske-dator-interaksjon på. Og, selv om det finnes andre måter å gjøre det på, for eksempel ved å bruke kameraer og datamaskin-syn, er dette en god løsning som også opprettholder en persons privatliv.”

Håndgestur-gjenkjennelsessystem

Teamet arbeidet med Ana Arias, professor i elektroingeniør ved UC Berkeley, under utviklingen av systemet. Sammen designet og laget de en fleksibel armring som kan lese elektriske signaler på 64 forskjellige punkter på underarmen. Disse elektriske signalene ble deretter sendt til en elektrisk chip programmert med en AI-algoritme. Denne algoritmen kan identifisere signal-mønster i underarmen som kommer fra bestemte håndbevegelser.

Algoritmen kunne identifisere 21 individuelle håndbevegelser.

“Når du vil at håndmuskulaturen din skal trekke seg sammen, sender hjernen dine elektriske signaler gjennom nerveceller i nakken og skuldrene til muskelfibre i armene og hendene dine,” sa Moin. “I virkeligheten er det som elektrodene i mansjetten registrerer, denne elektriske feltet. Det er ikke så nøyaktig, i den forstand at vi ikke kan finne ut hvilke eksakte fibre som ble utløst, men med den høye tettheten av elektroder kan det likevel lære å gjenkjenne bestemte mønster.”

AI-algoritmen lærer først å identifisere elektriske signaler i armen og deres tilhørende håndbevegelser, noe som krever at brukeren bærer enheten mens de gjør disse bevegelsene. Videre bygger systemet på en hyperdimensjonal beregningsalgoritme, som er en avansert AI som kontinuerlig oppdaterer seg selv. Denne avanserte teknologien tillater systemet å korrigere seg selv med ny informasjon, som armbevegelser eller svette.

“Ved gjenkjennelse av håndbevegelser, vil dine signaler endre seg over tid, og det kan påvirke modellens ytelse,” sa Moin. “Vi kunne betraktelig forbedre klassifiseringsnøyaktigheten ved å oppdatere modellen på enheten.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Beregning lokalt på chipen

En annen imponerende funksjon ved enheten er at all beregning skjer på chipen, noe som betyr at ingen personlige data overføres til andre enheter. Dette resulterer i en raskere beregnings tid og beskyttet biologisk data.

Jan Rabaey er Donald O. Pedersen Distinguished Professor of Electrical Engineering ved UC Berkeley og senior-forfatter av rapporten.

“Når Amazon (AMZN ) eller Apple (AAPL ) lager sine algoritmer, kjører de en del programvare i skyen som lager modellen, og deretter lastes modellen ned på enheten din,” sa Jan Rabaey. “Problemet er at du deretter er låst til den bestemte modellen. I vår tilnærming har vi implementert en prosess hvor læringen skjer på enheten selv. Og det er ekstremt raskt: Du trenger bare å gjøre det en gang, og det begynner å fungere. Men hvis du gjør det flere ganger, kan det bli bedre. Så, det lærer kontinuerlig, som mennesker gjør det.”

Ifølge Rabaey kan enheten bli kommersialisert etter bare noen få små endringer.

“De fleste av disse teknologiene finnes allerede andre steder, men det som er unikt med denne enheten er at den integrerer biosensoren, signalbehandling og tolkning, og kunstig intelligens i ett system som er relativt lite og fleksibelt og har en lav strømbudsjett,” sa Rabaey.