Ingeniører udvikler AI-baseret håndgestusgenkendelsessystem

Ingeniører fra University of California, Berkeley, har udviklet en enhed, der kan genkende håndgestus baseret på elektriske signaler, der detekteres i underarmen. Dette nyligt udviklede system er resultatet af bærbare biosensorer og kunstig intelligens (AI), og det kan føre til bedre kontrol over proteser og menneske-computer-interaktion.

Ali Moin var en del af designholdet og er en ph.d.-studerende på UC Berkeley’s afdeling for elektroteknik og datalogi. Moin er også medforfatter til forskningspapiret, der er offentliggjort online den 21. december i tidsskriftet Nature Electronics.

“Proteser er en vigtig anvendelse af denne teknologi, men ud over det tilbyder det også en meget intuitiv måde at kommunikere med computere på,” sagde Moin. “At læse håndgestus er en måde at forbedre menneske-computer-interaktionen på. Og selvom der er andre måder at gøre det på, f.eks. ved at bruge kameraer og computer-vision, er dette en god løsning, der også respekterer personers privatliv.”

Håndgestusgenkendelsessystem

Holdet arbejdede med Ana Arias, professor i elektroteknik på UC Berkeley, under udviklingen af systemet. Sammen designede og opfandt de en fleksibel armring, der kan læse elektriske signaler på 64 forskellige punkter på underarmen. Disse elektriske signaler blev herefter ført ind i en elektrisk chip, der var programmeret med en AI-algoritme. Denne algoritme kan identificere signal-mønstre i underarmen, der kommer fra bestemte håndgestus.

Algoritmen kunne identificere 21 individuelle håndgestus.

“Når du vil have, at dine håndmuskler skal trække sig sammen, sender din hjerne elektriske signaler gennem neuroner i din nakke og skuldre til muskelfibre i dine arme og hænder,” sagde Moin. “I virkeligheden er det, hvad elektroderne i armringen registrerer – dette elektriske felt. Det er ikke så præcist, i den forstand, at vi ikke kan bestemme, hvilke eksakte fibre der udløses, men med den høje tæthed af elektroder kan det stadig lære at genkende bestemte mønstre.”

AI-algoritmen lærer først at identificere elektriske signaler i armen og deres tilhørende håndgestus, hvilket kræver, at brugeren bærer enheden, mens de udfører disse gestus. Herefter bygger systemet på en hyperdimensional computing-algoritme, der er en avanceret AI, der løbende opdaterer sig selv. Denne avancerede teknologi giver mulighed for, at systemet kan korrigere sig selv med nye oplysninger, såsom armbevægelser eller sved.

“Ved gestusgenkendelse vil dine signaler ændre sig over tid, og det kan påvirke modellens præcision,” sagde Moin. “Vi kunne øge klassificeringsnøjagtigheden væsentligt ved at opdatere modellen på enheden.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Computing Lokalt på Chippen

En anden imponerende funktion i enheden er, at alle beregninger foretages på chippen, hvilket betyder, at ingen personlige data overføres til andre enheder. Dette resulterer i en hurtigere beregningstid og beskyttelse af biologiske data.

Jan Rabaey er Donald O. Pedersen Distinguished Professor of Electrical Engineering på UC Berkeley og seniorforfatter til papiret.

“Når Amazon (AMZN ) eller Apple (AAPL ) udvikler deres algoritmer, kører de en masse software i skyen, der opretter modellen, og derefter downloade modellen til din enhed,” sagde Jan Rabaey. “Problemet er, at du så er låst til denne specifikke model. I vores tilgang har vi implementeret en proces, hvor læringen foretages på enheden selv. Og det er ekstremt hurtigt: Du skal kun gøre det én gang, og derefter begynder det at fungere. Men hvis du gør det flere gange, kan det blive bedre. Så det er en løbende læring, ligesom mennesker gør det.”

Ifølge Rabaey kan enheden blive kommerciel efter kun få mindre ændringer.

“De fleste af disse teknologier findes allerede andre steder, men det, der er unikt ved denne enhed, er, at den integrerer biosensing, signalbehandling og fortolkning samt kunstig intelligens i ét system, der er relativt lille og fleksibel og har en lav strømforbrug,” sagde Rabaey.