Ingenjörer utvecklar AI-baserat system för handgestigenkänning

Ingenjörer vid University of California, Berkeley har utvecklat en enhet som kan känna igen handgestiker baserat på elektriska signaler som upptäcks i underarmen. Detta nyligen utvecklade system är resultatet av bärbara biosensorer och artificiell intelligens (AI), och det kan leda till bättre kontroll av proteser och människa-datorinteraktion.

Ali Moin var en del av design-teamet och är en doktorand i UC Berkeley:s avdelning för elektroteknik och datavetenskap. Moin är också medförfattare till forskningsrapporten som publicerades online den 21 december i tidskriften Nature Electronics.

“Proteser är en viktig tillämpning av denna teknik, men förutom det erbjuder det också ett mycket intuitivt sätt att kommunicera med datorer”, sa Moin. “Att läsa handgestiker är ett sätt att förbättra människa-datorinteraktionen. Och medan det finns andra sätt att göra det, till exempel genom att använda kameror och datorseende, är detta en bra lösning som också upprätthåller en persons integritet.”

System för handgestigenkänning

Teamet arbetade med Ana Arias, professor i elektroteknik vid UC Berkeley, under utvecklingen av systemet. Tillsammans designade och skapade de en flexibel armband som kan läsa elektriska signaler på 64 olika punkter på underarmen. Dessa elektriska signaler matades sedan in i en elektrisk krets som programmerats med en AI-algoritm. Denna algoritm kan identifiera signalmönster i underarmen som kommer från specifika handgestiker.

Algoritmen kunde identifiera 21 individuella handgestiker.

“När du vill att dina handmuskler ska dra ihop sig, skickar din hjärna elektriska signaler genom nervceller i din hals och axlar till muskelfibrer i dina armar och händer”, sa Moin. “I princip är det som elektroderna i armbanden känner av denna elektriska fält. Det är inte så exakt, i den meningen att vi inte kan peka ut vilka exakta fibrer som utlöstes, men med den höga densiteten av elektroder kan det fortfarande lära sig att känna igen vissa mönster.”

AI-algoritmen lärde sig först att identifiera elektriska signaler i armen och deras motsvarande handgestiker, vilket krävde att användaren bar enheten medan de gjorde dessa gestiker. Att ta saker ett steg längre, bygger systemet på en hyperdimensionell datoralgoritm, som är en avancerad AI som kontinuerligt uppdaterar sig själv. Denna avancerade teknik gör det möjligt för systemet att korrigera sig själv med ny information, såsom armrörelser eller svett.

“Vid gestigenkänning kommer dina signaler att förändras över tiden, och det kan påverka modellens prestanda”, sa Moin. “Vi kunde förbättra klassificeringsnoggrannheten avsevärt genom att uppdatera modellen på enheten.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Beräkning lokalt på chipet

En annan imponerande funktion i enheten är att all beräkning sker på chipet, vilket innebär att ingen personlig data överförs till andra enheter. Detta resulterar i en snabbare beräkningstid och skyddad biologisk data.

Jan Rabaey är Donald O. Pedersen Distinguished Professor i elektroteknik vid UC Berkeley och seniorförfattare till artikeln.

“När Amazon eller Apple skapar sina algoritmer, kör de en mängd programvara i molnet som skapar modellen, och sedan laddas modellen ner till din enhet”, sa Jan Rabaey. “Problemet är att du då är fast med den specifika modellen. I vår approach implementerade vi en process där inlärningen sker på enheten själv. Och det är extremt snabbt: du behöver bara göra det en gång, och det börjar fungera. Men om du gör det flera gånger, kan det bli bättre. Så det lär sig kontinuerligt, vilket är hur människor gör det.”

Enligt Rabaey kan enheten bli kommersiell efter bara några små förändringar.

“De flesta av dessa teknologier finns redan någon annanstans, men vad som är unikt med denna enhet är att den integrerar biosensorn, signalbehandling och tolkning, och artificiell intelligens i ett system som är relativt litet och flexibelt och har en låg effektförbrukning”, sa Rabaey.