Ingenjörer utvecklar AI-baserat handgesterigenkänningssystem

Ingenjörer vid University of California, Berkeley har utvecklat en enhet som kan känna igen handgester baserat på elektriska signaler som upptäcks i underarmen. Detta nyutvecklade system är resultatet av bärbara biosensorer och artificiell intelligens (AI), och det kan leda till bättre kontroll av protetik och interaktion mellan människa och dator.

Ali Moin ingick i designteamet och är doktorand vid UC Berkeleys institution för elektroteknik och datavetenskap. Moin är också den första författaren till forskningsartikeln som publicerades online den 21 december i tidskriften Naturelektronik.

"Proteser är en viktig tillämpning av denna teknik, men förutom det erbjuder den också ett mycket intuitivt sätt att kommunicera med datorer." sa Moin. "Att läsa handgester är ett sätt att förbättra interaktionen mellan människa och dator. Och även om det finns andra sätt att göra det, till exempel genom att använda kameror och datorseende, är detta en bra lösning som också upprätthåller en individs integritet.”

System för handgesterigenkänning

Teamet arbetade med Ana Arias, professor i elektroteknik vid UC Berkeley, under utvecklingen av systemet. Tillsammans designade och skapade de ett flexibelt armband som kan läsa elektriska signaler på 64 olika punkter på underarmen. Dessa elektriska signaler matades sedan in i ett elektriskt chip programmerat med en AI-algoritm. Denna algoritm kan identifiera signalmönster i underarmen som kommer från specifika handgester.

Algoritmen kunde identifiera 21 individuella handgester.

"När du vill att dina handmuskler ska dra ihop sig, skickar din hjärna elektriska signaler genom nervceller i nacke och axlar till muskelfibrer i dina armar och händer," sa Moin. "Det som elektroderna i manschetten känner av är i huvudsak detta elektriska fält. Det är inte så exakt, i den meningen att vi inte kan fastställa vilka exakta fibrer som triggades, men med den höga tätheten av elektroder kan den ändå lära sig att känna igen vissa mönster."

AI-algoritmen lär sig först att identifiera elektriska signaler i armen och deras motsvarande handgester, vilket kräver att användaren bär enheten medan de gör dessa gester. För att ta saker ett steg längre, förlitar sig systemet på en hyperdimensionell beräkningsalgoritm, som är en avancerad AI som kontinuerligt uppdaterar sig själv. Denna avancerade teknik gör att systemet kan korrigera sig själv med ny information, såsom armrörelser eller svett.

"Vid gestigenkänning kommer dina signaler att förändras över tiden, och det kan påverka prestandan hos din modell," sa Moin. "Vi kunde avsevärt förbättra klassificeringsnoggrannheten genom att uppdatera modellen på enheten."

Beräkning lokalt på chipet

En annan imponerande funktion hos enheten är att all beräkning sker på chippet, vilket innebär att ingen personlig data överförs till andra enheter. Detta resulterar i en snabbare beräkningstid och skyddade biologiska data.

Jan Rabaey är Donald O. Pedersen Distinguished Professor of Electrical Engineering vid UC Berkeley och senior författare till tidningen.

"När Amazon eller Apple skapar sina algoritmer kör de en massa mjukvara i molnet som skapar modellen, och sedan laddas modellen ner till din enhet", säger Jan Rabaey. "Problemet är att då har du fastnat för just den modellen. I vårt tillvägagångssätt implementerade vi en process där inlärningen sker på själva enheten. Och det är extremt snabbt: du behöver bara göra det en gång, och det börjar göra jobbet. Men om du gör det fler gånger kan det bli bättre. Så det lär sig ständigt, vilket är hur människor gör det."

Enligt Rabaey kan enheten kommersialiseras efter bara några små förändringar.

"De flesta av dessa teknologier finns redan på andra håll, men det som är unikt med den här enheten är att den integrerar biosensing, signalbehandling och tolkning och artificiell intelligens i ett system som är relativt litet och flexibelt och har en låg effektbudget," sa Rabaey.