Ingenieure entwickeln AI-basiertes System zur Erkennung von Handgesten

Ingenieure an der University of California, Berkeley, haben ein Gerät entwickelt, das Handgesten anhand von elektrischen Signalen erkennen kann, die im Unterarm detektiert werden. Dieses neu entwickelte System ist das Ergebnis von tragbaren Biosensoren und künstlicher Intelligenz (KI) und könnte zu einer besseren Steuerung von Prothesen und einer verbesserten Mensch-Computer-Interaktion führen.

Ali Moin war Teil des Design-Teams und ist Doktorand im Department of Electrical Engineering and Computer Sciences der UC Berkeley. Moin ist auch Co-Erster Autor des Forschungsartikels, der online am 21. Dezember in der Zeitschrift Nature Electronics veröffentlicht wurde.

“Prothesen sind eine wichtige Anwendung dieser Technologie, aber außerdem bietet sie eine sehr intuitive Möglichkeit, mit Computern zu kommunizieren.” sagte Moin. “Das Lesen von Handgesten ist eine Möglichkeit, die Mensch-Computer-Interaktion zu verbessern. Und obwohl es andere Möglichkeiten gibt, dies zu tun, beispielsweise durch die Verwendung von Kameras und Computer-Vision, ist dies eine gute Lösung, die auch die Privatsphäre des Einzelnen wahrt.”

System zur Erkennung von Handgesten

Das Team arbeitete mit Ana Arias, Professorin für Elektrotechnik an der UC Berkeley, während der Entwicklung des Systems. Zusammen entwarfen und erstellten sie einen flexiblen Armband, der in der Lage ist, elektrische Signale an 64 verschiedenen Punkten am Unterarm zu lesen. Diese elektrischen Signale wurden dann in einen elektrischen Chip eingespeist, der mit einem KI-Algorithmus programmiert wurde. Dieser Algorithmus kann Muster in den Signalen am Unterarm erkennen, die von bestimmten Handgesten stammen.

Der Algorithmus konnte 21 individuelle Handgesten erkennen.

“Wenn Sie Ihre Handmuskeln kontrahieren möchten, sendet Ihr Gehirn elektrische Signale durch Neuronen in Ihrem Nacken und Ihren Schultern zu Muskelfasern in Ihren Armen und Händen”, sagte Moin. “Im Wesentlichen spürt das, was die Elektroden im Armband wahrnehmen, dieses elektrische Feld. Es ist nicht so präzise, in dem Sinne, dass wir nicht genau bestimmen können, welche exakten Fasern ausgelöst wurden, aber mit der hohen Dichte der Elektroden kann es immer noch lernen, bestimmte Muster zu erkennen.”

Der KI-Algorithmus lernt zunächst, elektrische Signale im Arm und ihre entsprechenden Handgesten zu erkennen, was erfordert, dass der Benutzer das Gerät trägt, während er diese Gesten ausführt. Wenn man dies weiterentwickelt, verlässt sich das System auf einen hyperdimensionalen Rechenalgorithmus, der eine fortschrittliche KI ist, die sich kontinuierlich selbst aktualisiert. Diese fortschrittliche Technologie ermöglicht es dem System, sich mit neuen Informationen wie Armbewegungen oder Schweiß zu korrigieren.

“Bei der Erkennung von Gesten ändern sich Ihre Signale im Laufe der Zeit, und das kann die Leistung Ihres Modells beeinflussen”, sagte Moin. “Wir konnten die Klassifizierungsgenauigkeit erheblich verbessern, indem wir das Modell auf dem Gerät aktualisierten.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Rechnen auf dem Chip

Eine weitere beeindruckende Funktion des Geräts ist, dass alle Rechenoperationen auf dem Chip stattfinden, was bedeutet, dass keine persönlichen Daten an andere Geräte übertragen werden. Dies resultiert in einer schnelleren Rechenzeit und geschützten biologischen Daten.

Jan Rabaey ist der Donald O. Pedersen Distinguished Professor of Electrical Engineering an der UC Berkeley und Senior-Autor des Artikels.

“Wenn Amazon (AMZN ) oder Apple (AAPL ) ihre Algorithmen erstellen, führen sie eine Menge Software in der Cloud aus, die das Modell erstellt, und dann wird das Modell auf Ihr Gerät heruntergeladen”, sagte Jan Rabaey. “Das Problem ist, dass Sie dann mit diesem bestimmten Modell feststecken. In unserem Ansatz haben wir einen Prozess implementiert, bei dem das Lernen auf dem Gerät selbst stattfindet. Und es ist extrem schnell: Sie müssen es nur einmal tun, und es beginnt, den Job zu erledigen. Aber wenn Sie es mehrmals tun, kann es besser werden. Also lernt es kontinuierlich, so wie es Menschen tun.”

Laut Rabaey könnte das Gerät nach nur wenigen leichten Änderungen kommerziell verfügbar sein.

“Die meisten dieser Technologien existieren bereits anderswo, aber was einzigartig an diesem Gerät ist, ist, dass es die Biosensoren, Signalverarbeitung und Interpretation sowie die künstliche Intelligenz in einem System integriert, das relativ klein und flexibel ist und einen niedrigen Energieverbrauch hat”, sagte Rabaey.