Forscher entwickeln neues Handgesten-Erkennungsalgorithmus

Ein Team von Forschern unter der Leitung von Zhiyi Yu von der Sun-Yat-sen-Universität hat einen neuen Handgesten-Erkennungsalgorithmus entwickelt, der komplex, genau und anwendbar ist.

Handgesten werden zunehmend für Mensch-Computer-Interaktionen eingesetzt, und die jüngsten Fortschritte in Kamerasystemen, Bildanalyse und maschinellem Lernen haben die optische Gestenerkennung enorm verbessert. Allerdings stellen die aktuellen Methoden aufgrund von Einschränkungen in hoher Rechenkomplexität, geringer Geschwindigkeit, geringer Genauigkeit und geringer Anzahl an erkennbaren Gesten viele Herausforderungen dar.

Der neue Algorithmus, den das Team entwickelt hat, versucht, diese Einschränkungen zu überwinden, und wurde in einem Artikel in der Journal of Electronic Imaging. Eines der Hauptziele des Teams war es, einen Algorithmus zu erstellen, der nicht nur diese Herausforderungen überwindet, sondern auch leicht in Consumer-Geräten anwendbar ist.

Anpassung an verschiedene Handtypen

Einer der beeindruckendsten Aspekte des Algorithmus ist seine Anpassung an verschiedene Handtypen. Er versucht zunächst, den Handtyp des Benutzers als schlank, normal oder breit zu klassifizieren. Dies erfolgt auf der Grundlage von drei Messungen, die die Beziehungen zwischen Handbreite, Handlänge und Fingerlänge berücksichtigen.

Nach einer erfolgreichen Klassifizierung vergleicht der Handgesten-Erkennungsprozess die Eingabegeste mit gespeicherten Beispielen des gleichen Handtyps.

“Traditionelle einfache Algorithmen leiden oft unter einer geringen Erkennungsrate, da sie nicht mit verschiedenen Handtypen umgehen können. Durch die Klassifizierung der Eingabegeste nach Handtyp und die Verwendung von Beispielsammlungen, die diesem Typ entsprechen, können wir die Gesamterkennungsrate mit fast vernachlässigbarer Ressourcenverbrauch verbessern”, sagt Yu.

Der Prärekognitions-Schritt

Die Methode des Teams basiert auch auf der Verwendung eines “Abkürzungsmerkmals”, um einen Prärekognitions-Schritt durchzuführen. Der Erkennungsalgorithmus kann eine Eingabegeste von neun möglichen Gesten erkennen, aber es ist sehr zeitaufwändig, alle Merkmale der Eingabegeste mit denen der gespeicherten Beispiele für alle möglichen Gesten zu vergleichen.

Um dies zu überwinden, berechnet der Prärekognitions-Schritt des Algorithmus ein Verhältnis der Handfläche, um die drei wahrscheinlichsten Gesten der neun möglichen auszuwählen. Dies reduziert die Anzahl der Kandidatengesten auf drei, und die endgültige Geste wird durch eine komplexere und präzisere Merkmalsextraktion basierend auf “Hu-invarianten Momenten” bestimmt.

“Der Prärekognitions-Schritt reduziert nicht nur die Anzahl der Berechnungen und Hardware-Ressourcen, sondern verbessert auch die Erkennungsgeschwindigkeit ohne die Genauigkeit zu beeinträchtigen”, sagt Yu.

Der Algorithmus wurde auf einem kommerziellen PC-Prozessor und einer FPGA-Plattform mit einer USB-Kamera getestet. Das Team bat 40 Freiwillige, die neun Handgesten mehrmals auszuführen, und 40 weitere wurden verwendet, um die Genauigkeit des Systems zu bestimmen.

Das System demonstrierte, dass es Handgesten in Echtzeit mit einer Erkennungsrate von über 93% erkennen kann. Dies galt auch, wenn die Eingabegesten-Bilder rotiert, translatiert oder skaliert wurden.

Die Forscher sagen, dass sie nun darauf abzielen, die Leistung des Algorithmus unter verschiedenen Beleuchtungsbedingungen zu verbessern sowie die Anzahl der möglichen Gesten zu erhöhen.