KI-System kann Handgesten genau erkennen

Ein neues KI-System, das in der Lage ist, Handgesten zu erkennen, wurde von Wissenschaftlern der Nanyang Technological University, Singapur (NTU Singapur), entwickelt. Die Technologie funktioniert, indem sie skin-like Elektronik mit Computer-Vision kombiniert.

Die Entwicklung von KI-Systemen zur Erkennung von menschlichen Handgesten findet bereits seit etwa 10 Jahren statt und wird derzeit in chirurgischen Robotern, Gesundheitsüberwachungsgeräten und in Spielkonsolen eingesetzt.

Die ersten KI-Systeme zur Erkennung von Gesten waren rein visuell und wurden durch die Integration von Daten von tragbaren Sensoren verbessert. Dies wird als “Data-Fusion” bezeichnet. Eine der Sensing-Fähigkeiten wird als “somatosensorisch” bezeichnet, und die tragbaren Sensoren können diese Fähigkeit nachbilden.

Die Genauigkeit der Gestenerkennung ist immer noch schwierig zu erreichen, da die Datenqualität von den tragbaren Sensoren niedrig ist. Dies liegt an der Größe und der schlechten Kontaktierung mit dem Benutzer sowie an den Auswirkungen von visuell blockierten Objekten und schlechten Lichtverhältnissen.

Weitere Herausforderungen entstehen durch die Integration von visuellen und sensorischen Daten, da nicht übereinstimmende Datensätze separat verarbeitet und schließlich am Ende zusammengeführt werden müssen. Dieser Prozess ist ineffizient und führt zu langsameren Reaktionszeiten.

Das NTU-Team entwickelte mehrere Lösungen, um diese Herausforderungen zu überwinden, darunter die Erstellung eines “bio-inspirierten” Data-Fusion-Systems, das auf skin-like stretchable Strain-Sensoren aus einzelnen Kohlenstoffnanoröhren basiert. Das Team verließ sich auch auf KI, um darzustellen, wie Haut und Sehen im Gehirn verarbeitet werden.

Drei neuronale Netzwerksansätze wurden zu einem System kombiniert, um das KI-System zu entwickeln. Die drei Arten von neuronalen Netzen waren: ein konvolutionales neuronales Netz, ein sparses neuronales Netz und ein mehrschichtiges neuronales Netz.

Durch die Kombination dieser drei konnte das Team ein System entwickeln, das in der Lage ist, menschliche Gesten genauer zu erkennen als andere Methoden.

Professor Chen Xiaodon ist der Hauptautor der Studie. Er ist von der School of Materials Science and Engineering an der NTU.

“Unsere Data-Fusion-Architektur hat ihre eigenen einzigartigen bio-inspirierten Merkmale, die eine menschliche Systematik ähneln, die der somatosensorisch-visuellen Fusionshierarchie im Gehirn entspricht. Wir glauben, dass diese Merkmale unsere Architektur von bestehenden Ansätzen unterscheiden.”

Chen ist auch Direktor des Innovative Centre for Flexible Devices (iFLEX) an der NTU.

“Im Vergleich zu starren tragbaren Sensoren, die nicht eng genug mit dem Benutzer in Kontakt sind, um genaue Daten zu sammeln, verwendet unsere Innovation stretchable Strain-Sensoren, die sich bequem auf die menschliche Haut aufbringen lassen. Dies ermöglicht eine hochwertige Signalakquise, die für hochpräzise Erkennungsaufgaben von entscheidender Bedeutung ist”, sagte Chen.

Die Ergebnisse des Teams, das aus Wissenschaftlern der NTU Singapur und der University of Technology Sydney (UTS) bestand, wurden im Juni in der wissenschaftlichen Zeitschrift Nature Electronics.

Das System testen

Das Team testete das bio-inspirierte KI-System mit einem Roboter, der durch Handgesten gesteuert wurde. Der Roboter wurde durch ein Labyrinth geführt, und die Ergebnisse zeigten, dass das KI-System zur Erkennung von Handgesten in der Lage war, den Roboter durch das Labyrinth ohne Fehler zu führen. Dies im Vergleich zu einem visuellen Erkennungssystem, das sechs Fehler im gleichen Labyrinth machte.

Bei Tests unter schlechten Bedingungen, wie z.B. bei Lärm und schlechten Lichtverhältnissen, behielt das KI-System eine hohe Genauigkeit bei. Die Erkennungsrate erreichte über 96,7%.

Dr. Wang Ming von der School of Materials Science & Engineering an der NTU Singapur war der erste Autor der Studie.

“Das Geheimnis hinter der hohen Genauigkeit in unserer Architektur liegt darin, dass die visuellen und somatosensorischen Informationen bereits in einem frühen Stadium interagieren und sich ergänzen können, bevor eine komplexe Interpretation durchgeführt wird. Als Ergebnis kann das System kohärente Informationen mit weniger redundanter Daten und weniger Wahrnehmungsambiguität sammeln, was zu einer besseren Genauigkeit führt”, sagte Ming.

Laut einer unabhängigen Meinung von Professor Markus Antonietti, Direktor des Max-Planck-Instituts für Kolloide und Grenzflächen in Deutschland, “bringen uns die Ergebnisse dieser Studie einen Schritt weiter in Richtung einer intelligenteren und maschinengestützten Welt. Ähnlich wie die Erfindung des Smartphones, die die Gesellschaft revolutioniert hat, gibt uns diese Arbeit die Hoffnung, dass wir eines Tages unsere gesamte Umgebung mit großer Zuverlässigkeit und Präzision durch eine Geste steuern können.”

“Es gibt einfach endlose Anwendungen für diese Technologie auf dem Markt, um diese Zukunft zu unterstützen. Zum Beispiel von der Fernsteuerung von Robotern in intelligenten Arbeitsplätzen bis hin zu Exoskeletten für ältere Menschen.”

Das Forschungsteam wird nun an einem VR- und AR-System auf der Grundlage des bio-inspirierten KI-Systems arbeiten.