KI-System kann Handgesten genau erkennen

Ein neues KI-System (künstliche Intelligenz), das in der Lage ist, Handgesten zu erkennen, wurde von Wissenschaftlern der Nanyang Technological University, Singapur (NTU Singapur), entwickelt. Die Technologie funktioniert, indem sie skin-like Elektronik mit Computer-Vision kombiniert.

Die Entwicklung von KI-Systemen zur Erkennung von menschlichen Handgesten findet seit etwa 10 Jahren statt und wird derzeit in chirurgischen Robotern, Gesundheitsüberwachungsausrüstung und in Spielkonsolen eingesetzt.

Die ersten KI-Gestenerkennungssysteme waren rein visuell, und Eingaben von tragbaren Sensoren wurden integriert, um sie zu verbessern. Dies wird als “Datenfusion” bezeichnet. Eine der Sinnesfähigkeiten wird als “somatosensorisch” bezeichnet, und die tragbaren Sensoren können diese nachbilden.

Die Genauigkeit der Gestenerkennung ist immer noch schwierig zu erreichen, da die Qualität der Daten von den tragbaren Sensoren niedrig ist. Dies geschieht aufgrund der Unhandlichkeit und des schlechten Kontakts mit dem Benutzer sowie der Auswirkungen von visuell blockierten Objekten und schlechter Beleuchtung.

Weitere Herausforderungen kommen von der Integration von visuellen und sensorischen Daten, da nicht übereinstimmende Datensätze separat verarbeitet und schließlich am Ende zusammengeführt werden müssen. Dieser Prozess ist ineffizient und führt zu langsameren Reaktionszeiten.

Das NTU-Team fand einige Möglichkeiten, diese Herausforderungen zu überwinden, einschließlich der Entwicklung eines “bioinspirierten” Datenfusionsystems, das auf skin-like, dehnbaren Dehnungssensoren aus einzelnen Kohlenstoffnanoröhren basiert. Das Team verließ sich auch auf KI, um darzustellen, wie Haut und Vision im Gehirn verarbeitet werden.

Drei neuronale Netzwerksansätze wurden zu einem System kombiniert, um das KI-System zu entwickeln. Die drei Arten von neuronalen Netzen waren: ein Convolutional Neural Network, ein Sparse Neural Network und ein Multilayer Neural Network.

Durch die Kombination dieser drei konnte das Team ein System entwickeln, das menschliche Gesten genauer erkennen kann als andere Methoden.

Professor Chen Xiaodon ist der Hauptautor der Studie. Er ist von der School of Materials Science and Engineering an der NTU.

“Unsere Datenfusionsarchitektur hat ihre eigenen einzigartigen bio-inspirierten Merkmale, die eine von Menschen entwickelte Systematik ähneln, die der somatosensorisch-visuellen Fusionshierarchie im Gehirn entspricht. Wir glauben, dass diese Merkmale unsere Architektur von bestehenden Ansätzen unterscheiden.”

Chen ist auch Direktor des Innovative Centre for Flexible Devices (iFLEX) an der NTU.

“Im Vergleich zu starren tragbaren Sensoren, die nicht eng genug mit dem Benutzer in Kontakt treten, um genaue Daten zu sammeln, verwendet unsere Innovation dehnbare Dehnungssensoren, die sich bequem auf die menschliche Haut aufbringen lassen. Dies ermöglicht eine hochwertige Signalakquise, die für hochpräzise Erkennungsaufgaben von entscheidender Bedeutung ist”, sagte Chen.

Die Ergebnisse des Teams, das aus Wissenschaftlern der NTU Singapur und der University of Technology Sydney (UTS) bestand, wurden im Juni in der wissenschaftlichen Zeitschrift Nature Electronics.

Testen des Systems

Das Team testete das bio-inspirierte KI-System mit einem Roboter, der durch Handgesten gesteuert wurde. Der Roboter wurde durch ein Labyrinth geführt, und die Ergebnisse zeigten, dass das KI-Handgestenerkennungssystem den Roboter durch das Labyrinth ohne Fehler führen konnte. Im Vergleich dazu machte ein visuelles Erkennungssystem sechs Fehler im gleichen Labyrinth.

Bei Tests unter schlechten Bedingungen, wie z.B. bei Geräuschen und schlechter Beleuchtung, behielt das KI-System eine hohe Genauigkeit bei. Die Erkennungsrate erreichte über 96,7%.

Dr. Wang Ming von der School of Materials Science & Engineering an der NTU Singapur war der erste Autor der Studie.

“Das Geheimnis hinter der hohen Genauigkeit in unserer Architektur liegt darin, dass die visuellen und somatosensorischen Informationen frühzeitig interagieren und sich ergänzen können, bevor sie eine komplexe Interpretation durchführen. Als Ergebnis kann das System kohärente Informationen mit weniger redundanten Daten und weniger Wahrnehmungsambiguität sammeln, was zu einer besseren Genauigkeit führt”, sagte Ming.

Laut einer unabhängigen Meinung von Professor Markus Antonietti, Direktor des Max-Planck-Instituts für Kolloide und Grenzflächen in Deutschland, “bringen uns die Ergebnisse dieser Arbeit einen Schritt weiter in Richtung einer intelligenteren und maschinengestützten Welt. Ähnlich wie die Erfindung des Smartphones, die die Gesellschaft revolutioniert hat, gibt uns diese Arbeit die Hoffnung, dass wir eines Tages unsere gesamte Umwelt mit großer Zuverlässigkeit und Präzision durch Gesten steuern können.”

“Es gibt einfach endlose Anwendungen für diese Technologie auf dem Markt, um diese Zukunft zu unterstützen. Zum Beispiel von der Fernsteuerung von Robotern in intelligenten Arbeitsplätzen bis hin zu Exoskeletten für ältere Menschen.”

Das Forschungsteam wird nun an einem VR- und AR-System auf der Grundlage des bio-inspirierten KI-Systems arbeiten.