Wissenschaftler bringen extreme Fingerspitzengefühl zu Robotern

Ein Team von Wissenschaftlern am Max-Planck-Institut für Intelligente Systeme (MPI-IS) hat einen robusten weichen taktilen Sensor vorgestellt, der auf Computer-Vision und einem tiefen neuronalen Netzwerk basiert, um zu schätzen, wo Objekte mit dem Sensor in Kontakt kommen. Er kann auch schätzen, wie groß die angewendeten Kräfte sind.

Die neue Forschung, die in Nature Machine Intelligence veröffentlicht wurde, wird dazu beitragen, dass Roboter ihre Umgebung so genau wie Menschen und Tiere wahrnehmen.

Daumengeformter Sensor mit Skelett

Der Sensor ist in Form eines Daumens und besteht aus einer weichen Hülle, die um ein leichtes Skelett herumgebaut ist. Das Skelett wirkt wie Knochen, um das weiche Fingergewebe zu stabilisieren, und es besteht aus einem Elastomer, das mit reflektierenden Aluminium-Flocken gemischt ist. Dies erzeugt eine graue Farbe, die verhindert, dass äußeres Licht eindringt. Innerhalb des Fingers befindet sich eine 160-Grad-Fisheye-Kamera, die farbige Bilder aufzeichnet, die von LEDs beleuchtet werden.

Das Aussehen des Farbmusters innerhalb des Sensors ändert sich je nach Objekt, das den Sensor berührt, und die Kamera nimmt schnell Bilder auf und speist die Daten in das tiefe neuronale Netzwerk ein.

Jede kleine Änderung des Lichts in jedem Pixel wird von dem Algorithmus erkannt, und innerhalb einer Bruchsekunde kartiert das maschinelle Lernmodell aus, wo der Finger mit einem Objekt in Kontakt kommt. Es bestimmt auch die Stärke der Kräfte und die Kraftrichtung.

Georg Martius ist Leiter der Max-Planck-Forschungsgruppe am MPI-IS und Leiter der Autonomen Lerngruppe.

“Wir haben diese hervorragende Sensoreigenschaft durch die innovative mechanische Konstruktion der Hülle, das maßgeschneiderte Bildsystem innerhalb, die automatische Datenerfassung und die modernste tiefe Lernmethode erreicht”, sagt Martius.

Huanbo Sun ist Martius’ Doktorand.

“Unsere einzigartige Hybridstruktur aus einer weichen Hülle, die ein steifes Skelett umschließt, gewährleistet hohe Empfindlichkeit und Robustheit. Unsere Kamera kann sogar die geringsten Deformationen der Oberfläche aus einem einzigen Bild erkennen”, sagt Sun.

Laut Katherine J. Kuchenbecker, Direktorin der Abteilung für Taktile Intelligenz am MPI-IS, werden die neuen Sensoren äußerst nützlich sein.

“Frühere weiche taktile Sensoren hatten nur kleine Erfassungsbereiche, waren zerbrechlich und schwierig herzustellen und konnten oft keine Kräfte parallel zur Haut spüren, die für die robotische Manipulation wie das Halten eines Wasserglases oder das Verschieben einer Münze auf einem Tisch unerlässlich sind”, sagt Kuchenbecker.

Das Training des Sensors

Um den Sensor zu trainieren, entwickelte Sun eine Testanordnung, die die Trainingsdaten für das maschinelle Lernmodell generiert, um die Korrelation zwischen der Änderung der Rohpixel und den angewendeten Kräften zu verstehen. Etwa 200.000 Messungen wurden aus der Testanordnung generiert, indem der Sensor um seine Oberfläche herum abgetastet wurde, und das Modell wurde in einem Tag trainiert.

“Die Hardware- und Software-Konstruktion, die wir in unserer Arbeit vorstellen, kann auf eine Vielzahl von Roboter-Teilen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen werden. Die maschinelle Lernarchitektur, das Training und der Inferenzprozess sind alle allgemein und können auf viele andere Sensorkonstruktionen angewendet werden”, sagt Huanbo Sun.