Wetenschappers brengen extreme gevoeligheid van vingertoppen naar robots

Een team van wetenschappers aan het Max Planck Institute for Intelligent Systems (MPI-IS) heeft een robuuste zachte haptische sensor geïntroduceerd die gebruik maakt van computerzicht en een diep neuronaal netwerk om te schatten waar objecten in contact komen met de sensor. Het kan ook schatten hoe groot de toegepaste krachten zijn.

Het nieuwe onderzoek, dat is gepubliceerd in Nature Machine Intelligence, zal helpen om robots hun omgeving zo nauwkeurig te laten voelen als mensen en dieren.

Duimvormige sensor met skelet

De sensor heeft de vorm van een duim en is gemaakt van een zachte schil die is gebouwd rond een lichtgewicht skelet. Het skelet fungeert op dezelfde manier als botten om het zachte vingertopweefsel te stabiliseren, en het is gemaakt van een elastomeer gemengd met reflecterende aluminiumvlokken. Dit creëert een grijsachtige kleur die voorkomt dat extern licht binnenkomt. Binnenin de vinger zit een 160-graden fish-eye-camera die de kleurrijke beelden opneemt die worden verlicht door LEDs.

Het uiterlijk van het kleurpatroon binnen de sensoren verandert afhankelijk van het object dat de schil van de sensor raakt, en de camera neemt snel beelden op en voedt het diepe neurale netwerk met gegevens.

Elke kleine verandering in licht in elk pixel wordt gedetecteerd door het algoritme, en binnen een fractie van een seconde kaart het machine-learningmodel uit waar de vinger in contact komt met een object. Het bepaalt ook de sterkte van de krachten en de richting van de krachten.

Georg Martius is een Max Planck Research Group Leader bij MPI-IS en hoofd van de Autonomous Learning Group.

“We hebben deze uitstekende sensatieprestaties bereikt door de innovatieve mechanische ontwerp van de schil, het op maat gemaakte beeldsysteem, automatische gegevensverzameling en state-of-the-art diep leren,” zegt Martius.

Huanbo Sun is Martius’ PhD-student.

“Onze unieke hybride structuur van een zachte schil die een stijf skelet omvat, zorgt voor hoge gevoeligheid en robuustheid. Onze camera kan zelfs de kleinste vervormingen van het oppervlak detecteren vanaf één enkel beeld,” zegt Sun.

Volgens Katherine J. Kuchenbecker, directeur van de Haptic Intelligence Department bij MPI-IS, zullen de nieuwe sensoren extreem nuttig zijn.

“Vorige zachte haptische sensoren hadden alleen kleine detectiegebieden, waren delicaat en moeilijk te maken, en konden vaak geen krachten parallel aan de huid voelen, wat essentieel is voor robotmanipulatie, zoals het vasthouden van een glas water of het schuiven van een munt over een tafel,” zegt Kuchenbecker.

De sensor leren

Om de sensor te leren, ontwikkelde Sun een testopstelling die de trainingsgegevens genereert voor het machine-learningmodel om te leren. Deze gegevens helpen het model de correlatie tussen de verandering in ruwe beeldpixels en de toegepaste krachten te begrijpen. Ongeveer 200.000 metingen werden gegenereerd van de testopstelling die de sensor rondom het oppervlak onderzocht, en het model werd getraind in één dag.

“Het hardware- en software-ontwerp dat we in ons werk presenteren, kan worden overgedragen aan een breed scala aan robotonderdelen met verschillende vormen en precisie-eisen. De machine-learningarchitectuur, training en inferentieproces zijn allemaal algemeen en kunnen worden toegepast op veel andere sensordesigns,” zegt Huanbo Sun.