Wetenschappers brengen extreme gevoeligheid van vingertoppen naar robots

Een team van wetenschappers aan het Max Planck Institute for Intelligent Systems (MPI-IS) hebben een robuuste zachte haptische sensor geïntroduceerd die gebruik maakt van computerzicht en een diep neuronaal netwerk om te schatten waar objecten in contact komen met de sensor. Het kan ook schatten hoe groot de toegepaste krachten zijn.

Het nieuwe onderzoek, dat is gepubliceerd in Nature Machine Intelligence, zal helpen om robots hun omgeving zo nauwkeurig te laten waarnemen als mensen en dieren.

Duimvormige sensor met skelet

De sensor heeft de vorm van een duim en is gemaakt van een zachte schaal die is gebouwd rond een lichtgewicht skelet. Het skelet werkt op dezelfde manier als botten om het zachte vingertopweefsel te stabiliseren, en het is gemaakt van een elastomeer gemengd met reflecterende aluminiumvlokken. Dit creëert een grijsachtige kleur die voorkomt dat extern licht binnenkomt. Binnenin de vinger zit een 160-graden fish-eye-camera die de kleurrijke beelden opneemt die worden verlicht door LEDs.

Het uiterlijk van het kleurpatroon binnen de sensoren verandert afhankelijk van het object dat de schaal van de sensor raakt, en de camera neemt snel beelden op en voedt de diepe neurale netwerkgegevens.

Elke kleine verandering in licht in elk pixel wordt gedetecteerd door het algoritme, en binnen een fractie van een seconde kaart het machine learning-model uit waar de vinger in contact komt met een object. Het bepaalt ook de sterkte van de krachten en de richting van de krachten.

Georg Martius is een Max Planck Research Group Leader bij MPI-IS en hoofd van de Autonomous Learning Group.

“We hebben deze excellente sensordetectieprestaties bereikt door de innovatieve mechanische ontwerp van de schaal, het aangepaste beeldsysteem erin, automatische gegevensverzameling en state-of-the-art deep learning,” zegt Martius.

Huanbo Sun is Martius’ Ph.D.-student.

“Onze unieke hybride structuur van een zachte schaal die een stijf skelet omvat, zorgt voor hoge gevoeligheid en robuustheid. Onze camera kan zelfs de kleinste vervormingen van het oppervlak detecteren van één enkel beeld,” zegt Sun.

Volgens Katherine J. Kuchenbecker, directeur van de Haptic Intelligence Department bij MPI-IS, zullen de nieuwe sensoren extreem nuttig zijn.

“Vorige zachte haptische sensoren hadden alleen kleine detectiegebieden, waren delicaat en moeilijk te maken, en konden vaak geen krachten voelen die evenwijdig waren aan de huid, die essentieel zijn voor robotmanipulatie zoals het vasthouden van een glas water of het schuiven van een munt over een tafel,” zegt Kuchenbecker.

De sensor leren

Om de sensor te leren, ontwikkelde Sun een testopstelling die de trainingsgegevens voor het machine learning-model genereert om te leren. Deze gegevens helpen het model de correlatie tussen de verandering in ruwe beeldpixels en de toegepaste krachten te begrijpen. Ongeveer 200.000 metingen werden gegenereerd van de testopstelling die de sensor rondom zijn oppervlak onderzocht, en het model werd getraind in één dag.

“De hardware- en software-ontwerp die we in ons werk presenteren, kunnen worden overgedragen naar een breed scala aan robotonderdelen met verschillende vormen en precisie-eisen. De machine learning-architectuur, training en inferentieproces zijn allemaal algemeen en kunnen worden toegepast op veel andere sensordesigns,” zegt Huanbo Sun.