Videnskabsmænd bringer ekstrem fingertopfølelse til robotter

Et hold videnskabsmænd fra Max Planck Institute for Intelligent Systems (MPI-IS) har introduceret en robust blød haptisk sensor, der afhænger af computer vision og et dybt neuralt netværk til at estimerer, hvor objekter kommer i kontakt med sensoren. Den kan også estimerer, hvor store de anvendte kræfter er.

Den nye forskning, der er offentliggjort i Nature Machine Intelligence, vil hjælpe robotter med at fornemme deres omgivelser så præcist som mennesker og dyr.

Tommelformet Sensor Med Skelet

Sensoren er formet som en tommel og lavet af en blød skal bygget omkring et let skelet. Skelettet fungerer på samme måde som knogler til at stabilisere den bløde fingervæv, og det er lavet af en elastomer blandet med reflekterende aluminiumflager. Dette skaber en grålig farve, der forhindrer, at ydre lys kommer ind. Inde i fingerspiden er der en 160-graders fiskeøje-kamera, der optager farverige billeder belyst af LED-lys.

Udvendigt på sensorens skal ændrer farvemønsteret sig afhængigt af, hvilket objekt der berører sensorens skal, og kameraet optager hurtigt billeder og føder det dybe neurale netværk med data.

Hver lille ændring i lys i hvert pixel detekteres af algoritmen, og inden for en brøkdel af et sekund kortlægger maskinlæringsmodellen, hvor fingerspiden kommer i kontakt med et objekt. Den bestemmer også styrken af kræfterne og kraftretningen.

Georg Martius er leder af Max Planck Research Group ved MPI-IS og chef for den selvstændige læringsgruppe.

“Vi opnåede denne fremragende følesans gennem den innovative mekaniske design af skallen, det tilpassede billedsystem inde, automatisk dataindsamling og avanceret dyb læring,” siger Martius.

Huanbo Sun er Martius’ ph.d.-studerende.

“Vores unikke hybridstruktur af en blød skal, der omgiver et stift skelet, sikrer høj følesans og robusthed. Vores kamera kan detektere selv de mindste deformationer af overfladen fra ét enkelt billede,” siger Sun.

Ifølge Katherine J. Kuchenbecker, direktør for Haptic Intelligence-afdelingen ved MPI-IS, vil de nye sensorer vise sig at være ekstremt nyttige.

“Tidligere bløde haptiske sensorer havde kun små følesansområder, var ømfølsomme og svære at lave, og kunne ofte ikke fornemme kræfter, der var parallelle med huden, hvilket er afgørende for robotmanipulation som at holde et glas vand eller glide en mønt langs en bord,” siger Kuchenbecker.

At Lære Sensoren at Lære

For at sensoren kan lære, udviklede Sun en testbænk, der genererer træningsdata for maskinlæringsmodellen til at lære. Disse data hjælper modellen med at forstå sammenhængen mellem ændringen i rå billedpixel og de anvendte kræfter. Omkring 200.000 målinger blev genereret fra testbænken, der undersøgte sensoren omkring dens overflade, og modellen blev trænet på en dag.

“Den hardware- og software-design, vi præsenterer i vores arbejde, kan overføres til en bred vifte af robotdele med forskellige former og præisionskrav. Den maskinlæringsarkitektur, træning og slutningsprocessen er alle generelle og kan anvendes på mange andre sensordesigns,” siger Huanbo Sun.