Forskere bringer ekstrem fingertoppsfølsomhet til roboter

Et team av forskere ved Max Planck Institute for Intelligent Systems (MPI-IS) har introdusert en robust myk haptisk sensor som avhenger av datavisjon og et dypt neuralt nettverk for å estimere hvor gjenstander kommer i kontakt med sensoren. Den kan også estimere hvor store kreftene som påføres er.

Den nye forskningen, som ble publisert i Nature Machine Intelligence, vil hjelpe roboter med å sanse deres omgivelser like nøyaktig som mennesker og dyr.

Tommel-formet sensor med skjelett

Sensoren er formet som en tommel og består av en myk skall bygget rundt et lett skjelett. Skjelettet fungerer på samme måte som bein for å stabilisere den myke fingervev, og det er laget av en elastomer blandet med reflekterende aluminiumsflak. Dette skaper en grålig farge som forhindrer eksternt lys fra å tre inn. Innside fingeren er det en 160-graders fiskeøye-kamera som opteker fargede bilder belyst av LED-lys.

Utseendet på fargemønsteret inni sensorene endrer seg avhengig av gjenstanden som berører sensorens skall, og kameraet registrerer raskt bilder og sender data til det dype neurale nettverket.

Hver liten endring i lys i hver piksel blir registrert av algoritmen, og innen en brøkdel av et sekund kartlegger maskinlæringsmodellen hvor fingeren kommer i kontakt med en gjenstand. Den bestemmer også styrken på kreftene og kraftretningen.

Georg Martius er en Max Planck-forskningsgruppeleder ved MPI-IS og sjef for den autonome læringsgruppen.

“Vi oppnådde denne utmerkede sanseprestasjonen gjennom den innovative mekaniske designen av skallen, det tilpassede bildesystemet inni, automatisk datainnsamling og banebrytende dypt læringsmodell,” sier Martius.

Huanbo Sun er Martius’ ph.d.-student.

“Vår unike hybridstruktur av en myk skall som omslutter et stift skjelett sikrer høy følsomhet og robusthet. Vårt kamera kan registrere selv de minste deformasjonene av overflaten fra bare ett enkelt bilde,” sier Sun.

Ifølge Katherine J. Kuchenbecker, direktør for avdelingen for haptisk intelligens ved MPI-IS, vil de nye sensorene vise seg å være ekstremt nyttige.

“Tidligere myke haptiske sensorer hadde bare små sanseområder, var ømfintlige og vanskelige å lage, og kunne ofte ikke føle krefter parallelt med huden, som er essensielle for robotmanipulering som å holde et glass vann eller gli en mynt langs en bord,” sier Kuchenbecker.

Å lære sensoren å lære

For at sensoren skal lære, utviklet Sun en testbenk som genererer treningdata for maskinlæringsmodellen til å lære. Disse dataene hjelper modellen med å forstå sammenhengen mellom endringen i rå bildepiksler og de påførte kreftene. Rundt 200 000 målinger ble generert fra testbenken som undersøkte sensoren rundt overflaten, og modellen ble trent på en dag.

“Den hardware- og programvare-designen vi presenterer i vårt arbeid kan overføres til en rekke robotdel med forskjellige former og nøyaktighetskrav. Maskinlæringsarkitekturen, trening og inferensprosessen er alle generelle og kan brukes til mange andre sensordesign,” sier Huanbo Sun.