Forskare ger robotar extremt känsliga fingertoppar

Ett team av forskare vid Max Planck-institutet för intelligenta system (MPI-IS) har introducerat en robust mjuk haptisk sensor som förlitar sig på datorseende och ett djupt neuronnät för att uppskatta var föremål kommer i kontakt med sensorn. Den kan också uppskatta hur stora de tillämpade krafterna är.

Den nya forskningen, som publicerades i Nature Machine Intelligence, kommer att hjälpa robotar att känna sin omgivning lika exakt som människor och djur.

Tummeformad sensor med skelett

Sensorn är formad som en tumme och tillverkad av en mjuk skal byggd runt ett lätt skelett. Skelettet fungerar på samma sätt som ben för att stabilisera den mjuka fingervävnaden, och det är tillverkat av en elastomer blandad med reflekterande aluminiumflingor. Detta skapar en grå färg som förhindrar att yttre ljus kommer in. Inuti fingret finns en 160-graders fiskögonkamera som spelar in de färgrika bilderna som belyses av LED-lampor.

Utseendet på färgmönstret inuti sensorerna ändras beroende på det föremål som berör sensorns skal, och kameran spelar snabbt in bilder och matar det djupa neuronnätet med data.

Varje liten förändring i ljus i varje pixel upptäcks av algoritmen, och inom en bråkdel av en sekund kartlägger maskinlärningsmodellen var fingret kommer i kontakt med ett föremål. Den bestämmer också styrkan på krafterna och kraftriktningen.

Georg Martius är ledare för Max Planck-forskningsgruppen vid MPI-IS och chef för den autonoma inlärningsgruppen.

“Vi uppnådde denna utmärkta känslighetsprestanda genom den innovativa mekaniska designen av skalet, det anpassade bildsystemet inuti, automatisk datainsamling och avancerad djupinlärning”, säger Martius.

Huanbo Sun är Martius doktorand.

“Vår unika hybridstruktur av en mjuk skal som omsluter ett styvt skelett säkerställer hög känslighet och robusthet. Vår kamera kan upptäcka även de minsta deformationerna av ytan från en enda bild”, säger Sun.

Enligt Katherine J. Kuchenbecker, chef för avdelningen för haptisk intelligens vid MPI-IS, kommer de nya sensorerna att visa sig extremt användbara.

“Tidigare mjuka haptiska sensorer hade bara små känsliga områden, var ömtåliga och svåra att tillverka, och kunde ofta inte känna krafter parallellt med huden, vilket är avgörande för robotmanipulation som att hålla ett glas vatten eller skjuta en mynt längs ett bord”, säger Kuchenbecker.

Att lära sensorn att lära

För att sensorn ska lära sig utvecklade Sun en testbädd som genererar träningsdata för maskinlärningsmodellen att lära sig. Dessa data hjälper modellen att förstå sambandet mellan förändringen i råa bildpixlar och de tillämpade krafterna. Cirka 200 000 mätningar genererades från testbädden som undersökte sensorns yta, och modellen tränades på en dag.

“Den maskinvaru- och programvarudesign vi presenterar i vårt arbete kan överföras till en stor mängd robotdelar med olika former och precisionskrav. Maskinlärningsarkitekturen, tränings- och inferensprocessen är alla allmänna och kan tillämpas på många andra sensordesigner”, säger Huanbo Sun.