Vědci přinášejí extrémní citlivost prstů robotům

Tým vědců z Max Planck Institute for Intelligent Systems (MPI-IS) představil robustní měkký haptický senzor, který spoléhá na počítačové vidění a hlubokou neuronovou síť, aby odhadl, kde předměty přicházejí do kontaktu se senzorem. Může také odhadnout, jak velké jsou aplikované síly.

Nový výzkum, který byl zveřejněn v Nature Machine Intelligence, pomůže robotům vnímat své okolí stejně přesně jako lidé a zvířata.

Senzor ve tvaru palce se skeletem

Senzor je ve tvaru palce a je vyroben z měkké skořepiny postavené kolem lehkého skeletu. Skelet funguje stejně jako kosti, aby stabilizoval měkkou tkáň prstu, a je vyroben z elastomeru smíchaného s reflektivními hliníkovými vločkami. To vytváří šedou barvu, která brání vstupu vnějšího světla. Uvnitř prstu je 160stupňová rybí oko kamera, která zaznamenává barevné obrázky osvětlené LED diodami.

Vzhled barevného vzoru uvnitř senzoru se mění v závislosti na předmětu, který se dotýká skořepiny senzoru, a kamera rychle zaznamenává obrázky a poskytuje data hluboké neuronové síti.

Každá malá změna světla v každém pixelu je detekována algoritmem a během zlomeku sekundy mapuje model strojového učení, kde prst přichází do kontaktu s předmětem. Také určuje sílu sil a směr sil.

Georg Martius je vedoucí výzkumné skupiny Max Planck na MPI-IS a vedoucí skupiny Autonomous Learning.

“Dosáhli jsme této vynikající senzorické výkony prostřednictvím inovativního mechanického designu skořepiny, přizpůsobeného zobrazovacího systému uvnitř, automatického sběru dat a nejmodernějšího hlubokého učení,” říká Martius.

Huanbo Sun je doktorand Martia.

“Naše unikátní hybridní struktura měkké skořepiny obklopující tuhý skelet zajišťuje vysokou citlivost a robustnost. Naše kamera může detekovat i ty nejmenší deformace povrchu z jediného obrázku,” říká Sun.

Podle Katherine J. Kuchenbecker, ředitelky oddělení Haptic Intelligence na MPI-IS, budou nové senzory extrémně užitečné.

“Předchozí měkké haptické senzory měly pouze malé senzorické oblasti, byly křehké a obtížně se vyráběly a často nemohly cítit síly rovnoběžné se kůží, které jsou nezbytné pro robotické manipulace, jako je držení sklenice vody nebo posouvání mince po stole,” říká Kuchenbecker.

Učení senzoru

Aby senzor mohl učit, Sun vyvinul testovací stanici, která generuje trénovací data pro model strojového učení, aby pochopil korelaci mezi změnou surových pixelů a aplikovanými silami. Bylo vygenerováno asi 200 000 měření z testovací stanice, která prozkoumala senzor kolem jeho povrchu, a model byl trénován za jeden den.

“Hardware a software design, který jsme představili v naší práci, lze přenést na širokou škálu robotických částí s různými tvary a požadavky na přesnost. Architektura strojového učení, trénink a proces inference jsou všechny obecné a lze je aplikovat na mnoho dalších senzorových designů,” říká Huanbo Sun.