Oamenii de știință aduc sensibilitate extremă la vârfurile degetelor la roboți

O echipă de oameni de știință de la Institutul Max Planck pentru Sisteme Intelligente (MPI-IS) a introdus un senzor haptic moale robust care se bazează pe viziunea computerizată și o rețea neurală profundă pentru a estima unde obiectele vin în contact cu senzorul. De asemenea, poate estima cât de mari sunt forțele aplicate.

Noile cercetări, care au fost publicate în Nature Machine Intelligence, vor ajuta roboții să simtă mediul lor înconjurător la fel de precis ca oamenii și animalele.

Senzor în formă de deget cu schelet

Senzorul are forma unui deget și este fabricat dintr-o cochilie moale construită în jurul unui schelet ușor. Scheletul acționează în același mod ca oasele pentru a stabiliza țesutul moale al degetului, și este fabricat dintr-un elastomer amestecat cu fulgi de aluminiu reflectorizanți. Acest lucru creează o culoare gri care împiedică lumina externă să pătrundă. În interiorul degetului se află o cameră fish-eye de 160 de grade care înregistrează imagini colorate iluminate de LED-uri.

Aspectul modelului de culoare din interiorul senzorilor se schimbă în funcție de obiectul care atinge cochilia senzorului, și camera înregistrează rapid imagini și furnizează date rețelei neuronale profunde.

Fiecare mică schimbare a luminii în fiecare pixel este detectată de algoritm, și într-o fracțiune de secundă, modelul de învățare automată cartografiază unde degetul vine în contact cu un obiect. De asemenea, determină puterea forțelor și direcția forței.

Georg Martius este liderul grupului de cercetare Max Planck la MPI-IS și șeful grupului de învățare autonomă.

“Am obținut această performanță de detectare excelentă prin designul mecanic inovator al cochiliei, sistemul de imagistică personalizat din interior, colectarea automată a datelor și învățarea profundă de ultimă generație”, spune Martius.

Huanbo Sun este studentul de doctorat al lui Martius.

“Structura noastră hibridă unică a unei cochilii moi care înconjoară un schelet rigid asigură o sensibilitate și o robustețe ridicată. Camera noastră poate detecta chiar și cele mai mici deformări ale suprafeței dintr-o singură imagine”, spune Sun.

Conform lui Katherine J. Kuchenbecker, directorul departamentului de inteligență haptică de la MPI-IS, noii senzori vor fi extrem de utili.

“Senzorii haptici moi anterior aveau doar suprafețe de detectare mici, erau delicati și greu de fabricat, și adesea nu puteau simți forțele paralele cu pielea, care sunt esențiale pentru manipularea robotică, cum ar fi ținerea unui pahar de apă sau alunecarea unei monede de-a lungul unei mese”, spune Kuchenbecker.

Învățarea senzorului

Pentru ca senzorul să învețe, Sun a dezvoltat un testbed care generează datele de antrenare pentru modelul de învățare automată pentru a învăța. Aceste date ajută modelul să înțeleagă corelația dintre schimbarea pixelilor de imagine brută și forțele aplicate. Aproximativ 200.000 de măsurători au fost generate din testbed, sondează senzorul în jurul suprafeței sale, și modelul a fost antrenat într-o zi.

“Proiectarea hardware și software pe care o prezentăm în lucrarea noastră poate fi transferată la o varietate largă de părți robotice cu forme și cerințe de precizie diferite. Arhitectura de învățare automată, antrenamentul și procesul de inferență sunt toate generale și pot fi aplicate la multe alte proiecte de senzori”, spune Huanbo Sun.