Les scientifiques apportent une extrême sensibilité des doigts aux robots

Une équipe de scientifiques de l’Institut Max Planck pour les systèmes intelligents (MPI-IS) a introduit un capteur haptique robuste et souple qui repose sur la vision par ordinateur et un réseau neuronal profond pour estimer où les objets entrent en contact avec le capteur. Il peut également estimer la grandeur des forces appliquées.

Les nouvelles recherches, qui ont été publiées dans Nature Machine Intelligence, aideront les robots à percevoir leur environnement avec la même précision que les humains et les animaux.

Capteur en forme de pouce avec squelette

Le capteur est en forme de pouce et est réalisé à partir d’une coque souple construite autour d’un squelette léger. Le squelette agit de la même manière que les os pour stabiliser les tissus mous du doigt, et il est composé d’un élastomère mélangé avec des flocons d’aluminium réfléchissants. Cela crée une couleur grisâtre qui empêche la lumière extérieure de pénétrer. À l’intérieur du doigt se trouve une caméra fish-eye de 160 degrés qui enregistre les images colorées éclairées par des LED.

L’apparence du motif de couleur à l’intérieur des capteurs change en fonction de l’objet qui touche la coque du capteur, et la caméra enregistre rapidement des images et transmet les données au réseau neuronal profond.

Chaque petite variation de lumière dans chaque pixel est détectée par l’algorithme, et dans une fraction de seconde, le modèle d’apprentissage automatique cartographie où le doigt entre en contact avec un objet. Il détermine également la force et la direction des forces.

Georg Martius est le chef du groupe de recherche Max Planck au MPI-IS et dirige le groupe d’apprentissage autonome.

« Nous avons obtenu ces excellentes performances de détection grâce à la conception mécanique innovante de la coque, au système d’imagerie adapté à l’intérieur, à la collecte automatique de données et à l’apprentissage profond de pointe », déclare Martius.

Huanbo Sun est l’étudiant en doctorat de Martius.

« Notre structure hybride unique d’une coque souple entourant un squelette rigide assure une grande sensibilité et une robustesse. Notre caméra peut détecter même les plus légères déformations de la surface à partir d’une seule image », déclare Sun.

Selon Katherine J. Kuchenbecker, directrice du département d’intelligence haptique au MPI-IS, les nouveaux capteurs s’avéreront extrêmement utiles.

« Les anciens capteurs haptiques souples n’avaient que de petites zones de détection, étaient délicats et difficiles à fabriquer, et ne pouvaient souvent pas sentir les forces parallèles à la peau, qui sont essentielles pour la manipulation robotique comme tenir un verre d’eau ou faire glisser une pièce le long d’une table », déclare Kuchenbecker.

Enseigner au capteur à apprendre

Pour que le capteur apprenne, Sun a développé un banc d’essai qui génère les données d’entraînement pour que le modèle d’apprentissage automatique apprenne. Ces données aident le modèle à comprendre la corrélation entre la variation des pixels d’images brutes et les forces appliquées. Environ 200 000 mesures ont été générées à partir du banc d’essai qui a sondé le capteur autour de sa surface, et le modèle a été formé en un jour.

« La conception matérielle et logicielle que nous présentons dans notre travail peut être transférée à une grande variété de pièces de robot avec des formes et des exigences de précision différentes. L’architecture d’apprentissage automatique, la formation et le processus d’inférence sont tous généraux et peuvent être appliqués à de nombreuses autres conceptions de capteurs », déclare Huanbo Sun.