Cientistas trazem sensibilidade extrema da ponta dos dedos para robôs

Uma equipe de cientistas do Instituto Max Planck para Sistemas Inteligentes (MPI-IS) introduziu um robusto sensor háptico macio que depende da visão computacional e de uma rede neural profunda para estimar onde os objetos entram em contato com o sensor. Ele também pode estimar o tamanho das forças aplicadas.

A nova pesquisa, que foi publicada em Nature Machine Intelligence, ajudará os robôs a sentir seu ambiente com a mesma precisão que os humanos e os animais.

Sensor em forma de polegar com esqueleto

O sensor é em forma de polegar e feito de uma casca macia construída em torno de um esqueleto leve. O esqueleto age da mesma forma que os ossos para estabilizar o tecido macio do dedo, e é feito de um elastômero misturado com flocos de alumínio reflexivos. Isso cria uma cor cinzenta que impede a entrada de luz externa. Dentro do dedo, há uma câmera de peixe de 160 graus que registra imagens coloridas iluminadas por LEDs.

A aparência do padrão de cor dentro dos sensores muda dependendo do objeto que toca a casca do sensor, e a câmera registra rapidamente imagens e fornece dados para a rede neural profunda.

Cada pequena mudança na luz em cada pixel é detectada pelo algoritmo, e em uma fração de segundo, o modelo de aprendizado de máquina mapeia onde o dedo está entrando em contato com um objeto. Ele também determina a força das forças e a direção da força.

Georg Martius é Líder de Grupo de Pesquisa do Max Planck no MPI-IS e chefe do Grupo de Aprendizado Autônomo.

“Conseguimos esse excelente desempenho de sensação por meio do design mecânico inovador da casca, do sistema de imagem personalizado dentro, da coleta automática de dados e do aprendizado profundo de ponta”, diz Martius.

Huanbo Sun é estudante de doutorado de Martius.

“Nossa estrutura híbrida única de uma casca macia que encerra um esqueleto rígido garante alta sensibilidade e robustez. Nossa câmera pode detectar até as menores deformações da superfície a partir de uma única imagem”, diz Sun.

De acordo com Katherine J. Kuchenbecker, Diretora do Departamento de Inteligência Háptica do MPI-IS, os novos sensores serão extremamente úteis.

“Sensores hápticos macios anteriores tinham apenas pequenas áreas de detecção, eram delicados e difíceis de fazer, e muitas vezes não podiam sentir forças paralelas à pele, que são essenciais para a manipulação robótica, como segurar um copo de água ou deslizar uma moeda sobre uma mesa”, diz Kuchenbecker.

Ensinar o sensor a aprender

Para que o sensor aprenda, Sun desenvolveu um teste que gera os dados de treinamento para o modelo de aprendizado de máquina aprender. Esses dados ajudam o modelo a entender a correlação entre a mudança nos pixels de imagem brutos e as forças aplicadas. Cerca de 200.000 medições foram geradas a partir do teste que sondou o sensor em torno de sua superfície, e o modelo foi treinado em um dia.

“O design de hardware e software que apresentamos em nosso trabalho pode ser transferido para uma ampla variedade de partes de robôs com diferentes formas e requisitos de precisão. A arquitetura de aprendizado de máquina, treinamento e processo de inferência são todos gerais e podem ser aplicados a muitos outros projetos de sensores”, diz Huanbo Sun.