Pesquisadores descobrem que a audição pode melhorar a percepção do robô

Os robôs de hoje dependem principalmente da visão e do toque para operar em seus ambientes, mas isso pode mudar com novas pesquisas saindo da Carnegie Mellon University (CMU). Um grupo de pesquisadores descobriu que a percepção do robô pode melhorar através da audição. 

A pesquisa foi o primeiro estudo em larga escala das interações entre som e ação robótica, de acordo com os pesquisadores do Robotics Institute da CMU. O grupo descobriu que o som pode desempenhar um papel em ajudar os robôs a diferenciar os objetos. Através do uso da audição, os robôs também podem determinar que tipo de ação causa um som, e os sons podem ajudar a prever as propriedades físicas de novos objetos.

Lerrel Pinto é Ph.D em robótica na CMU e fará parte do corpo docente da New York University neste outono.

“Muitos trabalhos preliminares em outras áreas indicavam que o som poderia ser útil, mas não estava claro o quão útil seria na robótica”, disse Pinto.

Pinto e o grupo de pesquisadores descobriram que a taxa de desempenho era bastante alta, especificamente uma taxa de precisão de 76% para robôs que usam som para classificar objetos com sucesso. 

Como os resultados se encaixam no que o grupo buscava, eles agora vão explorar outras opções, como equipar robôs com bengalas instrumentadas. Isso permitirá que eles identifiquem objetos tocando neles.

As descobertas do grupo foram apresentadas em julho na conferência virtual Robotics Science and Systems. A equipe também incluiu Abhinav Gupta, professor associado de robótica, e Dhiraj Gandhi, cientista pesquisador do Laboratório de Inteligência Artificial do Facebook em Pittsburgh.

O estudo e o conjunto de dados

O estudo foi conduzido com os pesquisadores criando um grande conjunto de dados e gravando simultaneamente vídeo e áudio de 60 objetos comuns. Alguns desses objetos eram blocos de brinquedo, ferramentas manuais, maçãs, sapatos e bolas de tênis. As gravações aconteceram enquanto os objetos rolavam e batiam em uma bandeja.

O conjunto de dados foi lançado depois de catalogar cerca de US$ 15,000 em interações. 

Bot de inclinação 

As interações foram capturadas pelo que a equipe chama de Tilt-Bot, que é uma bandeja quadrada conectada a um braço do robô Sawyer. O Sawyer também foi usado para empurrar objetos em uma superfície, coletando outros tipos de dados.

O estudo de como o som pode afetar robôs inteligentes já existe há algum tempo, mas o que é novo é o enorme conjunto de dados. 

Uma das novas descobertas foi que um robô poderia usar sua experiência e o que aprendeu sobre o som de um determinado conjunto de objetos para prever as propriedades físicas de outro conjunto de objetos invisíveis.

“Acho que o que foi realmente empolgante foi que, quando falhou, falhou em coisas que você espera que falhe”, disse Pinto. Por exemplo, um robô não poderia usar o som para diferenciar um bloco vermelho de um bloco verde. “Mas se fosse um objeto diferente, como um bloco versus um copo, poderia descobrir isso.”

A pesquisa foi apoiada pela Agência de Projetos de Pesquisa Avançada de Defesa e pelo Escritório de Pesquisa Naval.