Pesquisadores Descobrem que a Audição Pode Melhorar a Percepção de Robôs

Os robôs atuais dependem principalmente da visão e do toque para operar em seus ambientes, mas isso pode mudar com uma nova pesquisa que está saindo da Universidade Carnegie Mellon (CMU). Um grupo de pesquisadores descobriu que a percepção de robôs pode ser melhorada por meio da audição.

A pesquisa foi o primeiro estudo em larga escala das interações entre som e ação robótica, de acordo com os pesquisadores do Instituto de Robótica da CMU. O grupo descobriu que o som pode desempenhar um papel importante em ajudar os robôs a diferenciar entre objetos. Com o uso da audição, os robôs também podem determinar que tipo de ação causou um som e os sons podem ajudar a prever as propriedades físicas de novos objetos.

Lerrel Pinto é Ph.D em robótica na CMU e fará parte da faculdade da Universidade de Nova York no outono.

“Muito trabalho preliminar em outros campos indicou que o som poderia ser útil, mas não estava claro quão útil ele seria na robótica”, disse Pinto.

Pinto e o grupo de pesquisadores descobriram que a taxa de desempenho foi bastante alta, especificamente uma taxa de precisão de 76% para robôs que usam som para classificar objetos com sucesso.

Como os resultados se encaixam no que o grupo estava procurando, agora eles vão explorar outras opções, como equipar robôs com bengalas instrumentadas. Isso permitirá que eles identifiquem objetos batendo neles.

As descobertas do grupo foram apresentadas em julho na conferência virtual de Ciência e Sistemas de Robótica. A equipe também incluiu Abhinav Gupta, professor associado de robótica, e Dhiraj Gandhi, cientista de pesquisa no Laboratório de Pesquisa de Inteligência Artificial do Facebook (META ) em Pittsburgh.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

O Estudo e o Conjunto de Dados

O estudo foi realizado com os pesquisadores criando um grande conjunto de dados e gravando simultaneamente vídeo e áudio de 60 objetos comuns. Alguns desses objetos eram blocos de brinquedo, ferramentas manuais, maçãs, sapatos e bolas de tênis. As gravações ocorreram enquanto os objetos rolavam e colidiam em uma bandeja.

O conjunto de dados foi então liberado após catalogar cerca de 15.000 interações.

Tilt-Bot

As interações foram capturadas pelo que a equipe chama de Tilt-Bot, que é uma bandeja quadrada conectada a um braço robótico Sawyer. O Sawyer também foi usado para empurrar objetos em uma superfície, coletando outros tipos de dados.

O estudo de como o som pode afetar robôs inteligentes tem sido realizado há algum tempo, mas o que é novo é o conjunto de dados maciço.

Uma das novas descobertas foi que um robô pode usar sua experiência e o que aprendeu sobre o som de um conjunto de objetos para prever as propriedades físicas de outro conjunto de objetos não vistos.

“Acho que o que foi realmente emocionante foi que, quando ele falhava, falhava em coisas que você esperaria que falhasse”, disse Pinto. Por exemplo, um robô não pode usar o som para distinguir entre um bloco vermelho ou um bloco verde. “Mas se fosse um objeto diferente, como um bloco versus uma xícara, ele poderia descobrir.”

A pesquisa foi apoiada pela Agência de Projetos de Pesquisa Avançada de Defesa e pelo Escritório de Pesquisa Naval.