A linguagem humana acelera o aprendizado robótico

Uma equipe de pesquisadores de Princeton descobriu que descrições de ferramentas em linguagem humana podem acelerar o aprendizado de um braço robótico simulado que pode levantar e usar várias ferramentas.

A nova pesquisa apóia a ideia de que o treinamento em IA pode tornar os robôs autônomos mais adaptáveis ​​em novas situações, o que, por sua vez, melhora sua eficácia e segurança.

Ao adicionar descrições da forma e função de uma ferramenta ao processo de treinamento do robô, a capacidade do robô de manipular novas ferramentas foi aprimorada.

Método ATLA para Treinamento

O novo método é chamado Aprendizagem Acelerada de Manipulação de Ferramentas com Linguagem, ou ATLA.

Anirudha Majumdar é professora assistente de engenharia mecânica e aeroespacial em Princeton e chefe do Intelligent Robot Motion Lab.

“Informações extras na forma de linguagem podem ajudar um robô a aprender a usar as ferramentas mais rapidamente”, disse Majumdar.

A equipe consultou o modelo de linguagem GPT-3 para obter as descrições das ferramentas. Depois de experimentar vários prompts, eles decidiram usar “Descreva o [recurso] da [ferramenta] em uma resposta detalhada e científica”, sendo o recurso a forma ou o objetivo da ferramenta.

Karthik Narasimhan é professor assistente de ciência da computação e coautor do estudo. Narasimhan também é membro principal do corpo docente do grupo de processamento de linguagem natural (PNL) de Princeton e contribuiu para o modelo de linguagem GPT original como cientista pesquisador visitante na OpenAI.

“Como esses modelos de linguagem foram treinados na Internet, em certo sentido, você pode pensar nisso como uma maneira diferente de recuperar essas informações de maneira mais eficiente e abrangente do que usar o crowdsourcing ou coletar sites específicos para descrições de ferramentas”, disse Narasimhan.

Experimentos simulados de aprendizado de robôs

A equipe selecionou um conjunto de treinamento de 27 ferramentas para seus experimentos simulados de aprendizado de robôs, com ferramentas variando de um machado a um rodo. O braço robótico recebeu quatro tarefas diferentes: empurrar a ferramenta, levantar a ferramenta, usá-la para varrer um cilindro ao longo de uma mesa ou martelar um pino em um buraco.

A equipe desenvolveu então um conjunto de políticas usando abordagens de aprendizado de máquina com e sem informações linguísticas. Os desempenhos das políticas foram comparados num teste separado de nove ferramentas com descrições emparelhadas.

A abordagem, chamada de meta-aprendizagem, melhora a capacidade do robô de aprender com cada tarefa sucessiva.

Segundo Narasimhan, o robô não está apenas aprendendo a usar cada ferramenta, mas também “tentando aprender a entender as descrições de cada uma dessas centenas de ferramentas diferentes, então quando ele vê a 101ª ferramenta é mais rápido em aprender a usar a nova ferramenta. ”

Na maioria dos experimentos, as informações de linguagem forneceram vantagens significativas para a capacidade do robô de usar novas ferramentas.

Allen Z. Ren é Ph.D. aluno do grupo de Majumdar e principal autor do trabalho de pesquisa.

“Com o treinamento de linguagem, ele aprende a segurar a ponta longa do pé de cabra e usar a superfície curva para restringir melhor o movimento da garrafa”, disse Ren. “Sem a linguagem, ele segurava o pé de cabra perto da superfície curva e era mais difícil de controlar.”

“O objetivo geral é fazer com que os sistemas robóticos – especificamente aqueles treinados com aprendizado de máquina – generalizem para novos ambientes”, acrescentou Majumdar.