A Linguagem Humana Acelera o Aprendizado Robótico

Uma equipe de pesquisadores de Princeton descobriu que descrições de linguagem humana de ferramentas podem acelerar o aprendizado de um braço robótico simulado que pode levantar e usar várias ferramentas.

A nova pesquisa apoia a ideia de que o treinamento de IA pode tornar robôs autônomos mais adaptáveis em novas situações, o que, por sua vez, melhora sua eficácia e segurança.

Ao adicionar descrições da forma e função de uma ferramenta ao processo de treinamento do robô, a capacidade do robô de manipular novas ferramentas foi aprimorada.

Método ATLA para Treinamento

O novo método é chamado de Aprendizado Acelerado de Manipulação de Ferramentas com Linguagem, ou ATLA.

Anirudha Majumdar é professor assistente de engenharia mecânica e aeroespacial em Princeton e chefe do Laboratório de Movimento Robótico Inteligente.

“Informações extras na forma de linguagem podem ajudar um robô a aprender a usar as ferramentas mais rapidamente”, disse Majumdar.

A equipe consultou o modelo de linguagem GPT-3 para obter descrições de ferramentas. Após tentar várias prompts, decidiram usar “Descreva a [característica] da [ferramenta] em uma resposta detalhada e científica”, com a característica sendo a forma ou propósito da ferramenta.

Karthik Narasimhan é professor assistente de ciência da computação e coautor do estudo. Narasimhan também é membro principal do grupo de processamento de linguagem natural (NLP) de Princeton e contribuiu para o modelo de linguagem GPT original como cientista de pesquisa visitante na OpenAI.

“Porque esses modelos de linguagem foram treinados na internet, em algum sentido, você pode pensar nisso como uma forma diferente de recuperar essa informação de forma mais eficiente e abrangente do que usando crowdsourcing ou raspando sites específicos para descrições de ferramentas”, disse Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Experimentos de Aprendizado Robótico Simulado

A equipe selecionou um conjunto de treinamento de 27 ferramentas para seus experimentos de aprendizado robótico simulado, com as ferramentas variando de um machado a um esfregão. O braço robótico foi dado quatro tarefas diferentes: empurrar a ferramenta, levantar a ferramenta, usá-la para varrer um cilindro ao longo de uma mesa ou martelar um prego em um buraco.

A equipe desenvolveu uma série de políticas usando abordagens de aprendizado de máquina com e sem informações de linguagem. O desempenho das políticas foi comparado em um teste separado de nove ferramentas com descrições emparelhadas.

A abordagem, chamada de meta-aprendizado, melhora a capacidade do robô de aprender com cada tarefa sucessiva.

De acordo com Narasimhan, o robô não está apenas aprendendo a usar cada ferramenta, mas também “tentando aprender a entender as descrições de cada uma dessas cem ferramentas diferentes, para que, quando vê a 101ª ferramenta, ele aprende mais rapidamente a usá-la”.

Nas maioria dos experimentos, as informações de linguagem forneceram vantagens significativas para a capacidade do robô de usar novas ferramentas.

Allen Z. Ren é um estudante de doutorado no grupo de Majumdar e autor principal do artigo de pesquisa.

“Com o treinamento de linguagem, ele aprende a segurar na extremidade longa da barra e usar a superfície curva para melhor constranger o movimento da garrafa”, disse Ren. “Sem a linguagem, ele segurou a barra perto da superfície curva e foi mais difícil de controlar”.

“O objetivo amplo é tornar os sistemas robóticos — especificamente, aqueles treinados usando aprendizado de máquina — mais capazes de generalizar para novos ambientes”, acrescentou Majumdar.