Pesquisadores da CMU Criam Robô de IA que Pinta

Pesquisadores do Instituto de Robótica da Universidade Carnegie Mellon desenvolveram uma ferramenta chamada FRIDA, que é um braço robótico com um pincel de pintura anexado a ele. A ferramenta utiliza inteligência artificial (IA) para trabalhar em conjunto com humanos em projetos de arte.

A equipe está programada para apresentar a pesquisa intitulada “FRIDA: Um Pintor Robótico Colaborativo Com um Ambiente de Planejamento Diferenciável, Real2Sim2Real” na Conferência Internacional de Robótica e Automação da IEEE em maio.

Peter Schaldenbrand é um estudante de doutorado no Instituto de Robótica da Escola de Ciência da Computação. Ele trabalha com FRIDA e explora IA e criatividade.

“Há uma pintura de uma bailarina de sapo que acho que ficou muito bem”, disse ele. “É muito engraçado e divertido, e acho que a surpresa do que FRIDA gerou com base na minha entrada foi muito divertida de ver.”

FRIDA é um acrônimo para Framework e Iniciativa Robótica para Desenvolver Artes. É nomeada em homenagem a Frida Kahlo.

A pesquisa foi liderada por Schalderbrand, junto com membros da faculdade do RI, Jean Oh e Jim McCaam, e tem atraído estudantes e pesquisadores de toda a CMU.

Ferramenta Colaborativa, Não Artista

Os usuários podem guiar FRIDA inserindo uma descrição de texto, enviando outras obras de arte para inspirar seu estilo ou carregando uma fotografia e pedindo que ela pinte uma representação dela. A equipe também está testando outras entradas, como áudio.

“FRIDA é um sistema de pintura robótica, mas FRIDA não é um artista”, continuou Schalderbrand. “FRIDA não gera ideias para se comunicar. FRIDA é um sistema com o qual um artista pode colaborar. O artista pode especificar metas de alto nível para FRIDA e, em seguida, FRIDA pode executá-las.”

Para pintar uma imagem, o robô utiliza modelos de IA que são comparáveis aos que alimentam o ChatGPT e o DALL-E 2 da OpenAI, que produzem texto ou uma imagem em resposta a um prompt. FRIDA simula como pintaria uma imagem com pinceladas e utiliza aprendizado de máquina para avaliar seu progresso enquanto trabalha.

Os produtos finais de FRIDA são caprichosos e impressionistas. As pinceladas são ousadas e carecem da precisão que é frequentemente buscada em empreendimentos robóticos.

“FRIDA é um projeto que explora a interseção da criatividade humana e robótica”, acrescentou McCann. “Frida está usando os tipos de modelos de IA que foram desenvolvidos para fazer coisas como legendas de imagens e entender o conteúdo de cena e aplicá-los a esse problema gerativo artístico.”

FRIDA utiliza IA e aprendizado de máquina várias vezes durante seu processo de criação de arte. Primeiro, ela passa uma hora ou mais aprendendo a usar seu pincel. Em seguida, ela emprega modelos de visão-linguagem que foram treinados em grandes conjuntos de dados que emparelham texto e imagens raspadas da internet, como o Treinamento de Contraste de Linguagem-Imagem da OpenAI (CLIP), para entender a entrada.

Um dos principais desafios técnicos na produção de uma imagem física é reduzir a lacuna de simulação-para-real, que é a disparidade entre o que FRIDA cria na simulação e o que pinta na tela. FRIDA utiliza uma ideia conhecida como real2sim2real, onde as pinceladas reais do robô são usadas para treinar o simulador para refletir e imitar as capacidades físicas do robô e dos materiais de pintura.

A equipe de FRIDA agora visa abordar algumas das limitações dos atuais grandes modelos de visão-linguagem, continuamente refinando os que utilizam. Eles alimentaram os modelos com manchetes de artigos de notícias para fornecer-lhes um senso do que estava acontecendo no mundo e treinaram-nos ainda mais em imagens e texto que são mais representativos de culturas diversas para evitar um viés americano ou ocidental.