Pesquisadores Desenvolvem ‘Audeo’ IA Capaz de Tocar Piano

Uma equipe de pesquisadores da Universidade de Washington desenvolveu um sistema de inteligência artificial (IA) chamado Audeo que pode criar áudio a partir de performances de piano silenciosas. A fase de teste envolveu aplicativos de reconhecimento de música como o SoundHound, que conseguiu identificar a música do Audeo corretamente cerca de 86% do tempo. 

A pesquisa foi apresentada na conferência NeurlPS 2020 em 8 de dezembro.

O autor sênior Eli Shlizerman é professor assistente nos departamentos de matemática aplicada e engenharia elétrica e computacional da universidade.

“Criar música que soe como se pudesse ser tocada em uma apresentação musical era considerado anteriormente impossível”, disse Shlizerman. “Um algoritmo precisa descobrir as dicas, ou ‘recursos’, nos quadros de vídeo relacionados à geração de música, e precisa ‘imaginar’ o som que está acontecendo entre os quadros de vídeo. Isso requer um sistema que seja ao mesmo tempo preciso e imaginativo. O fato de termos alcançado música que soou bastante boa foi uma surpresa.”

Como o Audeo Funciona

O sistema Audeo funciona decodificando um vídeo e traduzindo-o em música. O primeiro de vários passos envolve a IA detectar as teclas pressionadas em cada quadro de vídeo, e eventualmente desenvolve um diagrama. O diagrama é então traduzido para que um sintetizador de música possa reconhecer sons.

O próximo passo é limpar os dados e adicionar informações adicionais. Essas informações podem incluir coisas como a pressão por trás de cada pressionamento de tecla e quanto tempo durou.

“Se tentarmos sintetizar música apenas do primeiro passo, encontraríamos a qualidade da música insatisfatória”, disse Shlizerman. “O segundo passo é como um professor que revisa a música de um compositor estudante e ajuda a melhorá-la.”

O sistema foi treinado e testado com vídeos do YouTube do pianista Paul Barton, e consistia em cerca de 172.000 quadros de vídeo do músico tocando vários compositores clássicos como Mozart. O Audeo foi testado com 19.000 quadros de Barton tocando diferentes músicas. 

O Sintetizador

Depois de ser treinado, o Audeo gera uma transcrição da música, que é então alimentada a um sintetizador para traduzi-la em som. A música soa diferente dependendo de cada sintetizador, o que é equivalente a mudar a configuração do instrumento em um teclado elétrico.

Dois sintetizadores separados foram usados pela equipe.

“O Fluidsynth cria sons de piano de sintetizador que estamos familiarizados. Esses sons são um pouco mecânicos, mas bastante precisos”, disse Shlizerman. “Também usamos o PerfNet, um novo sintetizador de IA que gera música mais rica e expressiva. Mas também gera mais ruído.”

“O objetivo deste estudo foi ver se a inteligência artificial poderia gerar música que foi tocada por um pianista em uma gravação de vídeo — embora não estivéssemos tentando replicar Paul Barton, pois ele é um virtuoso”, continuou Shlizerman. “Esperamos que nosso estudo permita novas maneiras de interagir com a música. Por exemplo, uma aplicação futura é que o Audeo pode ser estendido a um piano virtual com uma câmera gravando apenas as mãos de uma pessoa. Além disso, colocando uma câmera em cima de um piano real, o Audeo pode potencialmente ajudar em novas maneiras de ensinar estudantes a tocar.”

Kung Su e Ziulong Liu, estudantes de doutorado em engenharia elétrica e computacional, foram co-autores do artigo.