Inteligência Artificial em Tempo Real Pode Gerar Linhas para Música Instrumental Ao Vivo

Pesquisadores no Laboratório de Processamento de Linguagem Natural da Universidade de Waterloo desenvolveram um sistema de inteligência artificial (IA) em tempo real que pode gerar linhas para música instrumental ao vivo. O novo sistema é chamado de LyricJam, e foi lançado em junho de 2021 com mais de 1.500 usuários testando-o desde então.

A equipe apresentará sua pesquisa na Conferência Internacional sobre Criatividade Computacional em setembro.

O laboratório é liderado por Olga Vechtomova, professora de Engenharia que foi nomeada em Ciência da Computação na universidade. Vechtomova tem desenvolvido aplicações de IA por anos, e o trabalho do laboratório inicialmente levou à criação de um sistema que aprende expressões musicais de artistas antes de gerar letras no estilo deles.

Vechtomova e os estudantes de pós-graduação da Universidade de Waterloo, Gaurav Sahu e Dhruv Kumas, também desenvolveram tecnologia que utiliza diferentes componentes musicais, como progressões de acordes, tempo e instrumentação. A tecnologia é capaz de sintetizar letras para que elas reflitam o humor e as emoções expressas pela música ao vivo.

A Rede Neural

O sistema recebe continuamente clipes de áudio brutos à medida que um músico ou banda executa música instrumental. Depois disso, a rede neural processa os dados antes de gerar novas letras, que os artistas podem usar para desenvolver suas letras de música.

“O objetivo do sistema não é escrever uma música para o artista”, diz Vechtomova. “Em vez disso, queremos ajudar os artistas a realizar sua própria criatividade. O sistema gera linhas poéticas com novas metáforas e expressões, potencialmente levando os artistas em direções criativas que eles não exploraram antes.”

A rede neural recém-desenvolvida é capaz de aprender quais temas e palavras líricas estão associados a diferentes aspectos da música, e, mais impressionantemente, faz isso em cada clipe de áudio único.

A equipe realizou um estudo de usuário em que os músicos tocaram música ao vivo enquanto usavam o sistema.

“Uma descoberta inesperada foi que os participantes se sentiram encorajados pelas linhas geradas a improvisar”, disse Vechtomova. “Por exemplo, as linhas inspiraram os artistas a estruturar acordes de uma maneira ligeiramente diferente e levar sua improvisação em uma direção diferente daquela que foi originalmente pretendida. Alguns músicos também usaram as linhas para verificar se sua improvisação teve o efeito emocional desejado.”

Parceria com IA

Outro dos principais aspectos dessa pesquisa foi a demonstração de colaboração e co-criatividade entre humanos e IA. De acordo com os participantes, o sistema atuou como um parceiro musical, e um que era não crítico, o que permitiu que os músicos tocassem sem restrições. Eles também disseram que se sentiram encorajados a tocar os instrumentos musicais, mesmo que não estivessem trabalhando em letras.

O novo sistema LyricJam é o exemplo mais recente de como a inteligência artificial está se infiltrando em nossas mentes criativas. Embora sempre falemos sobre a conexão entre humanos e IA, é frequentemente em termos de áreas como saúde. Com novos avanços como esses, estamos nos aproximando de estar conectados a essas máquinas de uma maneira criativa também.

O sistema LyricJam pode ser encontrado aqui.