Inteligencia Artificial en Tiempo Real Puede Generar Letras para Música Instrumental en Vivo

Investigadores en el Laboratorio de Procesamiento de Lenguaje Natural de la Universidad de Waterloo han desarrollado un sistema de inteligencia artificial (IA) en tiempo real que puede generar letras para música instrumental en vivo. El nuevo sistema se llama LyricJam, y se lanzó en junio de 2021 con más de 1,500 usuarios que lo han probado desde entonces.

El equipo presentará su investigación en la Conferencia Internacional sobre Creatividad Computacional en septiembre.

El laboratorio está dirigido por Olga Vechtomova, profesora de Ingeniería que fue designada en Ciencias de la Computación en la universidad. Vechtomova ha estado desarrollando aplicaciones de IA durante años, y el trabajo del laboratorio inicialmente llevó a la creación de un sistema que aprende expresiones musicales de artistas antes de generar letras en su estilo.

Vechtomova y los estudiantes graduados de Waterloo Gaurav Sahu y Dhruv Kumas también desarrollaron tecnología que utiliza diferentes componentes musicales como progresiones de acordes, tempo y instrumentación. La tecnología puede sintetizar letras para que reflejen el estado de ánimo y las emociones expresadas por la música en vivo.

La Red Neuronal

El sistema recibe continuamente clips de audio crudos mientras un músico o banda interpreta música instrumental. Después de eso, la red neuronal procesa los datos antes de generar nuevas letras, que los artistas pueden utilizar para desarrollar sus letras de canciones.

“El propósito del sistema no es escribir una canción para el artista”, dice Vechtomova. “En lugar de eso, queremos ayudar a los artistas a realizar su propia creatividad. El sistema genera líneas poéticas con nuevas metáforas y expresiones, lo que podría llevar a los artistas en direcciones creativas que no han explorado antes”.

La red neuronal recién desarrollada puede aprender qué temas y palabras líricas se asocian con los diferentes aspectos de la música, y lo más impresionante es que lo hace en cada clip de audio individual.

El equipo realizó un estudio de usuarios en el que los músicos tocaron música en vivo mientras utilizaban el sistema.

“Uno de los hallazgos inesperados fue que los participantes se sintieron animados por las líneas generadas a improvisar”, dijo Vechtomova. “Por ejemplo, las líneas inspiraron a los artistas a estructurar los acordes de una manera ligeramente diferente y a llevar su improvisación en una dirección nueva que no habían planeado originalmente. Algunos músicos también utilizaron las líneas para comprobar si su improvisación había tenido el efecto emocional deseado”.

Asociación con IA

Otro de los aspectos importantes de esta investigación fue su demostración de colaboración y co-creatividad entre humanos y IA. Según los participantes, el sistema actuó como un compañero musical, y uno que no era crítico, lo que permitió a los músicos tocar sin restricciones. También dijeron que se sintieron animados a tocar instrumentos musicales incluso si no estaban trabajando en letras.

El nuevo sistema LyricJam es el último ejemplo de cómo la inteligencia artificial está haciendo su camino en nuestras mentes creativas. Siempre hablamos de la conexión entre humanos y IA, pero a menudo se trata de áreas como la salud. Con nuevos avances como estos, nos estamos acercando a estar conectados a estas máquinas de una manera creativa también.

El sistema LyricJam se puede encontrar aquí.