Inteligencia Artificial en Tiempo Real Puede Generar Líneas para Música Instrumental en Vivo

Investigadores en el Laboratorio de Procesamiento de Lenguaje Natural de la Universidad de Waterloo han desarrollado un sistema de inteligencia artificial (IA) en tiempo real que puede generar líneas para música instrumental en vivo. El nuevo sistema se llama LyricJam y se lanzó en junio de 2021 con más de 1.500 usuarios que lo han probado desde entonces.

El equipo presentará su investigación en la Conferencia Internacional sobre Creatividad Computacional en septiembre.

El laboratorio está dirigido por Olga Vechtomova, profesora de Ingeniería que también está asignada en Ciencias de la Computación en la universidad. Vechtomova ha estado desarrollando aplicaciones de IA durante años, y el trabajo del laboratorio inicialmente llevó a la creación de un sistema que aprende expresiones musicales de artistas antes de generar letras en su estilo.

Vechtomova y los estudiantes de posgrado de Waterloo, Gaurav Sahu y Dhruv Kumas, también desarrollaron tecnología que utiliza diferentes componentes musicales como progresiones de acordes, tempo e instrumentación. La tecnología puede sintetizar letras para que reflejen el estado de ánimo y las emociones expresadas por la música en vivo.

La Red Neuronal

El sistema recibe continuamente clips de audio crudos mientras un músico o banda interpreta música instrumental. Después de eso, la red neuronal procesa los datos antes de generar nuevas letras, que los artistas pueden utilizar para desarrollar sus propias letras.

“El propósito del sistema no es escribir una canción para el artista”, dice Vechtomova. “En su lugar, queremos ayudar a los artistas a realizar su propia creatividad. El sistema genera líneas poéticas con nuevas metáforas y expresiones, lo que puede llevar a los artistas en direcciones creativas que no han explorado antes”.

La red neuronal recién desarrollada puede aprender qué temas y palabras líricas están asociados con los diferentes aspectos de la música, y lo más impresionante es que lo hace en cada clip de audio individual.

El equipo realizó un estudio de usuarios en el que los músicos tocaron música en vivo mientras utilizaban el sistema.

“Uno de los hallazgos inesperados fue que los participantes se sintieron alentados por las líneas generadas a improvisar”, dijo Vechtomova. “Por ejemplo, las líneas inspiraron a los artistas a estructurar los acordes de una manera ligeramente diferente y a llevar su improvisación en una dirección nueva que no habían intentado originalmente. Algunos músicos también utilizaron las líneas para comprobar si su improvisación tenía el efecto emocional deseado”.

Asociándose con la IA

Otro de los aspectos importantes de esta investigación fue su demostración de la colaboración y la co-creatividad entre humanos y la IA. Según los participantes, el sistema actuó como un compañero musical, y uno que no era crítico, lo que permitió a los músicos tocar sin restricciones. También dijeron que se sintieron alentados a tocar los instrumentos musicales incluso si no estaban trabajando en letras.

El nuevo sistema LyricJam es el último ejemplo de cómo la inteligencia artificial está haciendo su camino en nuestras mentes creativas. Mientras siempre hablamos sobre la conexión entre humanos y la IA, a menudo es en términos de áreas como la salud. Con nuevos avances como estos, estamos acercándonos a estar conectados a estas máquinas de una manera creativa también.

El sistema LyricJam se puede encontrar aquí.