Investigadores desarrollan ‘Audeo’ IA capaz de tocar piano

Un equipo de investigadores de la Universidad de Washington desarrolló un sistema de inteligencia artificial (IA) llamado Audeo que puede crear audio a partir de interpretaciones de piano silenciosas. La fase de prueba involucró aplicaciones de reconocimiento de música como SoundHound, que pudo identificar correctamente la música de Audeo alrededor del 86% de las veces.

La investigación se presentó en la conferencia NeurlPS 2020 el 8 de diciembre.

El autor principal Eli Shlizerman es profesor asistente en los departamentos de matemáticas aplicadas e ingeniería eléctrica y de computadoras de la universidad.

“Crear música que suene como si pudiera ser interpretada en una actuación musical se creía anteriormente que era imposible”, dijo Shlizerman. “Un algoritmo necesita averiguar las señales, o ‘características’, en los fotogramas de video que están relacionadas con la generación de música, y necesita ‘imaginar’ el sonido que está sucediendo entre los fotogramas de video. Requiere un sistema que sea preciso e imaginativo. El hecho de que logramos música que sonaba bastante bien fue una sorpresa”.

Cómo funciona Audeo

El sistema Audeo funciona decodificando un video y traduciéndolo en música. El primer paso de varios implica que la IA detecte las teclas presionadas en cada fotograma de video, y eventualmente desarrolla un diagrama. El diagrama se traduce para que un sintetizador de música pueda reconocer sonidos.

El siguiente paso es limpiar los datos y agregar información adicional. Esta información puede incluir cosas como la presión detrás de cada presión de tecla y cuánto tiempo duró.

“Si intentamos sintetizar música solo del primer paso, encontraríamos que la calidad de la música es insatisfactoria”, dijo Shlizerman. “El segundo paso es como cuando un maestro revisa la música de un compositor estudiante y la ayuda a mejorar”.

El sistema se entrenó y probó con videos de YouTube del pianista Paul Barton, y consistió en alrededor de 172,000 fotogramas de video del músico interpretando varios compositores clásicos como Mozart. Audeo se probó con 19,000 fotogramas de Barton interpretando diferentes músicas.

El sintetizador

Después de ser entrenado, Audeo genera una transcripción de la música, que se alimenta a un sintetizador para traducirla en sonido. La música suena diferente dependiendo de cada sintetizador, lo que es equivalente a cambiar la configuración del instrumento en un teclado electrónico.

El equipo utilizó dos sintetizadores separados.

“Fluidsynth produce sonidos de piano sintetizado que nos son familiares. Estos son un poco mecánicos pero bastante precisos”, dijo Shlizerman. “También usamos PerfNet, un nuevo sintetizador de IA que genera música más rica y expresiva. Pero también genera más ruido”.

“El objetivo de este estudio fue ver si la inteligencia artificial podría generar música que fuera interpretada por un pianista en una grabación de video, aunque no nos propusimos replicar a Paul Barton porque es un virtuoso”, continuó Shlizerman. “Esperamos que nuestro estudio permita nuevas formas de interactuar con la música. Por ejemplo, una aplicación futura es que Audeo se puede extender a un piano virtual con una cámara que graba solo las manos de una persona. Además, al colocar una cámara sobre un piano real, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a tocar”.

Kung Su y Ziulong Liu, estudiantes de doctorado en ingeniería eléctrica y de computadoras, fueron coautores del artículo.