Investigadores crean un modelo de IA capaz de cantar en chino y en inglés

Un equipo de investigadores de Microsoft y la Universidad de Zhajiang han creado recientemente un modelo de IA capaz de cantar en numerosos idiomas. Según informó VentureBeat, el modelo de IA DeepSinger desarrollado por el equipo fue entrenado con datos de varios sitios web de música, utilizando algoritmos que capturaron el timbre de la voz del cantante.

Generar la “voz” de un cantante de IA requiere algoritmos capaces de predecir y controlar tanto el tono como la duración del audio. Cuando las personas cantan, los sonidos que producen tienen ritmos y patrones mucho más complejos en comparación con el habla simple. Otro problema que el equipo tuvo que superar fue que, si bien hay una cantidad razonable de datos de entrenamiento de habla/discurso disponibles, los conjuntos de datos de entrenamiento de canto son bastante raros. Combinar estos desafíos con el hecho de que las canciones necesitan tener tanto sonido como letras analizadas, y el problema de generar canto es increíblemente complejo.

El sistema DeepSinger creado por los investigadores superó estos desafíos desarrollando una canalización de datos que extrajo y transformó datos de audio. Los clips de canto se extrajeron de varios sitios web de música, y luego el canto se aisló del resto del audio y se dividió en oraciones. El siguiente paso fue determinar la duración de cada fonema dentro de las letras, lo que resultó en una serie de muestras cada una representando un fonema único en las letras. La limpieza de los datos se realizó para tratar cualquier muestra de entrenamiento distorsionada después de que las letras y las muestras de audio asociadas se ordenaron según la puntuación de confianza.

Los mismos métodos parecen funcionar para una variedad de idiomas. DeepSinger se entrenó con muestras vocales chinas, cantonesas y en inglés compuestas por 89 cantantes diferentes que cantaron durante más de 92 horas. Los resultados del estudio encontraron que el sistema DeepSinger pudo generar muestras de “canto” de alta calidad según métricas como la precisión del tono y lo natural que sonaba el canto. Los investigadores pidieron a 20 personas que calificaran tanto las canciones generadas por DeepSinger como las canciones de entrenamiento según estas métricas, y la brecha entre las puntuaciones de las muestras generadas y el audio genuino fue bastante pequeña. Los participantes dieron a DeepSinger una puntuación de opinión media que se desvió entre 0,34 y 0,76.

Mirando hacia el futuro, los investigadores quieren intentar mejorar la calidad de las voces generadas entrenando conjuntamente los varios submodelos que componen DeepSinger, con la ayuda de tecnologías especializadas como WaveNet que están diseñadas específicamente para la tarea de generar habla natural a través de formas de onda de audio.

El sistema DeepSinger podría usarse para ayudar a los cantantes y otros artistas musicales a hacer correcciones en su trabajo sin tener que regresar al estudio para otra sesión de grabación. También podría usarse potencialmente para crear deepfakes de audio, haciéndole parecer a un artista que cantó una canción que nunca cantó en realidad. Si bien podría usarse para parodias o sátiras, también es de dudosa legalidad.

DeepSinger es solo una de las nuevas oleadas de sistemas de música y audio basados en IA que podrían transformar la forma en que la música y el software interactúan. OpenAI lanzó recientemente su propio sistema de IA, llamado JukeBox, que es capaz de producir pistas de música originales en el estilo de un género o incluso un artista específico. Otras herramientas musicales de IA incluyen Magenta de Google (GOOGL ) y DeepComposer de Amazon (AMZN ). Magenta es una biblioteca de manipulación de audio (y de imágenes) de código abierto que se puede usar para producir todo, desde acompañamientos de batería automatizados hasta simples juegos de video basados en música. Mientras tanto, DeepComposer de Amazon está dirigido a aquellos que desean entrenar y personalizar sus propios modelos de aprendizaje profundo basados en música, lo que permite al usuario tomar modelos de muestra preentrenados y ajustar los modelos según sus necesidades. Puedes escuchar algunas de las muestras de audio generadas por DeepSinger en este enlace.