Les chercheurs développent « Audeo », un intelligence artificielle capable de jouer du piano

Une équipe de chercheurs de l’Université de Washington a développé un système d’intelligence artificielle appelé Audeo capable de créer de l’audio à partir de performances de piano silencieuses. La phase de test a impliqué des applications de reconnaissance de musique comme SoundHound, qui a pu identifier correctement la musique d’Audeo environ 86 % du temps.

La recherche a été présentée à la conférence NeurlPS 2020 le 8 décembre.

L’auteur principal, Eli Shlizerman, est professeur agrégé dans les départements de mathématiques appliquées et de génie électrique et informatique de l’université.

“Créer de la musique qui sonne comme si elle pouvait être jouée dans une performance musicale était précédemment considéré comme impossible”, a déclaré Shlizerman. “Un algorithme doit déterminer les indices, ou ‘caractéristiques’, dans les cadres vidéo liés à la génération de musique, et il doit ‘imaginer’ le son qui se produit entre les cadres vidéo. Cela nécessite un système qui est à la fois précis et imaginatif. Le fait que nous ayons obtenu de la musique qui sonnait plutôt bien était une surprise.”

Comment fonctionne Audeo

Le système Audeo fonctionne en décodant une vidéo et en la traduisant en musique. La première des plusieurs étapes consiste à détecter les touches de clavier appuyées dans chaque cadre vidéo, et il développe finalement un diagramme. Le diagramme est ensuite traduit de sorte qu’un synthétiseur de musique puisse reconnaître les sons.

L’étape suivante consiste à nettoyer les données et à ajouter des informations supplémentaires. Ces informations peuvent inclure des choses comme la pression derrière chaque appui sur une touche et la durée pendant laquelle elle a été maintenue.

“Si nous essayons de synthétiser de la musique à partir de la première étape seule, nous constaterions que la qualité de la musique est insatisfaisante”, a déclaré Shlizerman. “La deuxième étape est comme lorsque qu’un professeur passe en revue la musique d’un élève compositeur et l’aide à l’améliorer.”

Le système a été formé et testé avec des vidéos YouTube du pianiste Paul Barton, et il comprenait environ 172 000 cadres vidéo du musicien jouant divers compositeurs classiques comme Mozart. Audeo a été testé avec 19 000 cadres de Barton jouant de la musique différente.

Le synthétiseur

Après avoir été formé, Audeo génère une transcription de la musique, qui est ensuite alimentée dans un synthétiseur pour la traduire en son. La musique sonne différemment en fonction de chaque synthétiseur, ce qui équivaut à changer le réglage d’instrument sur un clavier électrique.

Deux synthétiseurs distincts ont été utilisés par l’équipe.

“Fluidsynth crée des sons de piano de synthétiseur que nous connaissons bien. Ceux-ci sont un peu mécaniques, mais plutôt précis”, a déclaré Shlizerman. “Nous avons également utilisé PerfNet, un nouveau synthétiseur d’intelligence artificielle qui génère de la musique plus riche et plus expressive. Mais il génère également plus de bruit.”

“L’objectif de cette étude était de voir si l’intelligence artificielle pouvait générer de la musique jouée par un pianiste dans un enregistrement vidéo – bien que nous n’ayons pas cherché à reproduire Paul Barton, car il est tellement virtuose”, a poursuivi Shlizerman. “Nous espérons que notre étude permettra de nouvelles façons d’interagir avec la musique. Par exemple, une application future est qu’Audeo peut être étendu à un piano virtuel avec une caméra enregistrant juste les mains d’une personne. De plus, en plaçant une caméra au-dessus d’un piano réel, Audeo pourrait potentiellement aider à de nouvelles façons d’enseigner aux étudiants à jouer.”

Kung Su et Ziulong Liu, doctorants en génie électrique et informatique, étaient co-auteurs de l’article.