L’IA en temps réel peut générer des paroles pour la musique instrumentale en direct

Les chercheurs du Laboratoire de traitement du langage naturel de l’Université de Waterloo ont développé un système d’intelligence artificielle (IA) en temps réel capable de générer des paroles pour la musique instrumentale en direct. Le nouveau système s’appelle LyricJam et il a été lancé en juin 2021 avec plus de 1 500 utilisateurs qui l’ont testé depuis.

L’équipe présentera ses recherches à la Conférence internationale sur la créativité computationnelle en septembre.

Le laboratoire est dirigé par Olga Vechtomova, professeure d’ingénierie qui a été nommée professeure de sciences informatiques à l’université. Vechtomova a développé des applications d’IA pendant des années, et les travaux du laboratoire ont initialement conduit à la création d’un système qui apprend les expressions musicales des artistes avant de générer des paroles dans leur style.

Vechtomova et les étudiants diplômés de Waterloo, Gaurav Sahu et Dhruv Kumas, ont également développé une technologie qui utilise différents composants musicaux tels que les progressions d’accords, le tempo et l’instrumentation. La technologie est capable de synthétiser des paroles qui reflètent l’humeur et les émotions exprimées par la musique en direct.

Le réseau de neurones

Le système reçoit en continu des extraits audio bruts alors qu’un musicien ou un groupe joue de la musique instrumentale. Après cela, le réseau de neurones traite les données avant de générer de nouvelles paroles, que les artistes peuvent ensuite utiliser pour développer leurs paroles.

“L’objectif du système n’est pas d’écrire une chanson pour l’artiste”, déclare Vechtomova. “Au lieu de cela, nous voulons aider les artistes à réaliser leur propre créativité. Le système génère des lignes poétiques avec de nouvelles métaphores et expressions, ce qui peut potentiellement amener les artistes dans des directions créatives qu’ils n’ont pas explorées auparavant.”

Le réseau de neurones récemment développé est capable d’apprendre quels thèmes et mots lyriques sont associés aux différents aspects de la musique, et ce, de manière impressionnante, dans chaque extrait audio unique.

L’équipe a mené une étude auprès des utilisateurs dans laquelle des musiciens ont joué de la musique en direct en utilisant le système.

“Une découverte inattendue a été que les participants se sont sentis encouragés par les lignes générées à improviser”, a déclaré Vechtomova. “Par exemple, les lignes ont inspiré les artistes à structurer les accords de manière légèrement différente et à prendre leur improvisation dans une nouvelle direction que celle initialement prévue. Certains musiciens ont également utilisé les lignes pour vérifier si leur improvisation avait l’effet émotionnel souhaité.”

Partenariat avec l’IA

Un autre aspect important de cette recherche a été sa démonstration de la collaboration et de la co-créativité entre les humains et l’IA. Selon les participants, le système a agi comme un partenaire musical, et un partenaire non critique, ce qui a permis aux musiciens de jouer sans entrave. Ils ont également déclaré qu’ils se sont sentis encouragés à jouer des instruments de musique même s’ils ne travaillaient pas sur des paroles.

Le nouveau système LyricJam est le dernier exemple de la façon dont l’intelligence artificielle fait son chemin dans nos esprits créatifs. Alors que nous parlons toujours de la connexion entre les humains et l’IA, c’est souvent en termes de domaines tels que la santé. Avec de nouvelles avancées comme celles-ci, nous nous rapprochons de la connexion à ces machines d’une manière créative.

Le système LyricJam peut être trouvé ici.