Les chercheurs créent un modèle d’IA capable de chanter en chinois et en anglais

Une équipe de chercheurs de Microsoft et de l’Université de Zhajiang a récemment créé un modèle d’IA capable de chanter dans de nombreuses langues. Comme l’a rapporté VentureBeat, le modèle d’IA DeepSinger développé par l’équipe a été formé sur des données provenant de divers sites Web de musique, en utilisant des algorithmes qui ont capturé le timbre de la voix du chanteur.

La génération de la « voix » d’un chanteur d’IA nécessite des algorithmes capables de prédire et de contrôler à la fois la hauteur et la durée de l’audio. Lorsque les gens chantent, les bruits qu’ils produisent ont des rythmes et des modèles beaucoup plus complexes que la parole simple. Un autre problème que l’équipe a dû surmonter était que, même si une grande quantité de données de formation de parole est disponible, les ensembles de données de formation de chant sont assez rares. Combiner ces défis avec le fait que les chansons doivent avoir à la fois du son et des paroles analysées, et le problème de la génération de chant est incroyablement complexe.

Le système DeepSinger créé par les chercheurs a surmonté ces défis en développant un pipeline de données qui a extrait et transformé des données audio. Les extraits de chant ont été extraits de divers sites Web de musique, puis le chant a été isolé du reste de l’audio et divisé en phrases. L’étape suivante consistait à déterminer la durée de chaque phonème dans les paroles, aboutissant à une série d’échantillons, chacun représentant un phonème unique dans les paroles. Le nettoyage des données est effectué pour traiter les échantillons de formation déformés après que les paroles et les échantillons audio ont été classés par score de confiance.

Les mêmes méthodes semblent fonctionner pour une variété de langues. DeepSinger a été formé sur des échantillons vocaux chinois, cantonais et anglais provenant de 89 chanteurs différents chantant pendant plus de 92 heures. Les résultats de l’étude ont montré que le système DeepSinger était capable de générer de manière fiable des échantillons de « chant » de haute qualité selon des métriques telles que la précision de la hauteur et la naturalité du chant. Les chercheurs ont demandé à 20 personnes d’évaluer à la fois les chansons générées par DeepSinger et les chansons de formation selon ces métriques, et l’écart entre les scores des échantillons générés et de l’audio réel était assez faible. Les participants ont donné à DeepSinger un score d’opinion moyen qui a varié entre 0,34 et 0,76.

À l’avenir, les chercheurs veulent essayer d’améliorer la qualité des voix générées en formant conjointement les sous-modèles qui composent DeepSinger, avec l’aide de technologies spécialisées comme WaveNet conçues spécifiquement pour la tâche de générer un discours naturellement sonore via des formes d’onde audio.

Le système DeepSinger pourrait être utilisé pour aider les chanteurs et les autres artistes musicaux à apporter des corrections à leur travail sans avoir à retourner en studio pour une autre session d’enregistrement. Il pourrait également potentiellement être utilisé pour créer des deepfakes audio, faisant semblant qu’un artiste a chanté une chanson qu’il n’a jamais réellement chantée. Même s’il pourrait être utilisé pour la parodie ou la satire, c’est également d’une légalité douteuse.

DeepSinger est l’un des nombreux nouveaux systèmes de musique et d’audio basés sur l’IA qui pourraient transformer la façon dont la musique et les logiciels interagissent. OpenAI a récemment publié son propre système d’IA, intitulé JukeBox, capable de produire des pistes de musique originales dans le style d’un certain genre ou même d’un artiste spécifique. D’autres outils de musique d’IA incluent Google’s Magenta et Amazon’s DeepComposer (AMZN ). Magenta est une bibliothèque de manipulation audio (et d’image) open source qui peut être utilisée pour produire tout, des accompagnements de batterie automatisés à des jeux vidéo basés sur la musique simples. Pendant ce temps, Amazon’s DeepComposer est destiné à ceux qui veulent former et personnaliser leurs propres modèles d’apprentissage profond basés sur la musique, permettant à l’utilisateur de prendre des modèles d’échantillons pré-formés et de les ajuster selon leurs besoins. Vous pouvez écouter certains des échantillons audio générés par DeepSinger à ce lien.