Εchtzeit-KI kann Linien für Live-Instrumentalmusik generieren

Forscher im Natural Language Processing Lab der University of Waterloo haben ein Echtzeit-KI-System entwickelt, das Linien für Live-Instrumentalmusik generieren kann. Das neue System heißt LyricJam und wurde im Juni 2021 mit über 1.500 Benutzern, die es seitdem getestet haben, online gestellt.

Das Team wird seine Forschung auf der International Conference on Computational Creativity im September präsentieren.

Das Labor wird von Olga Vechtomova, einer Ingenieurprofessorin, die an der Universität im Fach Computer Science tätig ist, geleitet. Vechtomova hat seit Jahren KI-Anwendungen entwickelt und die Arbeit des Labors führte ursprünglich zur Erstellung eines Systems, das musikalische Ausdrucksformen von Künstlern erlernt, bevor es Texte in ihrem Stil generiert.

Vechtomova und die Waterloo-Absolventen Gaurav Sahu und Dhruv Kumas entwickelten auch eine Technologie, die verschiedene musikalische Komponenten wie Akkordfolgen, Tempo und Instrumentierung nutzt. Die Technologie kann Texte so synthetisieren, dass sie die Stimmung und Emotionen widerspiegeln, die durch die Live-Musik ausgedrückt werden.

Das Neuronale Netzwerk

Das System erhält kontinuierlich rohe Audio-Clips, während ein Musiker oder eine Band Instrumentalmusik aufführt. Anschließend verarbeitet das neuronale Netzwerk die Daten, bevor es neue Texte generiert, die die Künstler dann verwenden können, um ihre Songtexte zu entwickeln.

“Der Zweck des Systems ist es nicht, einen Song für den Künstler zu schreiben”, sagt Vechtomova. “Stattdessen wollen wir den Künstlern helfen, ihre eigene Kreativität zu verwirklichen. Das System generiert poetische Linien mit neuen Metaphern und Ausdrücken, die die Künstler möglicherweise in kreative Richtungen führen, die sie bisher nicht erkundet haben.”

Das neu entwickelte neuronale Netzwerk kann lernen, welche lyrischen Themen und Wörter mit den verschiedenen Aspekten der Musik in Verbindung gebracht werden, und tut dies in jedem einzelnen Audio-Clip.

Das Team führte eine Benutzerstudie durch, bei der Musiker Live-Musik spielten, während sie das System verwendeten.

“Eine unerwartete Erkenntnis war, dass die Teilnehmer durch die generierten Linien ermutigt wurden, zu improvisieren”, sagte Vechtomova. “Zum Beispiel inspirierten die Linien die Künstler, Akkorde ein wenig anders zu strukturieren und ihre Improvisation in eine neue Richtung zu lenken, als ursprünglich beabsichtigt. Einige Musiker verwendeten die Linien auch, um zu überprüfen, ob ihre Improvisation die gewünschte emotionale Wirkung hatte.”

Zusammenarbeit mit KI

Ein weiterer wichtiger Aspekt dieser Forschung war die Demonstration der Zusammenarbeit und Co-Kreativität zwischen Menschen und KI. Laut den Teilnehmern handelte das System als musikalischer Partner, der unkritisch war, was es den Musikern ermöglichte, unbehindert zu spielen. Sie fühlten sich auch ermutigt, Musikinstrumente zu spielen, auch wenn sie nicht an Texten arbeiteten.

Das neue LyricJam-System ist das neueste Beispiel dafür, wie künstliche Intelligenz in unsere kreativen Köpfe vordringt. Während wir oft über die Verbindung zwischen Menschen und KI in Bereichen wie der Gesundheit sprechen, kommen wir mit neuen Entwicklungen wie diesen einer Verbindung zu diesen Maschinen auf kreative Weise näher.

Das LyricJam-System kann hier gefunden werden.