Echtzeit-KI kann Texte für Live-Instrumentalmusik generieren

Forscher im Natural Language Processing Lab an der University of Waterloo haben ein Echtzeit-KI-System entwickelt, das Texte für Live-Instrumentalmusik generieren kann. Das neue System heißt LyricJam und wurde im Juni 2021 mit über 1.500 Nutzern gestartet, die es seitdem getestet haben.

Das Team wird seine Forschung auf der International Conference on Computational Creativity im September präsentieren.

Das Labor wird von Olga Vechtomova geleitet, einer Ingenieurprofessorin, die auch im Fach Computer Science an der Universität tätig ist. Vechtomova hat jahrelang an KI-Anwendungen gearbeitet, und die Arbeit des Labors hat ursprünglich zur Entwicklung eines Systems geführt, das musikalische Ausdrucksformen von Künstlern lernt, bevor es Texte in ihrem Stil generiert.

Vechtomova und die Waterloo-Absolventen Gaurav Sahu und Dhruv Kumas haben auch eine Technologie entwickelt, die verschiedene musikalische Komponenten wie Akkordprogressionen, Tempo und Instrumentierung nutzt. Die Technologie kann Texte so synthetisieren, dass sie die Stimmung und Emotionen widerspiegeln, die von der Live-Musik ausgedrückt werden.

Das Neuronale Netzwerk

Das System erhält kontinuierlich rohe Audio-Clips, während ein Musiker oder eine Band Instrumentalmusik spielt. Anschließend verarbeitet das neuronale Netzwerk die Daten, bevor es neue Texte generiert, die die Künstler dann verwenden können, um ihre Songtexte zu entwickeln.

“Der Zweck des Systems ist es nicht, einen Song für den Künstler zu schreiben”, sagt Vechtomova. “Stattdessen wollen wir den Künstlern helfen, ihre eigene Kreativität zu realisieren. Das System generiert poetische Texte mit neuen Metaphern und Ausdrucksformen, die die Künstler möglicherweise in kreative Richtungen führen, die sie noch nicht erkundet haben.”

Das neu entwickelte neuronale Netzwerk kann lernen, welche lyrischen Themen und Wörter mit den verschiedenen Aspekten der Musik verbunden sind, und tut dies in jedem einzelnen Audio-Clip.

Das Team führte eine Nutzerstudie durch, bei der Musiker Live-Musik spielten, während sie das System verwendeten.

“Eine unerwartete Entdeckung war, dass die Teilnehmer durch die generierten Texte ermutigt wurden, zu improvisieren”, sagte Vechtomova. “Zum Beispiel inspirierten die Texte die Künstler, Akkorde ein wenig anders zu strukturieren und ihre Improvisation in eine neue Richtung zu lenken, als ursprünglich beabsichtigt. Einige Musiker verwendeten die Texte auch, um zu überprüfen, ob ihre Improvisation die gewünschte emotionale Wirkung hatte.”

Zusammenarbeit mit KI

Ein weiterer wichtiger Aspekt dieser Forschung war die Demonstration der Zusammenarbeit und Ko-Kreativität zwischen Menschen und KI. Laut den Teilnehmern handelte das System als musikalischer Partner, der unkritisch war und es den Musikern ermöglichte, unbehindert zu spielen. Sie sagten auch, dass sie ermutigt wurden, Musikinstrumente zu spielen, auch wenn sie nicht an Texten arbeiteten.

Das neue LyricJam-System ist das neueste Beispiel dafür, wie künstliche Intelligenz in unsere kreativen Köpfe vordringt. Während wir immer über die Verbindung zwischen Menschen und KI sprechen, geschieht dies oft in Bereichen wie der Gesundheit. Mit neuen Fortschritten wie diesen kommen wir näher daran, auf kreative Weise mit diesen Maschinen verbunden zu sein.

Das LyricJam-System kann hier gefunden werden.