Εchtzeit-KI kann Zeilen für Live-Instrumentalmusik generieren

Forscher im Natural Language Processing Lab der University of Waterloo haben ein Echtzeit-KI-System entwickelt, das Zeilen für Live-Instrumentalmusik generieren kann. Das neue System heißt LyricJam und wurde im Juni 2021 mit über 1.500 Nutzern gestartet, die es seitdem getestet haben.

Das Team wird seine Forschung auf der International Conference on Computational Creativity im September präsentieren.

Das Labor wird von Olga Vechtomova geleitet, einer Ingenieurprofessorin, die auch im Fach Computer Science an der Universität tätig ist. Vechtomova hat jahrelang an KI-Anwendungen gearbeitet, und die Arbeit des Labors führte ursprünglich zur Entwicklung eines Systems, das musikalische Ausdrucksformen von Künstlern lernt, bevor es Texte in ihrem Stil generiert.

Vechtomova und die Waterloo-Absolventen Gaurav Sahu und Dhruv Kumas entwickelten auch eine Technologie, die verschiedene musikalische Komponenten wie Akkordprogressionen, Tempo und Instrumentierung nutzt. Die Technologie kann Texte so synthetisieren, dass sie die Stimmung und Emotionen widerspiegeln, die durch die Live-Musik ausgedrückt werden.

Das Neuronale Netzwerk

Das System erhält kontinuierlich rohe Audio-Clips, während ein Musiker oder eine Band Instrumentalmusik spielt. Anschließend verarbeitet das neuronale Netzwerk die Daten, bevor es neue Texte generiert, die die Künstler dann verwenden können, um ihre Songtexte zu entwickeln.

“Der Zweck des Systems ist es nicht, einen Song für den Künstler zu schreiben”, sagt Vechtomova. “Stattdessen möchten wir den Künstlern helfen, ihre eigene Kreativität zu realisieren. Das System generiert poetische Zeilen mit neuen Metaphern und Ausdrücken, die die Künstler möglicherweise in kreative Richtungen führen, die sie bisher nicht erkundet haben.”

Das neu entwickelte neuronale Netzwerk kann lernen, welche lyrischen Themen und Wörter mit den verschiedenen Aspekten der Musik in Verbindung stehen, und tut dies am beeindruckendsten in jedem einzelnen Audio-Clip.

Das Team führte eine Benutzerstudie durch, bei der Musiker Live-Musik spielten, während sie das System verwendeten.

“Eine unerwartete Entdeckung war, dass die Teilnehmer durch die generierten Zeilen ermutigt wurden, zu improvisieren”, sagte Vechtomova. “Zum Beispiel inspirierten die Zeilen die Künstler, Akkorde ein wenig anders zu strukturieren und ihre Improvisation in eine neue Richtung zu lenken, als ursprünglich beabsichtigt. Einige Musiker verwendeten die Zeilen auch, um zu überprüfen, ob ihre Improvisation die gewünschte emotionale Wirkung hatte.”

Zusammenarbeit mit KI

Ein weiterer wichtiger Aspekt dieser Forschung war die Demonstration der Zusammenarbeit und Ko-Kreativität zwischen Menschen und KI. Laut den Teilnehmern handelte das System als musikalischer Partner, der unkritisch war und es den Musikern ermöglichte, unbehindert zu spielen. Sie sagten auch, dass sie ermutigt wurden, musikalische Instrumente zu spielen, auch wenn sie nicht an Texten arbeiteten.

Das neue LyricJam-System ist das neueste Beispiel dafür, wie künstliche Intelligenz in unsere kreativen Köpfe vordringt. Während wir immer über die Verbindung zwischen Menschen und KI sprechen, geschieht dies oft in Bereichen wie der Gesundheit. Mit neuen Fortschritten wie diesen kommen wir näher daran, auf kreative Weise mit diesen Maschinen verbunden zu sein.

Das LyricJam-System kann hier gefunden werden.