Echtzeit-KI kann Linien für Live-Instrumentalmusik generieren

Forscher im Natural Language Processing Lab der University of Waterloo haben ein Echtzeitsystem mit künstlicher Intelligenz (KI) entwickelt, das Zeilen für Live-Instrumentalmusik generieren kann. Das neue System heißt LyricJam und ging im Juni 2021 live. Seitdem haben über 1,500 Benutzer es getestet.

Das Team wird seine präsentieren Forschungsprojekte auf der International Conference on Computational Creativity im September. 

Das Labor wird von Olga Vechtomova geleitet, einer Ingenieurprofessorin, die an der Universität für Informatik zuständig war. Vechtomova entwickelt seit Jahren KI-Anwendungen und die Arbeit des Labors führte zunächst zur Schaffung eines Systems, das die musikalischen Ausdrucksformen von Künstlern lernt, bevor es Texte in ihrem Stil generiert.

Die Vechtomova- und Waterloo-Absolventen Gaurav Sahu und Dhruv Kumas entwickelten außerdem eine Technologie, die verschiedene musikalische Komponenten wie Akkordfolgen, Tempo und Instrumentierung nutzt. Die Technologie ist in der Lage, Texte so zu synthetisieren, dass sie die Stimmung und Emotionen widerspiegeln, die durch die Live-Musik zum Ausdruck kommen. 

Das neuronale Netzwerk

Das System empfängt kontinuierlich Roh-Audioclips, während ein Musiker oder eine Band Instrumentalmusik spielt. Anschließend verarbeitet das neuronale Netzwerk die Daten, bevor es neue Liedtexte generiert, die die Künstler dann zur Entwicklung ihrer Liedtexte nutzen können.

„Der Zweck des Systems besteht nicht darin, ein Lied für den Künstler zu schreiben“, sagt Vechtomova. „Stattdessen wollen wir Künstlern helfen, ihre eigene Kreativität zu verwirklichen. Das System generiert poetische Zeilen mit neuen Metaphern und Ausdrücken und führt die Künstler möglicherweise in kreative Richtungen, die sie zuvor noch nicht erforscht haben.“

Das neu entwickelte neuronale Netzwerk ist in der Lage zu lernen, welche lyrischen Themen und Wörter mit den verschiedenen Aspekten der Musik verbunden sind, und das Beste: Es tut dies in jedem einzelnen Audioclip. 

Das Team führte eine Benutzerstudie durch, bei der Musiker Live-Musik spielten, während sie das System nutzten.

„Eine unerwartete Erkenntnis war, dass sich die Teilnehmer durch die erzeugten Zeilen zum Improvisieren ermutigt fühlten“, sagte Vechtomova. „Zum Beispiel haben die Zeilen Künstler dazu inspiriert, Akkorde etwas anders zu strukturieren und ihre Improvisation in eine neue Richtung zu lenken als ursprünglich beabsichtigt. Einige Musiker nutzten die Zeilen auch, um zu überprüfen, ob ihre Improvisation die gewünschte emotionale Wirkung hatte.“

Partnerschaft mit KI

Ein weiterer wichtiger Aspekt dieser Forschung war der Nachweis der Zusammenarbeit und Co-Kreativität zwischen Menschen und KI. Nach Angaben der Teilnehmer fungierte das System als musikalischer und unkritischer Partner, der den Musikern ein uneingeschränktes Spielen ermöglichte. Sie sagten auch, dass sie sich ermutigt fühlten, die Musikinstrumente zu spielen, auch wenn sie nicht an Texten arbeiteten.

Das neue LyricJam-System ist das jüngste Beispiel dafür, wie künstliche Intelligenz Einzug in unsere kreativen Köpfe hält. Während wir immer über die Verbindung zwischen Menschen und KI sprechen, bezieht sich dies oft auf Bereiche wie Gesundheit. Mit neuen Fortschritten wie diesen kommen wir der kreativen Verbindung mit diesen Maschinen immer näher.

Das LyricJam-System ist zu finden hier.