Sztuczna inteligencja w czasie rzeczywistym może generować linie dla muzyki instrumentalnej na żywo

Badacze z Laboratorium Przetwarzania Języka Naturalnego na Uniwersytecie w Waterloo opracowali system sztucznej inteligencji (AI) w czasie rzeczywistym, który może generować linie dla muzyki instrumentalnej na żywo. Nowy system nosi nazwę LyricJam i został uruchomiony w czerwcu 2021 roku, a od tego czasu przetestowało go ponad 1 500 użytkowników.

Zespół przedstawi swoje badania na Międzynarodowej Konferencji o Kreatywności Komputacyjnej we wrześniu.

Laboratorium kieruje Olga Vechtomova, profesor inżynierii, która była powołana na stanowisko w dziedzinie informatyki na uniwersytecie. Vechtomova przez lata rozwijała aplikacje AI, a praca laboratorium początkowo doprowadziła do stworzenia systemu, który uczy się muzycznych wyrażeń artystów, zanim wygeneruje teksty w ich stylu.

Vechtomova oraz absolwenci Uniwersytetu w Waterloo, Gaurav Sahu i Dhruv Kumas, opracowali również technologię, która wykorzystuje różne składniki muzyczne, takie jak progresje akordów, tempo i instrumentacja. Technologia ta jest w stanie syntetyzować teksty, aby odzwierciedlały one nastrój i emocje wyrażane przez muzykę na żywo.

Sieć Neuronowa

System ciągle otrzymuje surowe klipy audio, gdy muzyk lub zespół wykonuje muzykę instrumentalną. Następnie sieć neuronowa przetwarza dane, zanim wygeneruje nowe teksty, które artyści mogą wykorzystać do rozwoju swoich tekstów piosenek.

“Cel systemu nie polega na napisaniu piosenki dla artysty”, mówi Vechtomova. “Chcemy raczej pomóc artystom zrealizować swoją własną kreatywność. System generuje poetyckie linie z nowymi metaforami i wyrażeniami, potencjalnie prowadząc artystów w kierunkach twórczych, których wcześniej nie eksplorowali”.

Opracowana sieć neuronowa jest w stanie nauczyć się, jakie tematy i słowa liryczne są związane z różnymi aspektami muzyki, a co najbardziej imponujące, robi to w każdym pojedynczym klipie audio.

Zespół przeprowadził badanie użytkowników, w którym muzycy grali muzykę na żywo, korzystając z systemu.

“Jednym z nieoczekiwanych odkryć było to, że uczestnicy czuli się zachęceni do improwizacji przez wygenerowane linie”, powiedziała Vechtomova. “Na przykład, linie zainspirowały artystów do nieco innego ustrukturyzowania akordów i podjęcia improwizacji w nowym kierunku niż pierwotnie zamierzonym. Niektórzy muzycy również wykorzystali linie, aby sprawdzić, czy ich improwizacja miała pożądany efekt emocjonalny”.

Współpraca z AI

Innym ważnym aspektem tego badania była demonstracja współpracy i współtwórczości między ludźmi a AI. Według uczestników, system działał jak partner muzyczny, a także niekrytyczny, co umożliwiło muzykom grę bez ograniczeń. Powiedzieli również, że czuli się zachęceni do gry na instrumentach muzycznych, nawet jeśli nie pracowali nad tekstami.

Nowy system LyricJam to najnowszy przykład tego, jak sztuczna inteligencja wkracza w nasze umysły twórcze. Chociaż zawsze mówimy o połączeniu między ludźmi a AI, często w kontekście obszarów takich jak zdrowie, to dzięki nowym osiągnięciom takim jak te, zbliżamy się do połączenia z tymi maszynami w sposób twórczy.

System LyricJam można znaleźć tutaj.