Sztuczna inteligencja w czasie rzeczywistym może generować linie dla muzyki instrumentalnej na żywo

Naukowcy z Laboratorium Przetwarzania Języka Naturalnego na Uniwersytecie w Waterloo opracowali system sztucznej inteligencji (AI) w czasie rzeczywistym, który może generować linie dla muzyki instrumentalnej na żywo. Nowy system nosi nazwę LyricJam i został uruchomiony w czerwcu 2021 roku, a od tego czasu przetestowało go ponad 1 500 użytkowników.

Zespół przedstawi swoje badania na Międzynarodowej Konferencji poświęconej Kreatywności Komputacyjnej we wrześniu.

Laboratorium kierowane jest przez Olgę Vechtomovą, profesor inżynierii, która jest również wykładowcą na wydziale informatyki na uczelni. Vechtomova rozwija aplikacje AI od lat, a praca laboratorium początkowo doprowadziła do stworzenia systemu, który uczy się muzycznych wyrazów artystów, zanim wygeneruje teksty w ich stylu.

Vechtomova oraz absolwenci Uniwersytetu w Waterloo, Gaurav Sahu i Dhruv Kumas, opracowali również technologię wykorzystującą różne składniki muzyczne, takie jak progresje akordów, tempo i instrumentacja. Technologia ta jest w stanie syntetyzować teksty, tak aby odzwierciedlały one nastrój i emocje wyrażane przez muzykę na żywo.

Sieć Neuronowa

System ciągle otrzymuje surowe klipy audio, gdy muzyk lub zespół wykonuje muzykę instrumentalną na żywo. Następnie sieć neuronowa przetwarza dane, zanim wygeneruje nowe teksty, które artyści mogą wykorzystać do rozwoju swoich tekstów piosenek.

“Cel systemu nie polega na napisaniu piosenki dla artysty”, mówi Vechtomova. “Chcemy raczej pomóc artystom zrealizować swoją własną kreatywność. System generuje poetyckie linie z nowymi metaforami i wyrazami, co może potencjalnie skierować artystów w kierunkach, których wcześniej nie eksplorowali”.

Nowo opracowana sieć neuronowa jest w stanie nauczyć się, jakie tematy i słowa tekstów są związane z różnymi aspektami muzyki, a co najbardziej imponujące, robi to w każdym pojedynczym klipie audio.

Zespół przeprowadził badanie użytkowników, w którym muzycy grali muzykę na żywo, korzystając z systemu.

“Jednym z nieoczekiwanych odkryć było to, że uczestnicy czuli się zachęceni przez wygenerowane linie do improwizacji”, powiedziała Vechtomova. “Na przykład, linie inspirowały artystów do strukturyzowania akordów w nieco inny sposób i prowadzenia improwizacji w nowym kierunku niż pierwotnie zamierzano. Niektórzy muzycy również wykorzystywali linie, aby sprawdzić, czy ich improwizacja miała pożądany efekt emocjonalny”.

Współpraca z AI

Innym ważnym aspektem tego badania była demonstracja współpracy i współtwórczości między ludźmi a AI. Według uczestników, system działał jak partner muzyczny, który nie krytykował, co umożliwiało muzykom grę bez ograniczeń. Powiedzieli również, że czuli się zachęceni do gry na instrumentach muzycznych, nawet jeśli nie pracowali nad tekstami.

Nowy system LyricJam jest najnowszym przykładem tego, jak sztuczna inteligencja wkracza w nasze twórcze umysły. Chociaż zawsze mówimy o połączeniu między ludźmi a AI, często w kontekście obszarów takich jak zdrowie, to dzięki nowym osiągnięciom takim jak te, zbliżamy się do połączenia z tymi maszynami w sposób twórczy.

System LyricJam można znaleźć tutaj.