Sztuczna inteligencja w czasie rzeczywistym może generować linie dla muzyki instrumentalnej na żywo

Naukowcy z Laboratorium Przetwarzania Języka Naturalnego na Uniwersytecie Waterloo opracowali system sztucznej inteligencji (AI) działający w czasie rzeczywistym, który może generować linie dla muzyki instrumentalnej na żywo. Nowy system nazywa się LyricJam i został uruchomiony w czerwcu 2021 r. i od tego czasu przetestowało go ponad 1,500 użytkowników.

Zespół zaprezentuje swoje Badania naukowe na Międzynarodowej Konferencji na temat Kreatywności Obliczeniowej we wrześniu. 

Laboratorium prowadzi Olga Vechtomova, profesor inżynierii, która była mianowana na uniwersytecie na kierunku informatyka. Vechtomova od lat rozwija aplikacje AI, a prace w laboratorium początkowo doprowadziły do ​​stworzenia systemu, który uczy się ekspresji muzycznej artystów, zanim wygeneruje teksty w ich stylu.

Absolwenci Vechtomova i Waterloo, Gaurav Sahu i Dhruv Kumas, również opracowali technologię wykorzystującą różne komponenty muzyczne, takie jak progresje akordów, tempo i instrumentacja. Technologia jest w stanie syntetyzować teksty tak, aby odzwierciedlały nastrój i emocje wyrażane przez muzykę na żywo. 

Sieć neuronowa

System w sposób ciągły odbiera surowe klipy audio, gdy muzyk lub zespół wykonuje muzykę instrumentalną. Następnie sieć neuronowa przetwarza dane przed wygenerowaniem nowych tekstów, które artyści mogą następnie wykorzystać do opracowania tekstów piosenek.

„Celem systemu nie jest napisanie piosenki dla artysty” – mówi Vechtomova. „Zamiast tego chcemy pomóc artystom w realizacji ich własnej kreatywności. System generuje wersety poetyckie z nowymi metaforami i wyrażeniami, potencjalnie prowadząc artystów w twórczych kierunkach, których wcześniej nie badali.”

Nowo opracowana sieć neuronowa jest w stanie dowiedzieć się, jakie tematy i słowa liryczne są powiązane z różnymi aspektami muzyki, i co najbardziej imponujące, robi to w każdym pojedynczym klipie audio. 

Zespół przeprowadził badanie użytkowników, podczas którego muzycy grali muzykę na żywo podczas korzystania z systemu.

„Jednym z nieoczekiwanych odkryć było to, że wygenerowane wersety zachęciły uczestników do improwizacji” – powiedziała Vechtomova. „Na przykład linie zainspirowały artystów do nieco innego ułożenia akordów i skierowania improwizacji w nowym kierunku, niż pierwotnie zamierzono. Niektórzy muzycy używali także tych wersów, aby sprawdzić, czy ich improwizacja wywołała pożądany efekt emocjonalny”.

Współpraca z AI

Kolejnym z głównych aspektów tych badań była demonstracja współpracy i współkreatywności między ludźmi i sztuczną inteligencją. W opinii uczestników system pełnił rolę muzycznego partnera, w dodatku bezkrytycznego, umożliwiającego muzykom swobodną zabawę. Powiedzieli również, że czuli się zachęceni do gry na instrumentach muzycznych, nawet jeśli nie pracowali nad tekstami.

Nowy system LyricJam to najnowszy przykład tego, jak sztuczna inteligencja wkracza do naszych twórczych umysłów. Chociaż zawsze mówimy o powiązaniu między ludźmi a sztuczną inteligencją, często mówimy o takich obszarach jak zdrowie. Dzięki takim nowym udoskonaleniom jesteśmy coraz bliżej możliwości połączenia się z tymi maszynami w kreatywny sposób.

Można znaleźć system LyricJam tutaj.