AI u stvarnom vremenu može generirati linije za instrumentalnu glazbu uživo

Istraživači u Laboratoriju za obradu prirodnog jezika na Sveučilištu Waterloo razvili su sustav umjetne inteligencije (AI) u stvarnom vremenu koji može generirati linije za instrumentalnu glazbu uživo. Novi sustav zove se LyricJam, a počeo je s radom u lipnju 2021., a od tada ga je testiralo više od 1,500 korisnika.

Tim će predstaviti svoje istraživanja na Međunarodnoj konferenciji o računalnoj kreativnosti u rujnu. 

Laboratorij vodi Olga Vechtomova, profesorica strojarstva koja je na sveučilištu dodatno imenovana za računalne znanosti. Vechtomova već godinama razvija AI aplikacije, a rad laboratorija u početku je doveo do stvaranja sustava koji uči glazbene izričaje umjetnika prije nego što generira tekstove u njihovom stilu.

Vechtomova i studenti diplomskog studija Waterloo Gaurav Sahu i Dhruv Kumas također su razvili tehnologiju koja koristi različite glazbene komponente poput napredovanja akorda, tempa i instrumentacije. Tehnologija može sintetizirati tekstove tako da odražavaju raspoloženje i emocije izražene glazbom uživo. 

Neuronska mreža

Sustav kontinuirano prima neobrađene audio isječke dok glazbenik ili bend izvodi instrumentalnu glazbu. Nakon toga, neuronska mreža obrađuje podatke prije generiranja novih tekstova, koje umjetnici zatim mogu koristiti za razvoj svojih tekstova pjesama.

„Svrha sustava nije napisati pjesmu za umjetnika“, kaže Vechtomova. „Umjesto toga, želimo pomoći umjetnicima da ostvare vlastitu kreativnost. Sustav generira poetske stihove s novim metaforama i izrazima, potencijalno vodeći umjetnike u kreativnim smjerovima koje prije nisu istraživali.“

Novorazvijena neuronska mreža može naučiti koje su lirske teme i riječi povezane s različitim aspektima glazbe, i što je najimpresivnije, to radi u svakom pojedinom audio isječku. 

Tim je proveo korisničku studiju u kojoj su glazbenici svirali glazbu uživo dok su koristili sustav.

"Jedno neočekivano otkriće bilo je da su se sudionici osjećali ohrabreni generiranim linijama da improviziraju", rekla je Vechtomova. “Na primjer, linije su inspirirale umjetnike da strukturiraju akorde na malo drugačiji način i da svoju improvizaciju usmjere u novom smjeru nego što je prvotno namjeravano. Neki su glazbenici također koristili stihove kako bi provjerili ima li njihova improvizacija željeni emocionalni učinak.”

Partnerstvo s umjetnom inteligencijom

Još jedan od glavnih aspekata ovog istraživanja bila je demonstracija suradnje i sukreativnosti između ljudi i umjetne inteligencije. Prema riječima sudionika, sustav se ponašao kao glazbeni partner, i to nekritičan, što je omogućilo glazbenicima nesputano sviranje. Također su rekli da su se osjećali potaknutima svirati glazbene instrumente čak i ako nisu radili na tekstu.

Novi sustav LyricJam najnoviji je primjer kako umjetna inteligencija ulazi u naše kreativne umove. Iako uvijek govorimo o povezanosti između ljudi i umjetne inteligencije, to je često u smislu područja poput zdravlja. Uz ovakva nova poboljšanja, sve smo bliže povezivanju s ovim strojevima i na kreativan način.

Sustav LyricJam se može pronaći ovdje.