Sanntids AI kan generere linjer for live instrumentalmusikk

Forskere ved Natural Language Processing Lab ved University of Waterloo har utviklet et sanntidssystem for kunstig intelligens (AI) som kan generere linjer for live instrumentalmusikk. Det nye systemet heter LyricJam, og det ble lansert i juni 2021 med over 1 500 brukere som har testet det siden da.

Teamet vil presentere sin forskning på den internasjonale konferansen om komputasjonskreativitet i september.

Laben ledes av Olga Vechtomova, en ingeniørprofessor som var tverrfaglig ansatt i datavitenskap ved universitetet. Vechtomova har utviklet AI-applikasjoner i årevis, og labens arbeid ledet initialt til skapingen av et system som lærer musikalske uttrykk fra artister før de genererer tekster i deres stil.

Vechtomova og Waterloos studenter Gaurav Sahu og Dhruv Kumas utviklet også teknologi som utnytter ulike musikalske komponenter som akkordprogressjoner, tempo og instrumentering. Teknologien kan syntetisere tekster så de reflekterer humøret og emosjonene uttrykt av live-musikken.

Nevralt nettverk

Systemet mottar kontinuerlig rå lydklipp mens en musiker eller band spiller instrumentalmusikk. Deretter prosesserer nevralt nettverk dataene før det genererer nye tekster, som artistene kan bruke til å utvikle sine sangtekster.

“Formålet med systemet er ikke å skrive en sang for artisten,” sier Vechtomova. “I stedet ønsker vi å hjelpe artister å realisere sin egen kreativitet. Systemet genererer poetiske linjer med nye metaforer og uttrykk, potensielt ledende artistene i kreative retninger de ikke har utforsket før.”

Det nylig utviklede nevralt nettverket kan lære hva slags teksttemaer og ord som er assosiert med ulike aspekter av musikk, og mest imponerende, gjør det dette i hver enkelt lydklipp.

Teamet utførte en brukerstudie hvor musikere spilte live-musikk mens de brukte systemet.

“En uventet oppdagelse var at deltakerne følte seg oppmuntret av de genererte linjene til å improvisere,” sa Vechtomova. “For eksempel, inspirerte linjene artistene til å strukturere akkorder litt annerledes og ta deres improvisasjon i en ny retning enn opprinnelig intendert. Noen musikere brukte også linjene til å sjekke om deres improvisasjon hadde den ønskede emosjonelle effekten.”

Samarbeid med AI

En annen av de viktigste aspektene ved denne forskningen var dens demonstrasjon av samarbeid og ko-kreativitet mellom mennesker og AI. Ifølge deltakerne fungerte systemet som en musikalsk partner, og en som var upartisk, hvilket enablet musikerne til å spille uhemmet. De sa også at de følte seg oppmuntret til å spille musikkinstrumenter selv om de ikke arbeidet med tekster.

Det nye LyricJam-systemet er det siste eksempelet på hvordan kunstig intelligens gjør sin vei inn i våre kreative sinn. Mens vi alltid snakker om forbindelsen mellom mennesker og AI, er det ofte i sammenheng med områder som helse. Med nye fremgangsmåter som disse, kommer vi nærmere å være koblet til disse maskinene på en kreativ måte også.

LyricJam-systemet kan finnes her.