Reaaliaikainen tekoäly voi luoda säkeistöjä live-instrumentaalimusiikille

Waterloon yliopiston Natural Language Processing Lab -tutkimuslaboratorion tutkijat ovat kehittäneet reaaliaikaisen tekoälyjärjestelmän, joka voi luoda säkeistöjä live-instrumentaalimusiikille. Uusi järjestelmä on nimeltään LyricJam, ja se otettiin käyttöön kesäkuussa 2021, ja siitä lähtien yli 1 500 käyttäjää on testannut sitä.

Tutkijaryhmä esittää tutkimuksensa syyskuussa pidettävällä International Conference on Computational Creativity -konferenssissa.

Laboratorion johtaja on insinööriprofessori Olga Vechtomova, joka on myös tietojenkäsittelytieteen professori yliopistossa. Vechtomova on kehittänyt tekoälysovelluksia vuosia, ja laboratorion työ johti alun perin järjestelmän kehittämiseen, joka oppii musiikillisia ilmaisuja taiteilijoilta ennen kuin se luo heidän tyylissään olevia sanoituksia.

Vechtomova ja Waterloon yliopiston jatko-opiskelijat Gaurav Sahu ja Dhruv Kumas kehittivät myös teknologiaa, joka hyödyntää eri musiikillisia komponentteja, kuten sointukulkuja, tempoa ja soitinten käyttöä. Teknologia pystyy syntetisoimaan sanoitukset siten, että ne heijastelevat live-musiikissa ilmeneviä tunnelmia ja tunteita.

Neuraaliverkko

Järjestelmä vastaanottaa jatkuvasti raakaa ääniklippejä, kun muusikko tai bändi esittää instrumentaalimusiikkia. Tämän jälkeen neuraaliverkko prosessoi tiedot ennen kuin se luo uusia sanoituksia, joita taiteilijat voivat käyttää laulujensa kehittämiseen.

“Järjestelmän tarkoituksena ei ole kirjoittaa kappale taiteilijalle”, Vechtomova sanoo. “Sen sijaan haluamme auttaa taiteilijoita toteuttamaan oman luovuutensa. Järjestelmä luo runollisia säkeistöjä uusilla metaforilla ja ilmaisuilla, mikä voi johtaa taiteilijoita luovuuden uusiin suuntiin, joita he eivät ole aikaisemmin tutkineet.”

Uusi neuraaliverkko pystyy oppimaan, mitkä sanoitusaiheet ja sanat liittyvät eri musiikin osiin, ja se tekee sen jokaisessa yksittäisessä ääniklipissä.

Tutkijaryhmä toteutti käyttäjätutkimuksen, jossa muusikot soittivat live-musiikkia käyttäen järjestelmää.

“Yksi odottamaton löytö oli, että osallistujat kokivat järjestelmän luomat säkeistöt rohkaisevina improvisaatioon”, Vechtomova sanoi. “Esimerkiksi säkeistöt inspiroivat taiteilijoita rakentelemaan sointuja hieman eri tavoin ja ottamaan improvisaatiot uuteen suuntaan kuin alun perin oli tarkoitus. Jotkut muusikot käyttivät myös säkeistöjä tarkistamaan, oliko heidän improvisaationsa saavuttanut toivottua tunnetta.”

Yhteistyö tekoälyn kanssa

Tutkimuksen toinen tärkeä näkökohta oli sen osoittaminen siitä, miten ihmiset ja tekoäly voivat tehdä yhteistyötä ja olla luovia yhdessä. Osallistujien mukaan järjestelmä toimi musiikillisenä kumppanina, joka ei ollut kriittinen, mikä mahdollisti muusikkojen soittaa vapaasti. He myös kokivat itsensä rohkaistuksi soittamaan musiikkia, vaikka he eivät olleet työskentelemässä sanoituksilla.

Uusi LyricJam-järjestelmä on viimeisin esimerkki siitä, miten tekoäly on tekemässä tietä luovuuttamme. Vaikka puhumme usein ihmisten ja tekoälyn välisestä yhteydestä, se on usein terveydenhuollon kaltaisilla aloilla. Uusien edistysten myötä olemme pääsemässä yhä lähemmäs sitä, että voimme olla luovasti yhteydessä näihin koneisiin.

LyricJam-järjestelmää voi käydä katsomassa täällä.