OpenAI Luo Uuden AI-Ohjelman Musiikin Luomiseksi Tyylilajeittain

Riippumaton tutkimusorganisaatio OpenAI on julkaissut uudenlaisen generatiivisen AI:n, jota kutsutaan Jukeboxiksi, ja se on nimetty kykynsä mukaan luoda musiikkia. Jukebox-AI pystyy luomaan ääniä ominaisuuksien kuten soittimien ja jopa sanoitusten perusteella, ja OpenAI-tutkimusryhmä loi AI:n kouluttamalla sitä pakattujen ääniklipien ja eri laulujen sanoitusten paloista.

Kuten TechCrunch raportoi, OpenAI-tutkijat kouluttivat mallin käyttäen raakaa äänimateriaalia, jolloin malli sai kyvyn tuottaa ääntä. Tämä on vastakohtainen lähestymistapa muihin musiikinluontiin tarkoitettuihin sovelluksiin, jotka usein perustuvat “symboliseen musiikkiin” (kuten MIDI-musiikkiin), joka on tietoa nuoteista ja sävelkorkeuksista, mutta ei itse ääntä. Tutkijaryhmä käytti konvoluutioneuraaliverkkoja mallin kouluttamiseen, pakkaamalla äänen ja koodaamalla sen muotoon, jota neuraaliverkko pystyi tulkitsemaan. Tämän jälkeen transformeria käytettiin pakatun äänen luomiseen, jota ylärakennettiin muuttaakseen tiedot ääniformaatiksi.

Jukeboxin luomisessa OpenAI joutui kehittämään menetelmän, jolla voitiin käsitellä äänen monimutkainen ja tiheä luonne. Tutkijat ratkaisivat äänen jatkuvan luonnon jakamalla sen enemmän erillisiin, sulavampiin osiin, jakamalla kappaleet osiin, jotka ovat 1/128 sekuntia pitkiä. Tavoitteena oli luoda AI-malli, joka pystyy jakamaan kappaleet tarpeeksi suuriin osiin, jotta ongelma ei muutu ratkaisemattomaksi, mutta tarpeeksi pieniin ja tarkoihin osiin, jotta mallit voivat oppia kappaleen mallin ja rakentaa sen uudelleen.

OpenAI:n käyttämä tekniikka muistuttaa yhtiön aikaisemmin tuottamaa vanhempaa musiikinluontiin tarkoitettua AI:ta, jota kutsutaan MuseNetiksi. MuseNet oli koulutettu MIDI-tiedostoilla ja pystyi luomaan musiikkia monissa tyylilajeissa, vaikka se keskittyi kappaleen yleiseen melodiaan eikä voinut tuottaa sanoituksia. Sen sijaan Jukebox pystyy kirjoittamaan oman sanoituksensa musiikin kanssa. Sanoitukset on “yhdessä kirjoitettu” OpenAI-tutkijoiden kanssa, johdattelemalla mallia luomaan sanoituksia tiettyjen tyylilajien mukaan. Jukebox-järjestelmä on koulutettu sanoituksilla, jotka on poimittu LyricWikistä, ja koulutusaineisto koostuu 1,2 miljoonan laulun teksteistä ja metatiedoista.

Kun on kyse mallin sanoituksesta, tutkijat yrittivät aluksi käyttää yksinkertaista heuristiikkaa, joka venytti sanoitukset laulun kestoon, analysoimalla tekstiä, joka vastasi tiettyä laulun osaa. Tämä yksinkertainen lähestymistapa toimi yleensä hyvin, vaikka tutkijat totesivat, että kun sanoitukset olivat erityisen nopeita, se hajosi. Ratkaisemaan tämän ongelman, laulun äänet erotettiin ja kytkettiin sanoituksiin saadakseen sanatasoisen sanoitusten ja äänen yhdistämisen. Tämän jälkeen koodauskerros käytettiin sanoituksille yhdessä huomiokerroksen kanssa, joka kartoitti musiikin osia sanoituksiin avain-arvo-pareilla. Tuloksena oli, että sanoitukset ja äänet olivat melko tarkasti yhdistetty.

Tutkimuksen kirjoittajat huomauttavat myös, että Jukeboxilla on useita rajoituksia, ja tuleva työ tavoittelee parantaa AI:n kykyä. Kirjoittajat toteavat blogikirjoituksessaan:

“Vaikka Jukebox edustaa askelta eteenpäin musiikin laadussa, yhtenäisyydessä, ääninäytteen pituudessa ja kyvyssä ehdottaa artistia, tyylilajia ja sanoituksia, on merkittävä aukko näiden sukupolven ja ihmisten luoma musiikin välillä. Esimerkiksi vaikka luodut kappaleet osoittavat paikallista musiikillista yhtenäisyyttä, seuraavat perinteisiä sointukaavoja ja voivat jopa sisältää vaikuttavia sooloja, emme kuule tuttuja suurempia musiikillisia rakenteita, kuten toistuvia korusoituksia.”

Tällä hetkellä malli pystyy tuottamaan kappaleen, joka on tunnistettavasti tietyn tyylilajin tai jopa tietyn artistin tyyliin. Esimerkiksi se pystyy tuottamaan kappaleita Elvis Presleyn, Katy Perryn tai Rage Against the Machinen tyylilajeissa. Vaikka kappaleet ovat tunnistettavissa tyylilajeissa tai teemoissa, jotka muistuttavat laulajan tyyliä, ne ovat myös melko karkeita, usein kuulostaen parodialta tai huonolta kappaleen versiolta. Silti tekninen saavutus on vaikuttava. Tutkijat, jotka loivat AI-generaattorijärjestelmän, valitsivat tarkoituksella työskennellä ohjelmalla, joka pystyy luomaan musiikkia, koska tehtävä oli haasteellinen, ja tutkijat aikovat jatkaa tekniikoidensa jalostamista. Voit kuunnella joitakin kappaleita täällä.