Tutkijat luovat älymallin, joka pystyy laulamaan sekä kiinaksi että englanniksi

Tutkijaryhmä Microsoftilta ja Zhajiangin yliopistolta on vastikään luonut älymallin, joka pystyy laulamaan useilla kielillä. VentureBeatin mukaan, tutkijoiden kehittämä DeepSinger-älymalli koulutettiin eri musiikkisivustojen aineistoilla, joissa käytettiin algoritmeja, jotka tallensivat laulajan äänen sävyn.

Älylaulajan “äänensä” tuottamiseen tarvitaan algoritmeja, jotka pystyvät ennustamaan ja hallitsemaan sekä äänen korkeutta että kestoa. Kun ihmiset laulavat, heidän tuottamansa äänet ovat paljon monimutkaisempia ja rytmitetympiä kuin yksinkertainen puhelu. Tutkijoiden ongelmana oli myös se, että vaikka puhetta harjoiteltavaa aineistoa on tarjolla paljon, laulua harjoiteltavia aineistoja on paljon vähemmän. Nämä haasteet yhdistettynä siihen, että lauluissa on sekä ääni että sanoitukset, tekevät laulun tuottamisesta erittäin monimutkaisen ongelman.

DeepSinger-järjestelmä, jonka tutkijat loivat, voitti nämä haasteet kehittämällä tietoputkijonon, joka kaivosi ja muunsi ääniaineistoa. Laulunotot otettiin eri musiikkisivustoilta, ja sitten laulu erotettiin muusta ääniestä ja jaettiin lauseisiin. Seuraava askel oli määrittää jokaisen fonemiikan kesto sanoituksissa, mikä johti sarjaan näytteitä, joista jokainen edusti yksilöllistä fonemiikkaa sanoituksissa. Aineiston puhdistus tehtiin käsitelläkseen vääristyneitä koulutusnäytteitä sanoitusten ja niiden mukaisien äänenäytteiden järjestämisen jälkeen luottamuksellisuuspisteiden mukaan.

Samat menetelmät näyttävät toimivan useilla kielillä. DeepSinger koulutettiin kiinalaisilla, kantonilaisilla ja englanninkielisillä laulunäytteillä, jotka koostuivat 89 eri laulajan laulamisesta yli 92 tunnin ajan. Tutkimuksen tulokset osoittivat, että DeepSinger-järjestelmä pystyi luotettavasti tuottamaan korkealaatuisia “laulunäytteitä” mittareiden kuten sävelkorkeuden tarkkuuden ja laulun luonnollisuuden perusteella. Tutkijat pyysivät 20 henkilöä arvioimaan sekä DeepSingerin tuottamia lauluja että koulutuslauluja näiden mittareiden perusteella, ja ero arvosanojen välillä oli melko pieni. Osallistujat antoivat DeepSingerille keskimääräisen mielipidemittarin, joka poikkesi 0,34:stä 0,76:een.

Eteenpäin katsoen tutkijat haluavat yrittää parantaa tuotettujen äänien laatua kouluttamalla DeepSingerin alimallit yhdessä, mihin käytetään erityisiä teknologioita, kuten WaveNetiä, jotka on suunniteltu erityisesti luonnollisen kuuloisen puheen tuottamiseen ääni-aallon muodossa.

DeepSinger-järjestelmää voidaan käyttää auttamaan laulajia ja muita musiikkitaiteilijoita tekemään korjauksia työhönsä ilman, että heidän tarvitsee mennä takaisin studioon uuden nauhoituksen tekemiseksi. Se voidaan myös potentiaalisesti käyttää luomaan ääni-deepfake, jolloin voidaan tehdä näyttämään siltä, että taiteilija lauloi kappaleen, jonka hän ei todella laulanut. Vaikka sitä voidaan käyttää parodioinnissa tai satiirissa, sen lainsäädäntö on epävarmaa.

DeepSinger on vain yksi uusista älykkäistä musiikki- ja äänijärjestelmistä, jotka voivat muuttaa sitä, miten musiikki ja ohjelmisto vuorovaikuttavat. OpenAI julkaisi hiljattain oman älyjärjestelmänsä, JukeBoxin, joka pystyy tuottamaan alkuperäisiä musiikkikappaleita tietyn tyylilajin tai jopa tietyn taiteilijan mukaan. Muita musiikkiai-työkaluja ovat Google Magenta (GOOGL ) ja Amazon DeepComposer (AMZN ). Magenta on avoimen lähdekoodin ääni- (ja kuva-) manipulaatiokirjasto, jota voidaan käyttää tuottamaan kaikkea automaattisista rumpuäänistä yksinkertaisiin musiikkivideopeleihin. Amazon DeepComposer on suunnattu niille, jotka haluavat kouluttaa ja mukauttaa omia musiikkiperusteisia syväoppimismallejaan, mikä mahdollistaa käyttäjän ottaa esikoulutetut mallinäytteet ja säätää malleja tarpeidensa mukaan.

Voit kuunnella joitakin DeepSingerin tuottamia äänenäytteitä tästä linkistä.