Google julkaisee AI-musiikkimallin, joka luo musiikkia nopeammin kuin toistaa

Kuvittele tilanne, jossa muusikko istuu tietokoneensa ääressä, eikä sävelly noteeraa, vaan ohjaa AI-kumppaniaan live-esityksessä – muuttaa tyylilajeja, yhdistää soittimia ja tutkii äänimaisemia, jotka sijaitsevat vakiintuneiden musiikkityylien välissä. Tämä on mahdollista nyt Google’ (GOOGL ) n Magenta RealTime (RT):n avulla, joka on avoimen lähdekoodin malli, joka tuo reaaliaikaisen vuorovaikutuksen AI-musiikin tuotantoon.

Vastikään julkaistu Magenta RT pakottaa meidät muuttamaan ajattelutapamme AI-luotujen musiikin suhteen. Toisin kuin aiemmat mallit, jotka vaativat käyttäjiltä odottamaan valmiiden kappaleiden renderöintiä, Magenta RT luo musiikkia nopeammin kuin se toistaa, mahdollistaen todellisen reaaliaikaisen vuorovaikutuksen. Musiikkiteollisuudelle – joka jo kamppailee AI:n häiritsevän vaikutuksen kanssa – tämä teknologia avaa ovia uusille luoville ilmaisun muodoille ja herättää syvällisiä kysymyksiä tekijyydestä, esityksestä ja ihmismuusikoiden tulevaisuudesta.

Magenta RealTime:n ymmärtäminen

Magenta RT on 800 miljoonan parametrin autoregressiivinen transformer-malli, mutta se, mikä erottaa sen, on sen lähestymistapa reaaliaikaisen tuotannon haasteeseen. Malli luo jatkuvia musiikin virtauksia 2 sekunnin paloissa, joista jokainen on ehdollinen edellisten 10 sekunnin äänituotoksesta ja dynaamisesti säädeltävistä tyyliupotuksista. Tämä arkkitehtuuri mahdollistaa muusikoille tyyliupotuksen manipuloinnin reaaliajassa, vaikuttaen musiikilliseen tulokseen sen kehittyessä.

Tekninen saavutus tässä on korostamaton. Ilmainen Google Colab TPU:ssa Magenta RT luo 2 sekunnin äänipalaa vain 1,25 sekunnissa – reaaliaikakerroin on 1,6. Tämä nopeus on mahdollista useiden innovaatioiden ansiosta:

• Block Autoregression: Sen sijaan, että koko kappaleet luodaan kerran, malli toimii pienissä, hallittavissa paloissa, jotka voidaan prosessoida nopeasti
• SpectroStream Codec: SoundStreamin seuraaja, joka mahdollistaa korkealaatuisen 48kHz stereoaudion
• MusicCoCa Embeddings: Uusi yhteinen musiikki-tekstiupotusmalli, joka mahdollistaa semanttisen kontrollin tuotantoprosessissa

Mikä tekee tästä erityisen vaikuttavasta, on se, että toisin kuin API-pohjaiset ratkaisut tai eräorientoituneet mallit, Magenta RT tukee virtausynteesiä eteenpäin reaaliaikakerrointa suuremmalla kuin 1. Tämä tarkoittaa, että malli voi todella päästä toiston edelle, luoden puskurin, joka takaa sileän, keskeytymättömän musiikin virran.

Passiivisesta tuotannosta aktiiviseen esitykseen

Reaaliaikaisen AI-musiikin tuotannon vaikutukset ulottuvat paljon teknisten spesifikaatioiden ulkopuolelle. Kuten Magenta-tiimi toteaa, “Live-vuorovaikutus vaatii enemmän pelaajalta, mutta voi tarjota enemmän vastineeksi. Jatkuva havainto-toimintasilmukka ihmisen ja mallin välillä tarjoaa pääsyn luovan prosessin iloon, keskittäen kokemuksen prosessiin sen sijaan, että lopputuotokseen.”

Tämä siirtyminen passiivisesta osallistumisesta aktiiviseen osallistumiseen koskee yhtä AI-luotujen sisällön pääkritiikkiä: sen potentiaalia tulvata markkinoita sieluttomalla, massatuotantolisällä musiikilla. Reaaliaikaiset mallit “välttävät luonnostaan passiivisen sisällön luomisen, koska ne sisäisesti tasapainottavat kuuntelun ja tuotannon 1:1-suhteessa”. Jokainen musiikin hetki vaatii ihmisen huomion ja päätöksentekoa.

Oletetaan mahdollisuuksia, jotka tämä avaa:

• Live-esitys: DJ:t ja elektroniset muusikot voivat sisällyttää AI:n vastaavan instrumenttina esityksiinsä, lisäten AI-työkalujen valikoimaan, jotka parantavat ihmisten luovuutta
• Interaktiiviset installaatiot: Taiteilijat voivat luoda ympäristöjä, joissa musiikki reagoi yleisön liikkeisiin tai ympäristötekijöihin
• Koulutusvälineet: Opiskelijat voivat tutkia musiikillisia käsitteitä välittömän, konkreettisen palautteen kautta
• Pelien ääniraidat: Dynaamiset ääniraidat, jotka mukautuvat pelaajan toimiin reaaliajassa

Häirintä ja mahdollisuus

Musiikkiteollisuus on risteyksessä. Musiikkiteollisuuden tulot odotetaan kasvavan 17,2 %:lla, josta osa johtuu AI-luotujen musiikin kasvusta, ja maailmanlaajuinen AI-musiikkimarkkinat on arvioitu 2,9 miljardiksi dollariksi vuonna 2024. Tämä kasvu kuitenkin tulee merkittävien huolenaiheiden kera taiteilijoiden ja alan ammattilaisten keskuudessa.

Tutkimus Goldmedia ennustaa, että ilman oikein toteutettuja korvausjärjestelmiä muusikot voivat menettää jopa 27 %:n tuloistaan vuoteen 2028 mennessä, kun AI-luotu sisältö kasvaa. Pelko on ilmeinen – korvaako AI ihmismuusikot? Vähenevätkö ihmisten luovuuden arvo maailmassa, jossa kuka tahansa voi luoda ammattimaisman kuulostavan musiikin?

Magenta RT tarjoaa hienovaraisen vastauksen näihin huolenaiheisiin. Asemoiden itsensä avoimena työkaluna, joka parantaa ihmisten luovuutta sen sijaan, että korvaa sitä, se tarjoaa mallin siitä, miten AI ja muusikot voivat coexistoida. Reaaliaikaisen ihmisen syötteen vaatimus takaa, että teknologia vahvistaa ihmisten luovuutta sen sijaan, että toimisi itsenäisesti.

Demokratisaatio vs. devalvaatio

Yksi Magenta RT:n merkittävimmistä vaikutuksista on sen potentiaali demokratisoida musiikin luominen. Malli on suunniteltu toimimaan lopulta kuluttajalaitteilla ja on jo toimiva ilmainen Colab TPU:lla. Tämä saatavuus tarkoittaa, että pyrkivät muusikot ilman kallista laitteistoa tai virallista koulutusta voivat kokeilla monimutkaisia musiikillisia ideoita, liittyen kasvavaan AI-musiikkigeneraattorien ekosysteemiin, jotka muokkaavat luovia työprosesseja.

Toisaalta tämä demokratisaatio tulee riskejä kera. Kuten säveltäjä Mark Henry Phillips toteaa kokeillessaan AI-musiikin tuotantoa, hän epäilee, että “hän ei pysty enää elättämään itsensä muusikkona, kun yritykset alkavat käyttää teknologiaa suoraan itse”. AI:n kyky luoda ammattimaisman kuulostava musiikki uhkaa perinteisiä tulovirtoja ammattimuusikoille.

Toisaalta on kuitenkin myös toinen näkökulma. Kuten digitaalivalokuvaus ei poistanut ammattivalokuvaajia, vaan muutti heidän työtään, AI-musiikin tuotanto voi muokata musiikkialan sijaan korvata sitä. Avain piileeksi siinä, miten muusikot sopeutuvat ja integroivat nämä työkalut luovien prosessiensa pariin.

Reaaliaikaisen AI-musiikin tuotannon nousu tuo myös kiireellisiä eettisiä kysymyksiä eteen. Tekijänoikeudet, omistajuus ja reilu korvaus ovat kiistanalaisia aiheita. 90 %:lla muusikoista on näkemys, että AI-yritysten tulisi pyytää lupaa ennen kuin he käyttävät tekijänoikeuksien alaista musiikkia koulutusmateriaalina, korostaa jännitettä teknologisen innovaation ja taiteellisten oikeuksien välillä.

Magenta RT:n avoimen lähdekoodin lähestymistapa tarjoaa yhden mahdollisen tien eteenpäin. Teknologian tekeminen vapaasti saatavaksi ja kouluttaminen noin 190 000 tunnin instrumentaalisen stock-musiikin avulla useista lähteistä on yrittänyt kiertää joitain tekijänoikeusongelmia luodessaan kyetyn mallin.

Mallin rajoitukset heijastavat myös eettisiä harkintoja. Vaikka se pystyy luomaan non-lexikaalisia vokaalisia ja humausääniä, Magenta RT ei ole ehdollinen sanoituksissa eikä ole todennäköistä, että se luo varsinaisia sanoja. Tämä suunnitteluratkaisu auttaa välttämään potentiaalisia ongelmia sopimattoman sanoitusten luomisella keskittyen välineen soveltamiseen instrumentaaliseen sävellykseen.

Ihmisen ja AI:n musiikillinen yhteistyön tulevaisuus

Seisottaessa tämän uuden aikakauden musiikin luomisen partaalla useita trendejä on nousussa:

1. Hybridimallit: Työkalut kuten Magenta RT ovat muuttumassa yhteistyökumppaneiksi. Viimeaikaiset kehityssuunnat beat-seurantajärjestelmissä, joilla on nolla viive ja parannettu ohjattavuus, osoittavat, miten AI voi synchronoida ihmisten esittäjien kanssa reaaliajassa.
2. Uudet esitysmallit: AI:n “esitys” avaa täysin uusia taiteellisia mahdollisuuksia. Muusikot ovat oppimassa “soittamaan” näitä järjestelmiä kuten soittimia, kehittäen tekniikoita erityisten äänien saamiseksi ja navigoimalla latenteissa musiikillisissa tiloissa.
3. Koulutusvallankumous: AI-musiikin tuotantoteknologia on vallankumoussut koulutuksessa, ja alustat tarjoavat interaktiivisia kokemuksia, jotka kuuntelevat käyttäjien esityksiä ja tarjoavat välittömän palautteen.Tekninen konvergenssi: Neuroalusten äänikoodausten ja optimoiden arkkitehtuurien ansiosta työkalut kuten MusicFX DJ voivat nyt toistaa tuotantolaatuisia 48kHz stereoaudioita reaaliajassa, tuoden AI-luodun musiikin ammattimaiseen tasoon.

Hyväksymällä yhteistyön tulevaisuus

Magenta RealTime tarjoaa vilauksen tulevaisuuteen, jossa ihmisen ja koneen luovuuden rajat tulevat yhä epämääräisemmiksi. Vaadimalla reaaliaikaista ihmisen syötettä ja keskittyessä prosessiin sen sijaan, että lopputuotteeseen, se tarjoaa mallin AI:lle, joka parantaa ihmisten luovuutta sen sijaan, että korvaa sitä.

Teknologian avoimen lähdekoodin luonne ja saatavuus kuluttajalaitteilla demokratisoivat musiikin luomisen, kun taas reaaliaikaiset rajoitukset takaa, että ihmisen toimijuus säilyy luovan prosessin keskiössä. Kuten Magenta-tiimi korostaa, ihmisten luovuuden parantaminen – ei korvaaminen – on aina ollut heidän tehtävänään.

Muusikoille, tuottajille ja musiikin ystäville viesti on selvä: musiikin tulevaisuus ei ole valinta ihmisen ja AI:n luomisen välillä, vaan tutkiminen laajaa luovan ilmaisun mahdollisuuksia, jotka syntyvät, kun molemmat työskentelevät yhdessä reaaliajassa. Magenta RT on kutsu uudelleenmiettimään, mitä musiikin luominen voidaan olla AI:n aikakaudella.

Edetessä eteenpäin musiikkiteollisuuden on käsiteltävä tärkeitä kysymyksiä reilusta korvauksesta, tekijänoikeuksista ja ihmisten luovuuden arvosta. Mutta jos työkalut kuten Magenta RT ovat mitään osoittamassa, musiikin tulevaisuus on yhteistyön, kokeilun ja uusien ilmaisun muotojen, joita emme ole vielä edes alkaneet kuvitella.