Google lanserer AI-musikkmodell som skaper raskere enn avspilling

Forestillingen er denne: En musiker sitter ved datamaskinen sin, ikke komponerer note for note, men styrer en AI-samarbeidspartner gjennom en live-opptreden – former genres, blander instrumenter og utforsker lydterritorier som eksisterer mellom etablerte musikalske stiler. Dette skjer nå med Googles Magenta RealTime (RT), en åpen kildekode-modell som bringer sanntidsinteraktivitet til AI-musikkgenerering.

Nettopp lansert, Magenta RT tvinger oss til å endre måten vi tenker på AI-generert musikk. I motsetning til tidligere modeller som krevde at brukerne ventet på fullstendige spor å rendre, genererer Magenta RT musikk raskere enn den avspilles, og muliggjør sanntidsinteraksjon. For musikkindustrien – som allerede slåss med AI-s disruptiveness – åpner denne teknologien dører til helt nye former for kreativ uttrykk samtidig som den reiser dyptgående spørsmål om forfatterskap, oppføring og fremtiden for menneskelige musikere.

Forståelse av Magenta RealTime

I kjernen er Magenta RT en 800 millioner parameter autoregressiv transformer-modell, men det som skiller den fra andre modeller er dens tilnærming til utfordringen med sanntidsgenerering. Modellen genererer kontinuerlige strømmer av musikk i 2-sekunders blokker, hver betinget av de foregående 10 sekundene av lydutgang og en dynamisk justerbar stil-embedding. Denne arkitekturen tillater musikere å manipulere stil-embeddingen i sanntid, effektivt styre den musikalske utgangen mens den utvikler seg.

Det tekniske gjennombruddet her kan ikke overdrives. På en gratis Google Colab TPU genererer Magenta RT 2 sekunder av lyd på bare 1,25 sekunder – en sanntidsfaktor på 1,6. Denne hastigheten muliggjøres gjennom flere innovasjoner:

• Block Autoregression: I stedet for å generere hele spor på en gang, arbeider modellen i små, håndterbare blokker som kan prosesserer raskt
• SpectroStream Codec: En etterfølger til SoundStream som muliggjør høykvalitets 48kHz stereo-lyd
• MusicCoCa Embeddings: En ny felles musikk-tekst-embedding-modell som tillater semantisk kontroll over genereringsprosessen

Hva gjør dette spesielt imponerende, er at i motsetning til API-baserte løsninger eller batch-orienterte genereringsmodeller, støtter Magenta RT strømmesynthese med fremover-sanntidsfaktor større enn 1. Dette betyr at modellen faktisk kan komme foran avspillingen, og skape en buffer som sikrer jevn, uavbrutt musikalsk flyt.

Fra passiv generering til aktiv oppføring

Konsekvensene av sanntids AI-musikkgenerering strekker seg langt utenfor tekniske spesifikasjoner. Som Magenta-teamet bemerker, “Live-interaksjon krever mer fra spilleren, men kan tilby mer i retur. Den kontinuerlige persepsjon-handlings-løkken mellom mennesket og modellen gir tilgang til en kreativ flyt-tilstand, og sentrerer opplevelsen på glede av prosessen fremfor det endelige produktet.”

Dette skiftet fra passiv til aktiv engasjement adresserer en av de primære kritikkene av AI-generert innhold: dens potensiale til å oversvømme markedet med sjælløs, masseprodusert musikk. Sanntidsmodeller “unngår naturlig å skape en flom av passivt innhold, fordi de intrinsisk balanserer lytting med generering i en 1:1-forhold”. Hvert øyeblikk av musikk som skapes, krever et øyeblikk av menneskelig oppmerksomhet og beslutning.

Vurdér mulighetene dette åpner opp:

• Live-opptreden: DJs og elektroniske musikere kan inkorporere AI som et responsivt instrument i sine sett, og legge til den utvidende verktøykassen av AI-verktøy for musikere som forbedrer fremfor erstatter menneskelig kreativitet
• Interaktive installasjoner: Kunstnere kan skape miljøer hvor musikken reagerer på publikumsbevegelser eller miljøfaktorer
• Utdannelsesverktøy: Studenter kan utforske musikalske konsepter gjennom umiddelbar, taktil tilbakemelding
• Spill-soundtracks: Dynamiske partiturer som tilpasser seg spillernes handlinger i sanntid

Disrupt og mulighet

Musikkindustrien står ved et veiskille. Inntekten i musikkindustrien forventes å øke med 17,2%, drevet delvis av AI-generert musikk, med den globale AI-musikkmarkedet verdsatt til 2,9 milliarder dollar i 2024. Likevel kommer denne veksten med betydelige bekymringer fra artister og bransjepersoner.

Forskning fra Goldmedia forutser at uten ordentlige kompensasjonssystemer, kan musikere tape opp til 27% av inntekten sin innen 2028, da AI-generert innhold vokser. Frykten er påtagelig – vil AI erstatte menneskelige musikere? Vil verdien av menneskelig kreativitet bli mindreverdig i en verden hvor hvem som helst kan generere profesjonell-lydende musikk?

Magenta RT tilbyr en nyansert svar på disse bekymringene. Ved å plassere seg som et åpen kildekode-verktøy som forbedrer fremfor erstatter menneskelig kreativitet, tilbyr det en modell for hvordan AI og musikere kan sameksistere. Kravet om sanntids menneskelig innputt sikrer at teknologien forsterker menneskelig kreativitet fremfor å operere autonomt.

Demokratisering vs. devaluering

En av de mest betydelige effektene av Magenta RT er dens potensiale til å demokratisere musikk-skaping. Modellen er designet til å til slutt kjøre på forbruker-hardware og er allerede funksjonell på gratis Colab-TPUer. Denne tilgjengeligheten betyr at aspirerende musikere uten dyre instrumenter eller formell utdanning kan eksperimentere med komplekse musikalske ideer, og slutte seg til den voksende økosystemet av AI-musikk-generatore som transformerer kreative arbeidsflyter.

Likevel kommer denne demokratiseringen med risiko. Som komponist Mark Henry Phillips bemerker i sine eksperimenter med AI-musikk-generering, mistenker han at han “snart ikke lenger vil kunne tjene til livets opphold som musiker, da selskaper begynner å bruke teknologien direkte selv”. Lettheten med hvilken AI kan generere kommersiell-kvalitets musikk truer tradisjonelle inntektsstrømmer for profesjonelle musikere.

Likevel er det en annen perspektiv å vurdere. Akkurat som digital fotografering ikke eliminerte profesjonelle fotografer, men endret naturen av deres arbeid, kan AI-musikk-generering omforme fremfor erstatte musikkarrierer. Nøkkelen ligger i hvordan musikere tilpasser og integrerer disse verktøyene i sin kreative prosess.

Oppblomstringen av sanntids AI-musikk-generering bringer også akuttiske etiske spørsmål til fremtreden. Opphavsrett, eierskap og rettferdig kompensasjon forblir omstridte spørsmål. 90% av musikere mener at AI-selskaper bør be om tillatelse før de bruker opphavsrettslig beskyttet musikk for trening, og understreker spenningen mellom teknologisk innovasjon og kunstneriske rettigheter.

Magenta RTs åpne kildekode-tilnærming tilbyr en mulig vei fremover. Ved å gjøre teknologien fritt tilgjengelig og trene den på omtrent 190 000 timer med instrumentalmusikk fra flere kilder, har Google forsøkt å unngå noen opphavsrettslige bekymringer samtidig som de produserer en kapabel modell.

Modellens begrensninger reflekterer også etiske overveielser. Mens den er i stand til å generere ikke-tekstlige vokaliseringer og humming, er Magenta RT ikke betinget av tekst og er lite sannsynlig til å generere faktiske ord. Denne designvalget hjelper å unngå potensielle problemer med å generere upassende tekstinnhold samtidig som den fokuserer verktøyet på instrumentalkomposisjon.

Fremtiden for menneske-AI-musikalsk samarbeid

Mens vi står på terskelen av denne nye æraen i musikk-skaping, er flere trender i ferd med å utvikle seg:

1. Hybrid skapingsmodeller: I stedet for å erstatte musikere, blir verktøy som Magenta RT samarbeidspartnere. Nylige utviklinger i beat-tracking-systemer med null forsinkelse og forbedret kontroll viser hvordan AI kan synkronisere med menneskelige utøvere i sanntid.
2. Nye oppføringsparadigmer: Konseptet “oppføring” med AI åpner helt nye kunstneriske muligheter. Musikere lærer å “spille” disse systemene som instrumenter, og utvikler teknikker for å fremkalle bestemte lyder og navigere latente musikalske rom.
3. Utdannelsesrevolusjon: AI-musikk-genereringsteknologi har revolusjonert musikk-utdanning, med plattformer som tilbyr interaktive opplevelser som lytter til brukernes oppføring og tilbyr umiddelbar tilbakemelding.Teknisk konvergens: Med innovasjoner i neural lydkodek og optimaliserte arkitekturer, kan verktøy som MusicFX DJ nå strømme produksjonskvalitets 48kHz stereo-lyd i sanntid, og bringe AI-generert musikk til profesjonelle kvalitetsstandarder.

Omfavne den samarbeidende fremtiden

Magenta RealTime tilbyr et glimt inn i en fremtid hvor grensene mellom menneskelig og maskin-kreativitet blir stadig mer flytende. Ved å kreve sanntids menneskelig innputt og fokusere på prosessen fremfor kun utgangen, tilbyr det en modell for AI som forbedrer fremfor erstatter menneskelig kreativitet.

Teknologiens åpne kildekode-natur og tilgjengelighet på forbruker-hardware demokratiserer musikk-skaping samtidig som dens sanntids-begrensninger sikrer at menneskelig agenti forblir sentral i den kreative prosessen. Som Magenta-teamet understreker, har forbedring av menneskelig kreativitet – ikke erstattelse – alltid vært i kjernen av deres misjon.

For musikere, produsenter og musikk-elskere er beskjeden klar: fremtiden for musikk ligger ikke i å velge mellom menneskelig eller AI-skaping, men i å utforske de enorme kreative mulighetene som oppstår når de to samarbeider i sanntid. Magenta RT er en invitasjon til å gjenopprette hva musikk-skaping kan være i AI-alderen.

Mens vi går fremover, må musikkindustrien håndtere viktige spørsmål om rettferdig kompensasjon, opphavsrett og verdien av menneskelig kreativitet. Men hvis verktøy som Magenta RT er noen indikasjon, vil fremtiden for musikk være en av samarbeid, eksperimentering og nye former for uttrykk som vi bare begynner å forestille oss.