Google presenterar AI-musikmodell som skapar musik snabbare än uppspelning

Tänk dig en musiker som sitter vid sin dator, inte komponerar not för not, utan styr en AI-samarbetspartner genom en live-prestation – förändrar genrer, blandar instrument och utforskar ljudområden som finns mellan etablerade musikstilar. Detta händer nu med Googles Magenta RealTime (RT), en öppen källkodsmodell som bringar realtidsinteraktivitet till AI-musikgenerering.

Just släppt, Magenta RT tvingar oss att förändra hur vi tänker om AI-genererad musik. Till skillnad från tidigare modeller som krävde att användarna väntade på att kompletta spår skulle renderas, genererar Magenta RT musik snabbare än den spelas upp, vilket möjliggör verklig realtidsinteraktion. För musikindustrin – som redan kämpar med AI:s störande inflytande – öppnar denna teknik dörrar till helt nya former av kreativt uttryck samtidigt som den väcker djupa frågor om författarskap, prestation och framtiden för mänskliga musiker.

Att förstå Magenta RealTime

I sin kärna är Magenta RT en 800 miljoner parameter autoregressiv transformermodell, men det som särskiljer den är dess tillvägagångssätt för utmaningen med realtidsgenerering. Modellen genererar kontinuerliga strömmar av musik i 2-sekundersklipp, var och en villkorad av de föregående 10 sekunderna av ljudutdata och en dynamiskt justerbar stilinbäddning. Denna arkitektur möjliggör för musiker att manipulera stilinbäddningen i realtid, vilket i effektivt styr musikaliska utdata medan den utvecklas.

Den tekniska prestationen här kan inte överskattas. På en gratis Google Colab TPU genererar Magenta RT 2 sekunder av ljud på bara 1,25 sekunder – en realtidsfaktor på 1,6. Denna hastighet möjliggörs genom flera innovationer:

• Block Autoregression: Istället för att generera hela spår på en gång arbetar modellen i små, hanterbara klipp som kan bearbetas snabbt
• SpectroStream Codec: En efterträdare till SoundStream som möjliggör högkvalitativ 48kHz stereoaudio
• MusicCoCa Embeddings: En ny gemensam musik-textinbäddningsmodell som möjliggör semantisk kontroll över genereringsprocessen

Vad som gör detta särskilt imponerande är att till skillnad från API-baserade lösningar eller batch-orienterade genereringsmodeller stöder Magenta RT strömningssyntes med forward realtidsfaktor större än 1. Detta innebär att modellen faktiskt kan komma före uppspelning, skapa en buffert som säkerställer smidig, oavbruten musikflöde.

Från passiv generering till aktiv prestation

Implikationerna av realtids AI-musikgenerering sträcker sig långt bortom tekniska specifikationer. Som Magenta-teamet noterar, “Live-interaktion kräver mer från spelaren men kan erbjuda mer i gengäld. Den kontinuerliga perception-handlingsloopen mellan människa och modell ger tillgång till en kreativ flödesstat, centrerar upplevelsen på glädjen i processen snarare än den slutliga produkten.”

Denna förändring från passiv till aktiv engagemang adresserar en av de primära kritikerna av AI-genererat innehåll: dess potential att översvämma marknaden med själlösa, massproducerad musik. Realtidsmodeller “undviker naturligt att skapa en översvämning av passivt innehåll, eftersom de intrinsiskt balanserar lyssnande med generering i en 1:1-förhållande”. Varje ögonblick av musik som skapas kräver ett ögonblick av mänsklig uppmärksamhet och beslutsfattande.

Tänk på möjligheterna som detta öppnar upp:

• Live-prestation: DJs och elektroniska musiker kan inkorporera AI som ett responsivt instrument i sina uppträdanden, lägga till den expanderande verktygslådan av AI-verktyg för musiker som förbättrar snarare än ersätter mänsklig kreativitet
• Interaktiva installationer: Konstnärer kan skapa miljöer där musiken svarar på publikrörelse eller miljöfaktorer
• Utbildningsverktyg: Studenter kan utforska musikaliska koncept genom omedelbar, påtaglig feedback
• Spelsoundtracks: Dynamiska poäng som anpassar sig till spelares handlingar i realtid

Störning och möjlighet

Musikindustrin står vid en korsning. Intäkter i musikindustrin förväntas öka med 17,2%, driven delvis av AI-genererad musik, med den globala AI-musikmarknaden värderad till 2,9 miljarder dollar 2024. Men denna tillväxt kommer med betydande bekymmer från artister och branschproffs.

Forskning av Goldmedia förutspår att utan rättvis kompensationsystem kan musiker förlora upp till 27% av sin inkomst 2028 när AI-genererat innehåll växer. Rädslan är påtaglig – kommer AI att ersätta mänskliga musiker? Kommer värdet av mänsklig kreativitet att minskas i en värld där vem som helst kan generera professionellt ljudande musik?

Magenta RT erbjuder en nyanserad svar på dessa bekymmer. Genom att positionera sig som ett öppen källkodsverktyg som förbättrar snarare än ersätter mänsklig kreativitet, erbjuder den en modell för hur AI och musiker kan samexistera. Kravet på realtidsmänsklig inmatning säkerställer att tekniken förstärker mänsklig kreativitet snarare än att fungera autonomt.

Demokratisering vs. Avvärdering

En av de mest betydande effekterna av Magenta RT är dess potential att demokratisera musikskapande. Modellen är utformad för att så småningom köras på konsumentmaskinvara och är redan funktionsduglig på gratis Colab TPU:er. Denna tillgänglighet innebär att blivande musiker utan dyra instrument eller formell utbildning kan experimentera med komplexa musikaliska idéer, ansluta sig till den växande ekosystemet av AI-musikgeneratorer som förvandlar kreativa arbetsflöden.

Men denna demokratisering kommer med risker. Som kompositör Mark Henry Phillips noterar i sina experiment med AI-musikgenerering, misstänker han att han “snart inte längre kommer att kunna försörja sig som musiker, eftersom företag börjar använda tekniken direkt”. Lättheten med vilken AI kan generera kommersiellt kvalitetsmusik hotar traditionella inkomstkällor för professionella musiker.

Men det finns en annan synvinkel att överväga. Precis som digital fotografering inte eliminerade professionella fotografer, men förändrade naturen av deras arbete, kan AI-musikgenerering omforma snarare än ersätta musikkarriärer. Nyckeln ligger i hur musiker anpassar sig och integrerar dessa verktyg i sin kreativa process.

Uppkomsten av realtids AI-musikgenerering för också med sig brådskande etiska frågor. Upphovsrätt, ägande och rättvis kompensation förblir kontroversiella frågor. 90% av musiker tror att AI-företag bör be om tillstånd innan de använder upphovsrättsskyddad musik för utbildning, vilket betonar spänningen mellan teknisk innovation och konstnärliga rättigheter.

Magenta RT:s öppen källkodsapproach erbjuder en möjlig väg framåt. Genom att göra tekniken fritt tillgänglig och utbilda den på cirka 190 000 timmar av instrumentell lagermusik från flera källor, har Google försökt att undvika vissa upphovsrättsproblem samtidigt som den producerar en kapabel modell.

Modellens begränsningar återspeglar också etiska överväganden. Medan den kan generera icke-lexikala vokaliseringar och hummande, är Magenta RT inte villkorad på texter och kommer sannolikt inte att generera faktiska ord. Detta designval hjälper till att undvika potentiella problem med att generera olämpligt textinnehåll samtidigt som det fokuserar verktyget på instrumentalsammansättning.

Framtiden för mänsklig-AI-musikaliskt samarbete

Medan vi står på tröskeln till denna nya era i musikskapande, dyker flera trender upp:

1. Hybrid skapandemodeller: Istället för att ersätta musiker, blir verktyg som Magenta RT samarbetspartners. Nyliga framsteg i beat-spårningssystem med noll fördröjning och förbättrad kontroll visar hur AI kan synkronisera med mänskliga artister i realtid.
2. Nya prestationparadigm: Konceptet att “utföra” med AI öppnar helt nya konstnärliga möjligheter. Musiker lär sig att “spela” dessa system som instrument, utvecklar tekniker för att locka specifika ljud och navigera latenta musikaliska utrymmen.
3. Utbildningsrevolution: AI-musikgenereringsteknologi har revolutionerat musikundervisning, med plattformar som tillhandahåller interaktiva upplevelser som lyssnar på användarnas prestationer och erbjuder omedelbar feedback.Teknisk konvergens: Med innovationer inom neurala ljudkoder och optimerade arkitekturer kan verktyg som MusicFX DJ nu strömma produktionkvalitets 48kHz stereoaudio i realtid, för AI-genererad musik till professionella kvalitetsstandarder.

Att omfamna den samarbetsinriktade framtiden

Magenta RealTime erbjuder en glimt av en framtid där gränserna mellan mänsklig och maskinell kreativitet blir alltmer flytande. Genom att kräva realtidsmänsklig inmatning och fokusera på processen snarare än bara utdata, erbjuder den en modell för AI som förbättrar snarare än ersätter mänsklig kreativitet.

Teknikens öppna källkods natur och tillgänglighet på konsumentmaskinvara demokratiserar musikskapande samtidigt som dess realtidsbegränsningar säkerställer att mänsklig agentia förblir central i den kreativa processen. Som Magenta-teamet betonar, har förbättring av mänsklig kreativitet – inte ersättning – alltid varit kärnan i deras uppdrag.

För musiker, producenter och musikälskare är budskapet tydligt: musikens framtid ligger inte i att välja mellan mänsklig eller AI-skapande, utan i att utforska de väldiga kreativa möjligheterna som uppstår när de två arbetar tillsammans i realtid. Magenta RT är en inbjudan att ompröva vad musikskapande kan vara i AI-eran.

Medan vi går vidare, måste musikindustrin hantera viktiga frågor om rättvis kompensation, upphovsrätt och värdet av mänsklig kreativitet. Men om verktyg som Magenta RT är något att döma av, kommer musikens framtid att vara en av samarbete, experiment och nya former av uttryck som vi bara börjar ana.