Google prezintă un model de muzică AI care creează mai rapid decât redarea

Imaginați-vă următoarea scenă: un muzician stă la computer, nu compune note cu note, ci conduce un colaborator AI prin intermediul unei interpretări live – modificând genurile, amestecând instrumente și explorând teritorii sonore care există între stilurile muzicale stabilite. Acest lucru se întâmplă acum cu Magenta RealTime (RT) de la Google (GOOGL ), un model open-source care aduce interactivitate în timp real la generarea de muzică AI.

De curând lansat, Magenta RT ne obligă să schimbăm modul în care gândim despre muzica generată de AI. În contrast cu modelele anterioare care necesitau ca utilizatorii să aștepte ca piesele complete să fie generate, Magenta RT generează muzică mai rapid decât se redă, permițând o interacțiune în timp real adevărată. Pentru industria muzicală – care se confruntă deja cu influența disruptivă a AI – această tehnologie deschide porți către noi forme de expresie creativă, ridicând totodată întrebări profunde despre autor, interpretare și viitorul muzicienilor umani.

Înțelegerea Magenta RealTime

La nivelul său fundamental, Magenta RT este un model de transformator autoregresiv cu 800 de milioane de parametri, dar ceea ce îl diferențiază este abordarea sa față de provocarea generării în timp real. Modelul generează fluxuri continue de muzică în bucăți de 2 secunde, fiecare condiționat de ultimii 10 secunde de ieșire audio și de o încorporare dinamic ajustabilă a stilului. Această arhitectură permite muzicienilor să manipuleze încorporarea stilului în timp real, efectiv dirijând ieșirea muzicală pe măsură ce se desfășoară.

Realizarea tehnică de aici nu poate fi supraestimată. Pe un TPU Google Colab de nivel gratuit, Magenta RT generează 2 secunde de audio în doar 1,25 secunde – un factor de timp real de 1,6. Această viteză este posibilă prin mai multe inovații:

• Autoregresie pe bloc: Mai degrabă decât să genereze piese întregi deodată, modelul lucrează în bucăți mici, gestionabile care pot fi procesate rapid
• SpectroStream Codec: Un succesor al SoundStream care permite audio stereo de înaltă fidelitate la 48kHz
• Încorporări MusicCoCa: Un nou model de încorporare comună muzică-text care permite control semantic asupra procesului de generare

Ceea ce face acest lucru deosebit de impresionant este faptul că, în contrast cu soluțiile bazate pe API sau cu modelele de generare orientate pe loturi, Magenta RT susține sinteza de streaming cu un factor de timp real mai mare de 1. Acest lucru înseamnă că modelul poate să devanseze redarea, creând un tampon care asigură un flux muzical neted și neîntrerupt.

De la generare pasivă la interpretare activă

Implicațiile generării de muzică AI în timp real se extind mult dincolo de specificațiile tehnice. Așa cum notează echipa Magenta, “Interacțiunea live cere mai mult de la jucător, dar poate oferi mai mult în schimb. Bucla continuă de percepție-acțiune între om și model oferă acces la un flux creativ, centrat pe bucuria procesului mai mult decât pe produsul final.”

Acest schimb de la implicare pasivă la implicare activă abordează una dintre criticile principale ale conținutului generat de AI: potențialul său de a inunda piața cu muzică fără suflet, produsă în masă. Modelele în timp real “evită în mod natural crearea unei avalanșe de conținut pasiv, deoarece ele echilibrează în mod intrinsec ascultarea cu generarea într-un raport 1:1”. Fiecare moment de muzică creat necesită un moment de atenție și luare a deciziilor umane.

Luați în considerare posibilitățile pe care le deschide acest lucru:

• Interpretare live: DJ-ii și muzicienii electronici pot încorpora AI ca instrument responsiv în spectacolele lor, adăugând la setul de instrumente în expansiune de unelte AI pentru muzicieni care îmbunătățesc mai degrabă creativitatea umană decât o înlocuiesc
• Instalații interactive: Artiștii pot crea medii în care muzica răspunde la mișcarea publicului sau la factori de mediu
• Unelte educaționale: Studenții pot explora concepte muzicale prin feedback imediat și tangibil
• Coloane sonore de jocuri: Partituri dinamice care se adaptează la acțiunile jucătorilor în timp real

Perturbare și oportunitate

Industria muzicală se află la o răscruce. Veniturile din industria muzicală se așteaptă să crească cu 17,2%, în parte datorită muzicii generate de AI, cu piața globală de muzică AI evaluată la 2,9 miliarde de dolari în 2024. Cu toate acestea, această creștere vine cu preocupări semnificative din partea artiștilor și a profesioniștilor din industrie.

Cercetarea Goldmedia prezice că, fără sisteme adecvate de compensare, muzicienii ar putea pierde până la 27% din venituri până în 2028, pe măsură ce conținutul generat de AI crește. Teamă este palpabilă – va înlocui AI muzicienii umani? Va fi diminuată valoarea creativității umane într-o lume în care oricine poate genera muzică de calitate profesională?

Magenta RT oferă un răspuns nuanțat la aceste preocupări. Prin poziționarea sa ca instrument open-source care îmbunătățește mai degrabă decât înlocuiește creativitatea umană, oferă un model pentru modul în care AI și muzicienii ar putea coexista. Cerința de intrare umană în timp real asigură că tehnologia amplifică creativitatea umană, mai degrabă decât funcționând în mod autonom.

Democratizarea versus devalorizarea

Unul dintre cele mai semnificative impacturi ale Magenta RT este potențialul său de a democratiza crearea de muzică. Modelul este proiectat să ruleze în cele din urmă pe hardware de consum și este deja funcțional pe TPU-uri Colab de nivel gratuit. Această accesibilitate înseamnă că aspiranții muzicieni fără echipament scump sau pregătire formală pot experimenta idei muzicale complexe, alăturându-se ecosistemului în creștere de generatoare de muzică AI care transformă fluxurile de lucru creative.

Cu toate acestea, această democratizare vine cu riscuri. Așa cum notează compozitorul Mark Henry Phillips în experimentele sale cu generarea de muzică AI, el suspectează că “va trebui să renunț la a mai câștiga bani ca muzician, deoarece companiile vor începe să folosească tehnologia în mod direct”. Ușurința cu care AI poate genera muzică de calitate comercială amenință fluxurile de venit tradiționale ale muzicienilor profesioniști.

Există însă și o altă perspectivă de luat în considerare. La fel cum fotografia digitală nu a eliminat fotografi profesioniști, ci a schimbat natura muncii lor, generarea de muzică AI poate restructura carierele muzicale, mai degrabă decât să le înlocuiască. Cheia constă în modul în care muzicienii se adaptează și integrează aceste instrumente în procesul lor creativ.

Apariția generării de muzică AI în timp real ridică și întrebări etice urgente. Drepturile de autor, proprietatea și compensarea echitabilă rămân chestiuni controversate. 90% dintre muzicieni cred că companiile de AI ar trebui să solicite permisiunea înainte de a utiliza muzică cu drepturi de autor pentru antrenament, subliniind tensiunea dintre inovația tehnologică și drepturile artistice.

Abordarea open-source a Magenta RT oferă o cale posibilă spre viitor. Prin faptul că a făcut tehnologia disponibilă în mod gratuit și a antrenat-o pe aproximativ 190.000 de ore de muzică instrumentală de stoc din multiple surse, Google a încercat să ocolească unele preocupări legate de drepturile de autor, în timp ce produce totuși un model capabil.

Limitările modelului reflectă și considerații etice. Deși este capabil să genereze vocalizări non-lexicale și sunete de cântat, Magenta RT nu este condiționat pe versuri și este puțin probabil să genereze cuvinte reale. Acestă alegere de proiectare ajută la evitarea potențialelor probleme legate de generarea de conținut liric inadecvat, concentrându-se pe compoziția instrumentală.

Viitorul colaborării umane-AI în muzică

Pe măsură ce ne aflăm la începutul acestei noi ere în crearea de muzică, apar mai multe tendințe:

1. Modele hibride de creație: În loc să înlocuiască muzicienii, uneltele precum Magenta RT devin colaboratori. Dezvoltările recente în sistemele de urmărire a ritmului cu latență zero și controlabilitate îmbunătățită arată cum AI poate sincroniza cu interpreții umani în timp real.
2. Noi paradigme de interpretare: Conceptul de “interpretare” cu AI deschide posibilități artistice complet noi. Muzicienii învață să “joace” aceste sisteme ca pe instrumente, dezvoltând tehnici pentru a obține sunete specifice și a naviga în spații muzicale latente.
3. Revolutionare educaționale: Tehnologia de generare de muzică AI a revoluționat educația muzicală, cu platforme care oferă experiențe interactive care ascultă interpretările utilizatorilor și oferă feedback instantaneu.Convergență tehnică: Cu inovații în codificarea audio neurală și arhitecturi optimizate, uneltele precum MusicFX DJ pot acum transmite audio de producție de calitate la 48kHz stereo în timp real, aducând muzica generată de AI la standarde profesionale.

Îmbrățișarea viitorului colaborativ

Magenta RealTime oferă o privire într-un viitor în care granițele dintre creativitatea umană și cea a mașinii devin din ce în ce mai fluide. Prin cerința de intrare umană în timp real și concentrarea asupra procesului, mai degrabă decât doar asupra ieșirii, oferă un model pentru AI care îmbunătățește creativitatea umană, mai degrabă decât o înlocuiește.

Tehnologia open-source și accesibilitatea pe hardware de consum democratizează crearea de muzică, în timp ce constrângerile în timp real asigură că agenția umană rămâne centrală în procesul creativ. Așa cum subliniază echipa Magenta, îmbunătățirea creativității umane – și nu înlocuirea ei – a fost întotdeauna la baza misiunii lor.

Pentru muzicieni, producători și iubitori de muzică, mesajul este clar: viitorul muzicii nu constă în alegerea dintre creație umană sau AI, ci în explorarea vastelor posibilități creative care apar atunci când ambele lucrează împreună în timp real. Magenta RT este o invitație de a reimagina ce poate fi crearea de muzică în era AI.

Pe măsură ce mergem înainte, industria muzicală trebuie să se confrunte cu întrebări importante despre compensarea echitabilă, drepturile de autor și valoarea creativității umane. Dar dacă uneltele precum Magenta RT sunt orice indicație, viitorul muzicii va fi unul de colaborare, experimentare și noi forme de expresie pe care abia începem să le imaginăm.