Model dan platform AI
Teknologi Generatif AI untuk Teks-ke-Musik: Stability Audio, Google’s MusicLM dan Lainnya
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Musik, sebuah bentuk seni yang meresonansi dengan jiwa manusia, telah menjadi teman setia kita semua. Menciptakan musik menggunakan kecerdasan buatan (AI) dimulai beberapa dekade yang lalu. Awalnya, upaya-upaya tersebut sederhana dan intuitif, dengan algoritma dasar yang menciptakan melodi monoton. Namun, seiring kemajuan teknologi, kompleksitas dan kemampuan generator musik AI juga meningkat, membuka jalan bagi pembelajaran dalam dan Pemrosesan Bahasa Alami (NLP) untuk memainkan peran penting dalam teknologi ini.
Hari ini, platform seperti Spotify menggunakan AI untuk memperhalus pengalaman mendengarkan pengguna. Algoritma pembelajaran dalam ini menganalisis preferensi individual berdasarkan berbagai elemen musik seperti tempo dan mood untuk menciptakan saran lagu yang dipersonalisasi. Mereka bahkan menganalisis pola mendengarkan yang lebih luas dan mencari diskusi tentang lagu di internet untuk membangun profil lagu yang terperinci.
Asal Mula AI dalam Musik: Perjalanan dari Komposisi Algoritmik ke Pemodelan Generatif
Di awal tahap AI bercampur dengan dunia musik, yang meliputi tahun 1950-an hingga 1970-an, fokus utama adalah pada komposisi algoritmik. Ini adalah metode di mana komputer menggunakan seperangkat aturan yang ditetapkan untuk menciptakan musik. Ciptaan pertama yang terkenal selama periode ini adalah Illiac Suite untuk Kuartet Senar pada tahun 1957. Ini menggunakan algoritma Monte Carlo, sebuah proses yang melibatkan angka acak untuk menentukan nada dan irama dalam batasan teori musik tradisional dan probabilitas statistik.
Gambar yang dihasilkan oleh penulis menggunakan Midjourney
Pada saat itu, pelopor lain, Iannis Xenakis, menggunakan proses stokastik, sebuah konsep yang melibatkan distribusi probabilitas acak, untuk menciptakan musik. Ia menggunakan komputer dan bahasa FORTRAN untuk menghubungkan beberapa fungsi probabilitas, menciptakan pola di mana berbagai representasi grafis sesuai dengan ruang suara yang berbeda.
Kompleksitas Menerjemahkan Teks ke Musik
Musik disimpan dalam format data yang kaya dan multi-dimensi yang mencakup elemen seperti melodi, harmoni, irama, dan tempo, membuat tugas menerjemahkan teks ke musik sangat kompleks. Sebuah lagu standar direpresentasikan oleh hampir sejuta angka dalam komputer, sebuah angka yang jauh lebih tinggi daripada format data lain seperti gambar, teks, dll.
Bidang generasi audio sedang menyaksikan pendekatan inovatif untuk mengatasi tantangan menciptakan suara yang realistis. Salah satu metode melibatkan menghasilkan spektrogram, lalu mengubahnya kembali menjadi audio.
Strategi lain menggunakan representasi simbolik musik, seperti notasi musik, yang dapat diinterpretasikan dan dimainkan oleh musisi. Metode ini telah didigitalkan dengan sukses, dengan alat seperti Chamber Ensemble Generator Magenta yang menciptakan musik dalam format MIDI, sebuah protokol yang memfasilitasi komunikasi antara komputer dan instrumen musik.
Sementara pendekatan-pendekatan ini telah memajukan bidang ini, mereka memiliki keterbatasan mereka sendiri, menekankan sifat kompleks dari generasi audio.
Model autoregresif berbasis Transformer dan model difusi berbasis U-Net, berada di garis depan teknologi, menghasilkan hasil state-of-the-art (SOTA) dalam menghasilkan audio, teks, musik, dan banyak lagi. OpenAI’s GPT series dan hampir semua LLM lainnya saat ini ditenagai oleh transformer yang menggunakan arsitektur encoder, decoder, atau keduanya. Di sisi seni/gambar, MidJourney, Stability AI, dan DALL-E 2 semua menggunakan kerangka difusi. Dua teknologi inti ini telah menjadi kunci dalam mencapai hasil SOTA di sektor audio juga. Dalam artikel ini, kita akan membahas Google’s (GOOGL ) MusicLM dan Stable Audio, yang berdiri sebagai bukti kemampuan luar biasa dari teknologi ini.
Google’s MusicLM
Google’s MusicLM dirilis pada bulan Mei tahun ini. MusicLM dapat menghasilkan potongan musik dengan kualitas tinggi yang sesuai dengan sentimen yang dijelaskan dalam teks. Menggunakan modelur urutan hierarkis, MusicLM memiliki kemampuan untuk mengubah deskripsi teks menjadi musik yang sesuai pada 24 kHz selama durasi yang diperpanjang.
Model ini beroperasi pada tingkat multi-dimensi, tidak hanya mematuhi input teks tetapi juga menunjukkan kemampuan untuk dikondisikan pada melodi. Ini berarti dapat mengambil melodi yang dinyanyikan atau ditiup dan mengubahnya sesuai dengan gaya yang digambarkan dalam deskripsi teks.
Technical Insights
MusicLM memanfaatkan prinsip-prinsip AudioLM, sebuah kerangka yang diperkenalkan pada tahun 2022 untuk generasi audio. AudioLM mensintesis audio sebagai tugas pemodelan bahasa dalam ruang representasi diskret, menggunakan hierarki unit audio diskret kasar-ke-halus, juga dikenal sebagai token. Pendekatan ini memastikan kualitas tinggi dan kohesi jangka panjang selama durasi yang signifikan.
Untuk memfasilitasi proses generasi, MusicLM memperluas kemampuan AudioLM untuk mengincorporasi kondisi teks, sebuah teknik yang menyelaraskan audio yang dihasilkan dengan nuansa input teks. Ini dicapai melalui ruang embed bersama yang dibuat menggunakan MuLan, model musik-teks gabungan yang dilatih untuk memproyeksikan musik dan deskripsi teksnya ke dekat satu sama lain dalam ruang embed. Strategi ini secara efektif menghilangkan kebutuhan akan keterangan selama pelatihan, memungkinkan model untuk dilatih pada korpus audio-only yang besar.
Model MusicLM juga menggunakan SoundStream sebagai tokenizer audio, yang dapat merekonstruksi musik 24 kHz pada 6 kbps dengan fidelitas yang mengesankan, menggunakan kuantifikasi vektor residual (RVQ) untuk kompresi audio yang efisien dan berkualitas tinggi.
Ilustrasi proses pelatihan MusicLM: SoundStream, w2v-BERT, dan MuLan | Sumber: di sini
Lebih lanjut, MusicLM memperluas kemampuannya dengan memungkinkan kondisi melodi. Pendekatan ini memastikan bahwa bahkan sebuah melodi yang dinyanyikan sederhana dapat menjadi dasar untuk pengalaman auditori yang luar biasa, yang disesuaikan dengan deskripsi gaya teks yang tepat.
Pengembang MusicLM juga telah membuka sumber dataset MusicCaps, yang menampilkan 5.500 pasang musik-teks, masing-masing disertai dengan deskripsi teks yang kaya yang dibuat oleh ahli manusia. Anda dapat menemukannya di MusicCaps di Hugging Face.
Siap untuk membuat soundtrack AI dengan Google’s MusicLM? Berikut cara memulai:
- Kunjungi situs web resmi MusicLM dan klik “Mulai.”
- Daftarlah dengan memilih “Daftar minat Anda.”
- Masuk menggunakan akun Google Anda.
- Saat diizinkan akses, klik “Coba Sekarang” untuk memulai.
Di bawah ini adalah beberapa contoh prompt yang saya coba:
“Lagu meditasi, menenangkan dan menyenangkan, dengan flute dan gitar. Musiknya lambat, dengan fokus pada menciptakan kesan damai dan ketenangan.”
“jazz dengan saksofon”
Ketika dibandingkan dengan model SOTA sebelumnya seperti Riffusion dan Mubert dalam evaluasi kualitatif, MusicLM lebih disukai daripada yang lain, dengan peserta yang menilai kompatibilitas keterangan teks dengan klip audio 10 detik.
Perbandingan Kinerja MusicLM, Sumber: di sini
Stability Audio
Stability AI baru-baru ini memperkenalkan “Stable Audio“, sebuah arsitektur model difusi laten yang dikondisikan pada metadata teks serta durasi dan waktu mulai file audio. Pendekatan ini, seperti Google’s MusicLM, memiliki kontrol atas konten dan panjang audio yang dihasilkan, memungkinkan penciptaan klip audio dengan panjang yang ditentukan hingga ukuran jendela pelatihan.
Technical Insights
Stable Audio terdiri dari beberapa komponen, termasuk Variational Autoencoder (VAE) dan model difusi yang dikondisikan berbasis U-Net, bekerja sama dengan encoder teks.
Arsitektur Stable Audio, Sumber: di sini
VAE memfasilitasi generasi yang lebih cepat dan pelatihan dengan mengompresi audio stereo menjadi encoding laten yang dikompresi data, tahan noise, dan dapat dibalik, melewati kebutuhan untuk bekerja dengan sampel audio mentah.
Encoder teks, yang berasal dari model CLAP, memainkan peran penting dalam memahami hubungan antara kata dan suara, menawarkan representasi informatif dari teks input yang ditokenisasi. Ini dicapai melalui penggunaan fitur teks dari lapisan terakhir encoder teks CLAP, yang kemudian diintegrasikan ke dalam lapisan perhatian silang U-Net.
Aspek penting adalah penggabungan embedding waktu, yang dihitung berdasarkan dua properti: detik awal potongan audio dan durasi total file audio asli. Nilai-nilai ini, yang diterjemahkan menjadi embedding diskret yang dipelajari per detik, digabungkan dengan token prompt dan dimasukkan ke dalam lapisan perhatian silang U-Net, memberdayakan pengguna untuk menentukan panjang total audio output.
Model Stable Audio dilatih menggunakan dataset ekstensif yang terdiri dari lebih dari 800.000 file audio, melalui kolaborasi dengan penyedia musik stok AudioSparx.
Iklan Stable audio
Stable Audio menawarkan versi gratis, yang memungkinkan 20 generasi trek hingga 20 detik per bulan, dan rencana Pro seharga $12/bulan, yang memungkinkan 500 generasi trek hingga 90 detik.
Di bawah ini adalah klip audio yang saya buat menggunakan stable audio.
Gambar yang dihasilkan oleh penulis menggunakan Midjourney
“Cinematic, Soundtrack Hujan Lembut, Ambient, Menenangkan, Anjing Jauh Menggonggong, Desiran Daun yang Menenangkan, Angin Lembut, 40 BPM”
Aplikasi dari potongan audio yang dirancang dengan baik ini tidak terbatas. Pembuat film dapat memanfaatkan teknologi ini untuk menciptakan lanskap suara yang kaya dan imersif. Di sektor komersial, pengiklan dapat menggunakan trek audio yang disesuaikan ini. Lebih lanjut, alat ini membuka peluang bagi kreator individu dan seniman untuk bereksperimen dan berinovasi, menawarkan kanvas dengan potensi tak terbatas untuk menciptakan karya suara yang menceritakan kisah, membangkitkan emosi, dan menciptakan atmosfer dengan kedalaman yang sebelumnya sulit dicapai tanpa anggaran yang signifikan atau keahlian teknis.
Tips untuk Membuat Prompt
Buat audio yang sempurna menggunakan prompt teks. Berikut panduan cepat untuk memulai:
- Detil: Tentukan genre, mood, dan instrumen. Contohnya: Cinematic, Wild West, Perkusi, Tegang, Atmosferik
- Pengaturan Mood: Gabungkan istilah musik dan emosi untuk mengungkapkan mood yang diinginkan.
- Pilihan Instrumen: Perkuat nama instrumen dengan kata sifat, seperti “Gitar yang Reverberated” atau “Koor yang Kuat”.
- BPM: Sesuaikan tempo dengan genre untuk output yang harmonis, seperti “170 BPM” untuk trek Drum dan Bass.
Catatan Penutup
Gambar yang dihasilkan oleh penulis menggunakan Midjourney
Dalam artikel ini, kita telah membahas tentang musik dan audio yang dihasilkan oleh AI, dari komposisi algoritmik hingga kerangka generatif AI yang canggih seperti Google’s MusicLM dan Stability Audio. Teknologi ini, yang menggunakan pembelajaran dalam dan model kompresi SOTA, tidak hanya meningkatkan generasi musik tetapi juga memperhalus pengalaman pendengar.
Namun, ini adalah domain yang terus berkembang, dengan hambatan seperti mempertahankan kohesi jangka panjang dan debat yang sedang berlangsung tentang autentisitas musik yang dibuat oleh AI yang menantang para pelopor di bidang ini. Baru-baru ini, ada kabar tentang sebuah lagu yang dibuat oleh AI yang meniru gaya Drake dan The Weeknd, yang awalnya mendapat perhatian online awal tahun ini. Namun, itu dihapus dari daftar nominasi Grammy, menunjukkan debat yang sedang berlangsung tentang legitimasi musik yang dihasilkan oleh AI di industri ini (sumber). Ketika AI terus menjembatani kesenjangan antara musik dan pendengar, itu pasti mempromosikan ekosistem di mana teknologi hidup berdampingan dengan seni, mendorong inovasi sambil menghormati tradisi.
