OpenAI Membuat Program AI Baru untuk Membuat Musik Berdasarkan Genre

Organisasi penelitian independen OpenAI baru-baru ini merilis bentuk baru AI generatif yang disebut Jukebox, dinamai demikian karena kemampuannya untuk menghasilkan musik. Jukebox AI dapat menghasilkan suara berdasarkan atribut seperti instrumentasi dan bahkan lirik, dan tim peneliti OpenAI menciptakan AI ini dengan melatihnya pada klip audio yang dikompresi dan berbagai potongan lirik.

Seperti yang dilaporkan oleh TechCrunch , peneliti OpenAI melatih model menggunakan klip audio mentah, memberikan model kemampuan untuk menghasilkan audio. Ini berbeda dengan pendekatan yang digunakan untuk membuat aplikasi generasi musik lainnya, yang sering mengandalkan “musik simbolis” (seperti musik MIDI) yang merupakan informasi tentang nada dan pitch, tetapi tidak ada audio yang sebenarnya. Tim peneliti menggunakan jaringan neural konvolusional untuk melatih model, mengompresi audio, dan mengkodekannya ke dalam format yang dapat diinterpretasikan oleh jaringan neural. Setelah itu, transformer digunakan untuk menghasilkan audio yang dikompresi, yang kemudian di-upsample untuk mengubah data menjadi format audio.

Saat membuat Jukebox, OpenAI harus menciptakan metode untuk menangani sifat audio yang kompleks dan padat. Peneliti menangani sifat kontinu audio dengan memecahnya menjadi bagian yang lebih diskrit dan dapat dicerna, membagi lagu menjadi potongan yang panjangnya 1/128 detik. Tujuannya adalah untuk menciptakan model AI yang dapat memecah lagu menjadi potongan yang cukup besar sehingga masalahnya tidak menjadi tidak dapat dipecahkan, tetapi cukup kecil dan presisi sehingga model dapat mempelajari pola lagu dan merekonstruksi pola tersebut.

Teknik yang digunakan oleh OpenAI memiliki kesamaan dengan AI generasi musik yang lebih tua yang diproduksi oleh perusahaan, yang disebut MuseNet. MuseNet dilatih pada file MIDI dan dapat menghasilkan musik dalam berbagai gaya, meskipun fokus pada melodi lagu secara keseluruhan dan tidak dapat menghasilkan lirik. Sebaliknya, Jukebox dapat menulis liriknya sendiri untuk mengiringi musik. Lirik tersebut “ditulis bersama” oleh peneliti OpenAI, membimbing model untuk menciptakan lirik dalam gaya tertentu. Sistem Jukebox dilatih pada lirik yang diambil dari LyricWiki, dengan data pelatihan yang terdiri dari teks dan metadata pada 1,2 juta lagu.

Saat datang ke lirik model, peneliti pertama kali mencoba menggunakan heuristik sederhana yang meregangkan lirik hingga sekitar durasi lagu, menganalisis teks yang sesuai dengan potongan/segmen lagu tertentu. Pendekatan sederhana ini bekerja dengan baik secara umum, meskipun peneliti menemukan bahwa ketika lirik sangat cepat, itu rusak. Untuk menangani masalah ini, vokal diekstrak dari lagu dan diselaraskan dengan teks lirik untuk mendapatkan penyelarasan tingkat kata untuk lirik. Setelah itu, lapisan pengkodean digunakan untuk lirik bersama dengan lapisan perhatian yang memetakan bagian musik ke lirik menggunakan pasangan kunci-nilai. Hasilnya adalah lirik dan vokal memiliki kesesuaian yang cukup presisi.

Penulis makalah juga mencatat bahwa ada beberapa keterbatasan yang dimiliki Jukebox, dan bahwa pekerjaan masa depan akan bertujuan untuk meningkatkan kemampuan AI. Seperti yang ditulis oleh penulis dalam posting blog:

“Sementara Jukebox mewakili langkah maju dalam kualitas musik, koherensi, panjang sampel audio, dan kemampuan untuk mengondisikan pada artis, genre, dan lirik, ada celah yang signifikan antara generasi ini dan musik yang dibuat manusia. Misalnya, sementara lagu yang dihasilkan menunjukkan koherensi musik lokal, mengikuti pola akord tradisional, dan bahkan dapat menampilkan solo yang mengesankan, kita tidak mendengar struktur musik yang lebih besar yang familiar seperti chorus yang berulang.”

Saat ini, model ini dapat menghasilkan lagu yang dapat dikenali dalam gaya genre atau bahkan artis tertentu. Misalnya, dapat menghasilkan lagu dalam gaya Elvis Presley, Katy Perry, atau Rage Against the Machine. Meskipun lagu-lagu tersebut dapat dikenali dalam genre atau bertema di sekitar gaya penyanyi, mereka juga cukup kasar, sering terdengar seperti parodi atau versi cover yang buruk dari lagu. Namun, prestasi teknisnya impresif. Peneliti yang bertanggung jawab untuk menciptakan sistem generasi AI ini memilih untuk bekerja pada program yang dapat menghasilkan musik secara khusus karena tugasnya sulit, dan peneliti berencana untuk terus memperbaiki teknik mereka. Anda dapat mendengarkan beberapa lagu di sini.