Peneliti Membuat Model AI yang Dapat Bernyanyi dalam Bahasa Tionghoa dan Inggris

Sebuah tim peneliti dari Microsoft dan Zhajiang University baru-baru ini menciptakan model AI yang dapat bernyanyi dalam berbagai bahasa. Seperti yang dilaporkan oleh VentureBeat, DeepSinger AI yang dikembangkan oleh tim dilatih pada data dari berbagai situs musik, menggunakan algoritma yang menangkap timbre suara penyanyi.

Menghasilkan “suara” penyanyi AI memerlukan algoritma yang mampu memprediksi dan mengontrol baik pitch dan durasi audio. Ketika orang bernyanyi, suara yang dihasilkan memiliki pola dan irama yang jauh lebih kompleks dibandingkan dengan ucapan sederhana. Masalah lain yang harus diatasi oleh tim adalah bahwa sementara ada banyak data pelatihan ucapan/suara yang tersedia, data pelatihan bernyanyi relatif langka. Gabungkan tantangan ini dengan fakta bahwa lagu memerlukan analisis suara dan lirik, dan masalah menghasilkan suara bernyanyi menjadi sangat kompleks.

Sistem DeepSinger yang dibuat oleh peneliti telah mengatasi tantangan ini dengan mengembangkan pipa data yang menambang dan mengubah data audio. Klip bernyanyi diekstrak dari berbagai situs musik, dan kemudian suara bernyanyi diisolasi dari audio lainnya dan dibagi menjadi kalimat. Langkah selanjutnya adalah menentukan durasi setiap fonem dalam lirik, menghasilkan serangkaian sampel yang mewakili fonem unik dalam lirik. Pembersihan data dilakukan untuk menangani sampel pelatihan yang terdistorsi setelah lirik dan sampel audio disortir berdasarkan skor kepercayaan.

Metode yang sama tampaknya bekerja untuk berbagai bahasa. DeepSinger dilatih pada sampel vokal Tionghoa, Kanton, dan Inggris yang terdiri dari 89 penyanyi yang menyanyikan selama lebih dari 92 jam. Hasil studi menemukan bahwa sistem DeepSinger dapat menghasilkan sampel “bernanyi” dengan kualitas tinggi menurut metrik seperti akurasi pitch dan seberapa alami suara bernyanyi terdengar. Peneliti memiliki 20 orang yang menilai lagu yang dihasilkan oleh DeepSinger dan lagu pelatihan menurut metrik ini, dan celah antara skor untuk sampel yang dihasilkan dan audio asli relatif kecil. Peserta memberikan skor opini rata-rata yang berkisar antara 0,34 dan 0,76.

Menjelang masa depan, peneliti ingin mencoba meningkatkan kualitas suara yang dihasilkan dengan melatih submodel yang berbeda yang terdiri dari DeepSinger, dilakukan dengan bantuan teknologi khusus seperti WaveNet yang dirancang khusus untuk tugas menghasilkan suara yang terdengar alami melalui gelombang audio.

Sistem DeepSinger dapat digunakan untuk membantu penyanyi dan seniman musik lainnya membuat koreksi pada karya tanpa harus kembali ke studio untuk sesi rekaman lain. Ini juga dapat digunakan untuk membuat audio deepfake, membuat seolah-olah seorang seniman menyanyikan lagu yang sebenarnya tidak pernah mereka lakukan. Sementara itu dapat digunakan untuk parodi atau satir, juga memiliki legalitas yang meragukan.

DeepSinger hanya salah satu dari gelombang baru sistem musik dan audio berbasis AI yang dapat mengubah cara musik dan perangkat lunak berinteraksi. OpenAI baru-baru ini merilis sistem AI mereka sendiri, yang disebut JukeBox, yang dapat menghasilkan trek musik asli dalam gaya genre tertentu atau bahkan seniman tertentu. Alat musik AI lainnya termasuk Magenta Google (GOOGL ) dan DeepComposer Amazon (AMZN ). Magenta adalah perpustakaan manipulasi audio (dan gambar) sumber terbuka yang dapat digunakan untuk menghasilkan semua hal mulai dari drum otomatis hingga permainan video berbasis musik sederhana. Sementara itu, DeepComposer Amazon ditujukan untuk mereka yang ingin melatih dan mengkustomisasi model pembelajaran dalam berbasis musik mereka sendiri, memungkinkan pengguna untuk mengambil model sampel pra-pelatihan dan menyesuaikan model dengan kebutuhan mereka. Anda dapat mendengarkan beberapa sampel audio yang dihasilkan oleh DeepSinger di tautan ini.