Penelitian AI Membayangkan Pengendali Volume Terpisah untuk Dialog, Musik, dan Efek Suara

Sebuah kolaborasi penelitian baru yang dipimpin oleh Mitsubishi menyelidiki kemungkinan mengekstrak tiga soundtrack terpisah dari sumber audio asli, memecah trek audio menjadi ucapan, musik, dan efek suara (yaitu kebisingan ambient).

Karena ini adalah kerangka kerja pemrosesan pasca-fakta, itu menawarkan potensi untuk generasi berikutnya dari platform tontonan multimedia, termasuk peralatan konsumen, untuk menawarkan pengendali volume tiga titik, memungkinkan pengguna untuk meningkatkan volume dialog, atau menurunkan volume soundtrack.

Di klip pendek di bawah dari video yang menyertain penelitian (lihat akhir artikel untuk video lengkap), kita melihat berbagai aspek soundtrack yang ditekankan saat pengguna menarik kontrol di sepanjang segitiga dengan masing-masing dari tiga komponen audio di setiap sudut:

Sebuah klip pendek dari video yang menyertain makalah (lihat embed di akhir artikel). Saat pengguna menarik kursor ke salah satu dari tiga aspek yang diekstrak di segitiga UI (di sebelah kanan), audio menekankan bagian itu dari soundtrack tripartit. Meskipun video yang lebih panjang menyebutkan beberapa contoh tambahan di YouTube, tampaknya tidak tersedia saat ini. Sumber: https://vimeo.com/634073402

Makalah tersebut berjudul Masalah Garpu Koki: Pemisahan Audio Tiga-Batang untuk Soundtrack Dunia Nyata, dan berasal dari peneliti di Mitsubishi Electric Research Laboratories (MERL) di Cambridge, MA, dan Departemen Teknik Sistem Cerdas di Universitas Indiana di Illinois.

Memisahkan Aspek-Aspek Soundtrack

Para peneliti telah menamai tantangan ini ‘Masalah Pesta Koki’ karena melibatkan mengisolasi elemen-elemen soundtrack yang sangat terjalin, yang menciptakan peta jalan yang menyerupai garpu (lihat gambar di bawah). Dalam prakteknya, soundtrack multi-channel (yaitu stereo dan lebih) mungkin memiliki jumlah konten yang berbeda, seperti dialog, musik, dan ambience, terutama karena dialog cenderung mendominasi saluran tengah dalam campuran Dolby 5.1. Saat ini, bidang penelitian audio pemisahan yang sangat aktif sedang berkonsentrasi pada menangkap benang-benang ini dari soundtrack tunggal yang sudah jadi, seperti yang dilakukan penelitian saat ini.

Garpu Koki – menurunkan tiga soundtrack terpisah dari soundtrack tunggal yang digabung. Sumber: https://arxiv.org/pdf/2110.09958.pdf

Penelitian terbaru telah berkonsentrasi pada mengekstrak ucapan dalam berbagai lingkungan, sering untuk tujuan denoising audio ucapan untuk berinteraksi dengan sistem Pemrosesan Bahasa Alami (NLP), tetapi juga pada isolasi suara nyanyian arsip, baik untuk menciptakan versi sintetis dari penyanyi nyata (bahkan mati), atau untuk memfasilitasi isolasi musik gaya Karaoke.

Dataset untuk Setiap Aspek

Sampai saat ini, sedikit pertimbangan yang diberikan untuk menggunakan teknologi AI ini untuk memberi pengguna lebih banyak kontrol atas campuran soundtrack. Oleh karena itu, para peneliti telah merumuskan masalah ini dan mengembangkan dataset baru sebagai bantuan untuk penelitian berkelanjutan tentang pemisahan soundtrack multi-tipe, serta mengujinya pada berbagai kerangka pemisahan audio yang ada.

Dataset baru yang dikembangkan oleh penulis disebut Bagi dan Remaster (DnR), dan berasal dari dataset sebelumnya LibriSpeech, Free Music Archive dan Freesound Dataset 50k (FSD50K). Untuk mereka yang ingin bekerja dengan DnR dari awal, dataset harus dibangun kembali dari tiga sumber; jika tidak, itu akan segera tersedia di Zenodo, klaim penulis. Namun, pada saat penulisan, tautan GitHub untuk utilitas ekstraksi sumber tidak aktif saat ini, sehingga mereka yang tertarik mungkin perlu menunggu sebentar.

Para peneliti telah menemukan bahwa arsitektur CrossNet un-mix (XUMX) yang diusulkan oleh Sony pada Mei bekerja sangat baik dengan DnR.

Arsitektur audio CrossNet Sony.

Penulis mengklaim bahwa model ekstraksi pembelajaran mesin mereka bekerja dengan baik pada soundtrack dari YouTube, meskipun evaluasi yang disajikan dalam makalah didasarkan pada data sintetis, dan video utama yang disediakan (disematkan di bawah) saat ini adalah satu-satunya yang tampaknya tersedia.

Ketiga dataset yang digunakan masing-masing terdiri dari koleksi jenis output yang perlu dipisahkan dari soundtrack: FSD50K diisi dengan efek suara, dan menampilkan 50.000 klip audio mono 44,1 kHz yang diberi label dengan 200 label kelas dari ontologi AudioSet Google; Free Music Archive menampilkan 100.000 lagu stereo yang mencakup 161 genre musik, meskipun penulis telah menggunakan subset yang berisi 25.000 lagu, untuk kesetaraan dengan FSD50K; dan LibriSpeech menyediakan DnR dengan 100 jam sampel audio buku sebagai file audio mp3 44,1kHz.

Pekerjaan Masa Depan

Para penulis memprediksi pekerjaan lebih lanjut pada dataset dan kombinasi model terpisah yang dikembangkan untuk penelitian lebih lanjut tentang kerangka pengenalan ucapan dan klasifikasi suara, yang menampilkan generasi caption otomatis untuk ucapan dan suara non-ucapan. Mereka juga berencana untuk mengevaluasi kemungkinan pendekatan remix yang dapat mengurangi artefak perseptual, yang tetap menjadi masalah utama saat membagi soundtrack audio yang digabung menjadi komponen-komponennya.

Jenis pemisahan ini di masa depan dapat tersedia sebagai komoditas konsumen di TV pintar yang mengintegrasikan jaringan inferensi yang sangat dioptimalkan, meskipun tampaknya implementasi awal akan memerlukan beberapa level waktu pra-pemrosesan dan ruang penyimpanan. Samsung sudah menggunakan jaringan neural lokal untuk penskalaan, sementara Cognitive Processor XR Sony, yang digunakan di jajaran Bravia perusahaan, menganalisis dan menafsirkan kembali soundtrack secara langsung melalui AI ringan terintegrasi.

Panggilan untuk kontrol yang lebih besar atas campuran soundtrack berulang, dan sebagian besar solusi yang ditawarkan harus berurusan dengan kenyataan bahwa soundtrack sudah dibouncing dalam kesesuaian dengan standar saat ini (dan asumsi tentang apa yang diinginkan pemirsa) di industri film dan TV.

Salah satu pemirsa, yang terganggu oleh disparitas volume yang mengganggu antara berbagai elemen soundtrack film, menjadi putus asa dan mengembangkan pengatur volume otomatis berbasis perangkat keras yang dapat mengequalisasi volume untuk film dan TV.

Meskipun TV pintar menawarkan berbagai metode untuk mencoba meningkatkan volume dialog melawan volume yang sangat besar untuk musik, mereka semua berjuang melawan keputusan yang dibuat pada saat mixing, dan, secara argumentatif, visi produser konten yang ingin audiens mengalami soundtrack mereka tepat seperti yang mereka atur.

Produser konten tampaknya akan menentang penambahan potensial ini ke ‘budaya remix’, karena beberapa tokoh industri telah mengungkapkan ketidaksetujuan mereka terhadap algoritma TV berbasis pasca-pemrosesan seperti motion smoothing.

https://vimeo.com/634073402