LASS atau Language-queried Audio Source Separation adalah paradigma baru untuk CASA atau Computational Auditory Scene Analysis yang bertujuan untuk memisahkan suara target dari campuran audio menggunakan kueri bahasa alami yang menyediakan antarmuka yang alami namun scalable untuk tugas dan aplikasi audio digital. Meskipun kerangka kerja LASS telah berkembang secara signifikan dalam beberapa tahun terakhir dalam hal mencapai kinerja yang diinginkan pada sumber audio tertentu seperti instrumen musik, mereka tidak dapat memisahkan audio target di domain terbuka.

AudioSep, adalah model dasar yang bertujuan untuk memecahkan keterbatasan kerangka kerja LASS dengan memungkinkan pemisahan audio target menggunakan kueri bahasa alami. Pengembang kerangka kerja AudioSep telah melatih model secara ekstensif pada berbagai dataset multimodal skala besar, dan telah mengevaluasi kinerja kerangka kerja pada berbagai tugas audio termasuk pemisahan instrumen musik, pemisahan peristiwa audio, dan meningkatkan ucapan di antara lainnya. Kinerja awal AudioSep memuaskan benchmark karena menunjukkan kemampuan pembelajaran zero-shot yang mengesankan dan memberikan kinerja pemisahan audio yang kuat.

Dalam artikel ini, kita akan melakukan penyelaman lebih dalam pada kerja kerangka kerja AudioSep karena kita akan mengevaluasi arsitektur model, dataset yang digunakan untuk pelatihan dan evaluasi, dan konsep-konsep penting yang terlibat dalam kerja model AudioSep. Jadi mari kita mulai dengan pengenalan dasar tentang kerangka kerja CASA.

CASA, USS, QSS, LASS Frameworks: Fondasi untuk AudioSep

Kerangka kerja CASA atau Computational Auditory Scene Analysis adalah kerangka kerja yang digunakan oleh pengembang untuk merancang sistem pendengaran mesin yang memiliki kemampuan untuk memahami lingkungan suara yang kompleks dengan cara yang sama seperti manusia memahami suara menggunakan sistem auditori mereka. Pemisahan suara, dengan fokus khusus pada pemisahan suara target, adalah area penelitian fundamental dalam kerangka kerja CASA, dan bertujuan untuk memecahkan “masalah pesta koki” atau memisahkan rekaman audio dunia nyata dari rekaman sumber audio individu atau file. Pentingnya pemisahan suara dapat dikaitkan terutama dengan aplikasi yang luas termasuk pemisahan sumber musik, pemisahan sumber audio, peningkatan ucapan, identifikasi suara target, dan banyak lagi.

Sebagian besar pekerjaan pada pemisahan suara yang dilakukan di masa lalu berputar terutama pada pemisahan satu atau lebih sumber audio seperti pemisahan musik atau pemisahan ucapan. Model baru yang disebut USS atau Universal Sound Separation bertujuan untuk memisahkan suara arbitrer dalam rekaman audio dunia nyata. Namun, ini adalah tugas yang menantang dan terbatas untuk memisahkan setiap sumber suara dari campuran audio terutama karena berbagai sumber suara yang ada di dunia yang merupakan alasan utama mengapa metode USS tidak layak untuk aplikasi dunia nyata yang bekerja dalam waktu nyata.

Alternatif yang layak untuk metode USS adalah metode QSS atau Query-based Sound Separation yang bertujuan untuk memisahkan sumber suara target individu dari campuran audio berdasarkan pada kueri tertentu. Berkat ini, kerangka kerja QSS memungkinkan pengembang dan pengguna untuk mengekstrak sumber audio yang diinginkan dari campuran berdasarkan kebutuhan mereka yang membuat metode QSS menjadi solusi yang lebih praktis untuk aplikasi digital dunia nyata seperti pengeditan konten multimedia atau pengeditan audio.

Selanjutnya, pengembang baru-baru ini mengusulkan ekstensi dari kerangka kerja QSS, yaitu kerangka kerja LASS atau Language-queried Audio Source Separation yang bertujuan untuk memisahkan sumber suara arbitrer dari campuran audio dengan menggunakan deskripsi bahasa alami dari sumber suara target. Karena kerangka kerja LASS memungkinkan pengguna untuk mengekstrak sumber audio target menggunakan kueri bahasa alami, ini mungkin menjadi alat yang kuat dengan aplikasi yang luas dalam aplikasi audio digital. Ketika dibandingkan dengan metode kueri audio atau kueri visi tradisional, menggunakan kueri bahasa alami untuk pemisahan suara menawarkan tingkat keuntungan yang lebih besar karena menambah fleksibilitas dan membuat akuisisi informasi kueri lebih mudah dan nyaman. Selain itu, ketika dibandingkan dengan kerangka kerja pemisahan suara berbasis label kueri yang menggunakan kueri atau instruksi yang telah ditentukan sebelumnya, kerangka kerja LASS tidak membatasi jumlah kueri input dan memiliki fleksibilitas untuk digeneralisasi ke domain terbuka dengan mulus.

Awalnya, kerangka kerja LASS bergantung pada pembelajaran yang diawasi di mana model dilatih pada dataset audio-teks yang dipasangkan dan diberi label. Namun, masalah utama dengan pendekatan ini adalah ketersediaan terbatas dari data audio-teks yang diberi label dan dianotasi. Untuk mengurangi ketergantungan kerangka kerja LASS pada data audio-teks yang diberi label dan dianotasi, model dilatih menggunakan pendekatan pembelajaran supervisi multimodal. Tujuan utama dari menggunakan pendekatan supervisi multimodal adalah untuk menggunakan model pra-pelatihan kontras multimodal seperti model CLIP atau Contrastive Language Image Pre Training sebagai pengkode kueri untuk kerangka kerja. Karena model CLIP memiliki kemampuan untuk menyelaraskan penyematan teks dengan representasi visual, ini memungkinkan pengembang untuk melatih model LASS menggunakan data yang kaya akan modalitas dan memungkinkan interferensi dengan data teks dalam pengaturan zero-shot. Namun, kerangka kerja LASS saat ini menggunakan dataset skala kecil untuk pelatihan, dan aplikasi kerangka kerja LASS di ratusan domain potensial belum dieksplorasi.

Untuk memecahkan keterbatasan kerangka kerja LASS saat ini, pengembang telah memperkenalkan AudioSep, model dasar yang bertujuan untuk memisahkan suara dari campuran audio menggunakan deskripsi bahasa alami. Fokus saat ini untuk AudioSep adalah mengembangkan model pemisahan suara yang pra-dilatih yang memanfaatkan dataset multimodal skala besar yang ada untuk memungkinkan generalisasi model LASS dalam aplikasi domain terbuka. Untuk merangkum, model AudioSep adalah: “Model dasar untuk pemisahan suara universal di domain terbuka menggunakan kueri atau deskripsi bahasa alami yang dilatih pada dataset audio dan multimodal skala besar”.

AudioSep: Komponen Kunci dan Arsitektur

Arsitektur kerangka kerja AudioSep terdiri dari dua komponen kunci: pengkode teks, dan model pemisahan.

Pengkode Teks

Kerangka kerja AudioSep menggunakan pengkode teks dari model CLIP atau Contrastive Language Image Pre Training atau model CLAP atau Contrastive Language Audio Pre Training untuk mengekstrak penyematan teks dalam kueri bahasa alami. Kueri teks input terdiri dari urutan “N” token yang kemudian diproses oleh pengkode teks untuk mengekstrak penyematan teks untuk kueri bahasa input. Pengkode teks menggunakan tumpukan blok transformer untuk mengkodekan token teks input, dan representasi output diagregasi setelah melewati lapisan transformer yang menghasilkan representasi vektor D-dimensional dengan panjang tetap di mana D sesuai dengan dimensi model CLAP atau CLIP, sedangkan pengkode teks dibekukan selama periode pelatihan.

Model CLIP dilatih sebelumnya pada dataset skala besar dari pasangan data gambar-teks menggunakan pembelajaran kontras yang merupakan alasan utama mengapa pengkode teksnya mempelajari pemetaan deskripsi teks pada ruang semantik yang juga dibagikan oleh representasi visual. Keuntungan yang diperoleh AudioSep dengan menggunakan pengkode teks CLIP adalah bahwa ini dapat memungkinkan skala atau pelatihan model LASS dari data audio-visual yang tidak dilabeli menggunakan penyematan visual sebagai alternatif, sehingga memungkinkan pelatihan model LASS tanpa kebutuhan data audio-teks yang diberi label dan dianotasi.

Model CLAP bekerja serupa dengan model CLIP dan menggunakan tujuan pembelajaran kontras sebagai menggunakan pengkode teks dan pengkode audio untuk menghubungkan audio dan bahasa, sehingga membawa deskripsi teks dan audio ke ruang audio-teks laten yang digabungkan.

Model Pemisahan

Kerangka kerja AudioSep menggunakan model ResUNet domain-frekuensi yang diberi campuran klip audio sebagai tulang punggung pemisahan untuk kerangka kerja. Kerangka kerja ini bekerja dengan menerapkan STFT atau Short-Time Fourier Transform pada sinyal gelombang untuk mengekstrak spektrogram kompleks, spektrogram magnitudo, dan Fase X. Model kemudian mengikuti pengaturan yang sama dan membangun jaringan pengkode-dekode untuk memproses spektrogram magnitudo.

Jaringan ResUNet pengkode-dekode terdiri dari 6 blok residu, 6 blok dekoder, dan 4 blok bottleneck. Spektrogram di setiap blok pengkode menggunakan 4 blok konvolusi residu untuk mensampling diri ke dalam fitur bottleneck, sedangkan blok dekoder menggunakan 4 blok dekonvolusi residu untuk mendapatkan komponen pemisahan dengan mensampling fitur. Setelah itu, setiap blok pengkode dan blok dekodernya membentuk koneksi skip yang beroperasi pada tingkat upsampling atau downsampling yang sama. Blok residu dari kerangka kerja ini terdiri dari 2 lapisan aktivasi Leaky-ReLU, 2 lapisan normalisasi batch, dan 2 lapisan CNN, dan lebih lanjut, kerangka kerja ini juga memperkenalkan jalan pintas residu tambahan yang menghubungkan input dan output setiap blok residu individu. Model ResUNet mengambil spektrogram kompleks X sebagai input, dan menghasilkan masker magnitudo M sebagai output dengan residu fase yang dikondisikan pada penyematan teks yang mengontrol skala magnitudo dan rotasi sudut spektrogram. Spektrogram kompleks yang dipisahkan dapat diekstrak dengan mengalikan masker magnitudo yang diprediksi dan residu fase dengan STFT (Short-Time Fourier Transform) dari campuran.

Dalam kerangka kerjanya, AudioSep menggunakan lapisan FiLm atau Feature-wise Linearly modulated untuk menghubungkan model pemisahan dan pengkode teks setelah penerapan blok konvolusi dalam ResUNet.

Pelatihan dan Kerugian

Selama pelatihan model AudioSep, pengembang menggunakan metode augmentasi kekerasan, dan melatih kerangka kerja AudioSep dari ujung ke ujung dengan menggunakan fungsi kerugian L1 antara gelombang yang sebenarnya dan yang diprediksi.

Dataset dan Benchmark

Seperti yang disebutkan dalam bagian sebelumnya, AudioSep adalah model dasar yang bertujuan untuk memecahkan ketergantungan kerangka kerja LASS saat ini pada dataset audio-teks yang dipasangkan dan diberi label. Model AudioSep dilatih pada berbagai dataset untuk memberinya kemampuan pembelajaran multimodal, dan berikut adalah deskripsi rinci tentang dataset dan benchmark yang digunakan oleh pengembang untuk melatih kerangka kerja AudioSep.

AudioSet

AudioSet adalah dataset audio skala besar yang lemah-dilabeli yang terdiri dari lebih dari 2 juta potongan audio 10 detik yang diekstrak langsung dari YouTube. Setiap potongan audio dalam dataset AudioSet dikategorikan oleh kehadiran atau ketidakhadiran kelas suara tanpa detail waktu khusus dari peristiwa suara. Dataset AudioSet memiliki lebih dari 500 kelas suara yang berbeda termasuk suara alami, suara manusia, suara kendaraan, dan banyak lagi.

VGGSound

Dataset VGGSound adalah dataset visual-audio skala besar yang sama seperti AudioSet yang juga diambil langsung dari YouTube, dan berisi lebih dari 200.000 klip video, masing-masing dengan panjang 10 detik. Dataset VGGSound dikategorikan ke dalam lebih dari 300 kelas suara termasuk suara manusia, suara alami, suara burung, dan lain-lain. Penggunaan dataset VGGSound memastikan bahwa objek yang bertanggung jawab untuk menghasilkan suara target juga dapat digambarkan dalam klip visual yang sesuai.

AudioCaps

AudioCaps adalah dataset kapion audio terbesar yang tersedia secara publik, dan terdiri dari lebih dari 50.000 klip audio 10 detik yang diekstrak dari dataset AudioSet. Data dalam AudioCaps dibagi menjadi tiga kategori: data pelatihan, data pengujian, dan data validasi, dan klip audio diberi label dengan deskripsi bahasa alami menggunakan platform Amazon (AMZN ) Mechanical Turk. Perlu diingat bahwa setiap klip audio dalam dataset pelatihan memiliki satu kapion, sedangkan data dalam set pengujian dan validasi masing-masing memiliki 5 kapion yang sebenarnya.

ClothoV2

ClothoV2 adalah dataset kapion audio yang terdiri dari klip yang diambil dari platform FreeSound, dan seperti AudioCaps, setiap klip audio diberi label dengan deskripsi bahasa alami menggunakan platform Amazon Mechanical Turk.

WavCaps

Seperti AudioSet, WavCaps adalah dataset audio skala besar yang lemah-dilabeli yang terdiri dari lebih dari 400.000 klip audio dengan kapion, dan waktu runtime total yang mendekati 7568 jam data pelatihan. Klip audio dalam dataset WavCaps diambil dari berbagai sumber audio termasuk BBC Sound Effects, AudioSet, FreeSound, SoundBible, dan lain-lain.

Detail Pelatihan

Selama fase pelatihan, model AudioSep secara acak mengambil dua segmen audio dari dua klip audio yang berbeda dari dataset pelatihan, dan kemudian mencampurkannya untuk membuat campuran pelatihan di mana panjang setiap segmen audio sekitar 5 detik. Model kemudian mengekstrak spektrogram kompleks dari sinyal gelombang menggunakan jendela Hann dengan ukuran 1024 dan ukuran hop 320.

Model kemudian menggunakan pengkode teks dari model CLIP/CLAP untuk mengekstrak penyematan teks dengan supervisi teks sebagai konfigurasi default untuk AudioSep. Untuk model pemisahan, kerangka kerja AudioSep menggunakan lapisan ResUNet yang terdiri dari 30 lapisan, 6 blok pengkode, dan 6 blok dekoder yang menyerupai arsitektur yang diikuti dalam kerangka kerja pemisahan suara universal. Selanjutnya, setiap blok pengkode memiliki dua lapisan konvolusi dengan ukuran kernel 3×3 dengan jumlah peta fitur output blok pengkode yang sesuai dengan 32, 64, 128, 256, 512, dan 1024. Blok dekoder memiliki simetri dengan blok pengkode, dan pengembang menerapkan optimizer Adam untuk melatih model AudioSep dengan ukuran batch 96.

Hasil Evaluasi

Pada Dataset yang Terlihat

Gambar berikut membandingkan kinerja kerangka kerja AudioSep pada dataset yang terlihat selama fase pelatihan termasuk dataset pelatihan. Gambar berikut ini merupakan hasil evaluasi benchmark dari kerangka kerja AudioSep dibandingkan dengan sistem baseline termasuk model Peningkatan Ucapan, LASS, dan CLIP. Model AudioSep dengan pengkode teks CLIP dilambangkan sebagai AudioSep-CLIP, sedangkan model AudioSep dengan pengkode teks CLAP dilambangkan sebagai AudioSep-CLAP.

Seperti yang dapat dilihat pada gambar, kerangka kerja AudioSep berkinerja baik ketika menggunakan kapion audio atau label teks sebagai kueri input, dan hasilnya menunjukkan kinerja yang unggul dari kerangka kerja AudioSep dibandingkan dengan model pemisahan suara LASS dan audio-kueri sebelumnya.

Pada Dataset yang Tidak Terlihat

Untuk menilai kinerja AudioSep dalam pengaturan zero-shot, pengembang melanjutkan untuk mengevaluasi kinerja pada dataset yang tidak terlihat, dan kerangka kerja AudioSep memberikan kinerja pemisahan yang mengesankan dalam pengaturan zero-shot, dan hasilnya ditampilkan pada gambar berikut.

Selanjutnya, gambar berikut ini menunjukkan hasil evaluasi model AudioSep melawan Voicebank-Demand peningkatan ucapan.

Evaluasi kerangka kerja AudioSep menunjukkan kinerja yang kuat dan diinginkan pada dataset yang tidak terlihat dalam pengaturan zero-shot, dan dengan demikian membuka jalan untuk melakukan tugas operasi suara pada distribusi data baru.

Visualisasi Hasil Pemisahan

Gambar berikut ini menunjukkan hasil yang diperoleh ketika pengembang menggunakan kerangka kerja AudioSep-CLAP untuk melakukan visualisasi spektrogram untuk sumber audio target sebenarnya, campuran audio, dan sumber audio yang dipisahkan menggunakan kueri teks dari audio yang beragam. Hasilnya memungkinkan pengembang untuk mengamati bahwa pola sumber spektrogram yang dipisahkan dekat dengan sumber sebenarnya yang lebih lanjut mendukung hasil objektif yang diperoleh selama eksperimen.

Perbandingan Kueri Teks

Pengembang mengevaluasi kinerja AudioSep-CLAP dan AudioSep-CLIP pada AudioCaps Mini, dan pengembang menggunakan label peristiwa AudioSet, kapion AudioCaps, dan deskripsi bahasa alami yang dianotasi ulang untuk mengeksplorasi efek dari kueri yang berbeda, dan gambar berikut ini menunjukkan contoh AudioCaps Mini dalam aksi.

Kesimpulan

AudioSep adalah model dasar yang dikembangkan dengan tujuan untuk menjadi kerangka kerja pemisahan suara universal domain terbuka yang menggunakan deskripsi bahasa alami untuk pemisahan audio. Seperti yang diamati selama evaluasi, kerangka kerja AudioSep dapat melakukan pembelajaran zero-shot dan tidak diawasi dengan mulus dengan menggunakan kapion audio atau label teks sebagai kueri. Hasil dan kinerja evaluasi AudioSep menunjukkan kinerja yang kuat yang mengungguli kerangka kerja pemisahan suara saat ini seperti LASS, dan mungkin cukup mampu untuk memecahkan keterbatasan kerangka kerja pemisahan suara yang populer.