Berkat peningkatan dalam pendekatan sintesis ucapan alami dan sintetis, salah satu prestasi terbesar yang telah dicapai oleh industri AI dalam beberapa tahun terakhir adalah mensintesis kerangka kerja teks-ke-ucapan yang efektif dengan potensi aplikasi di berbagai industri, termasuk buku audio, asisten virtual, narasi suara, dan lain-lain, dengan beberapa mode state-of-the-art yang menghasilkan kinerja dan efisiensi tingkat manusia di berbagai tugas terkait ucapan. Namun, meskipun kinerja yang kuat, masih ada ruang untuk perbaikan dalam tugas-tugas tersebut berkat ucapan yang ekspresif dan beragam, kebutuhan akan sejumlah besar data pelatihan untuk mengoptimalkan kerangka kerja teks-ke-ucapan zero-shot, dan ketahanan untuk teks di luar distribusi yang mengarahkan pengembang untuk bekerja pada kerangka kerja teks-ke-ucapan yang lebih robust dan dapat diakses.

Dalam artikel ini, kita akan membahas tentang StyleTTS-2, kerangka kerja teks-ke-ucapan yang robust dan inovatif yang dibangun di atas fondasi kerangka kerja StyleTTS, dan bertujuan untuk mempresentasikan langkah selanjutnya menuju sistem teks-ke-ucapan state-of-the-art. Kerangka kerja StyleTTS2 memodelkan gaya ucapan sebagai variabel acak laten, dan menggunakan model difusi probabilistik untuk menyampling gaya ucapan atau variabel acak tersebut, sehingga memungkinkan kerangka kerja StyleTTS2 untuk mensintesis ucapan yang realistis secara efektif tanpa menggunakan input audio referensi. Berkat pendekatan ini, kerangka kerja StyleTTS2 dapat menghasilkan hasil yang lebih baik dan menunjukkan efisiensi yang tinggi dibandingkan dengan kerangka kerja teks-ke-ucapan state-of-the-art saat ini, tetapi juga dapat memanfaatkan sintesis ucapan yang beragam yang ditawarkan oleh kerangka kerja model difusi. Kita akan membahas kerangka kerja StyleTTS2 lebih lanjut, dan membahas arsitektur dan metodologinya, serta melihat hasil yang dicapai oleh kerangka kerja tersebut. Jadi, mari kita mulai.

StyleTTS2 untuk Sintesis Teks-ke-Ucapan: Pengenalan

StyleTTS2 adalah model sintesis teks-ke-ucapan inovatif yang mengambil langkah selanjutnya menuju pembangunan kerangka kerja teks-ke-ucapan tingkat manusia, dan dibangun di atas StyleTTS, model generatif teks-ke-ucapan berbasis gaya. Kerangka kerja StyleTTS2 memodelkan gaya ucapan sebagai variabel acak laten, dan menggunakan model difusi probabilistik untuk menyampling gaya ucapan atau variabel acak tersebut, sehingga memungkinkan kerangka kerja StyleTTS2 untuk mensintesis ucapan yang realistis secara efektif tanpa menggunakan input audio referensi. Memodelkan gaya sebagai variabel acak laten adalah apa yang membedakan kerangka kerja StyleTTS2 dari pendahulunya, kerangka kerja StyleTTS, dan bertujuan untuk menghasilkan gaya ucapan yang paling sesuai untuk teks input tanpa memerlukan input audio referensi, dan dapat mencapai difusi laten yang efektif sambil memanfaatkan kemampuan sintesis ucapan yang beragam yang ditawarkan oleh model difusi. Selain itu, kerangka kerja StyleTTS2 juga menggunakan model bahasa ucapan besar yang telah dilatih sebelumnya sebagai discriminator, seperti kerangka kerja WavLM, dan menggabungkannya dengan pendekatan modeling durasi diferensial yang novel untuk melatih kerangka kerja secara end-to-end, dan akhirnya menghasilkan ucapan dengan naturalitas yang ditingkatkan. Berkat pendekatan yang diikuti, kerangka kerja StyleTTS2 outperforms kerangka kerja state-of-the-art saat ini untuk tugas-tugas generasi ucapan, dan merupakan salah satu kerangka kerja yang paling efisien untuk pelatihan model ucapan skala besar dalam pengaturan zero-shot untuk tugas-tugas adaptasi pembicara.

Melanjutkan, untuk menghasilkan sintesis teks-ke-ucapan tingkat manusia, kerangka kerja StyleTTs2 menggabungkan pembelajaran dari karya-karya yang ada, termasuk model difusi untuk sintesis ucapan, dan model bahasa ucapan besar. Model difusi biasanya digunakan untuk tugas-tugas sintesis ucapan karena kemampuan mereka untuk mengontrol ucapan dengan halus, dan kemampuan sampling ucapan yang beragam. Namun, model difusi tidak seefisien kerangka kerja berbasis GAN yang non-iteratif, dan alasan utama untuk ini adalah kebutuhan untuk menyampling representasi laten, bentuk gelombang, dan spektrogram mel secara iteratif hingga durasi target ucapan.

Di sisi lain, karya-karya terbaru tentang Model Bahasa Ucapan Besar telah menunjukkan kemampuan mereka untuk meningkatkan kualitas tugas-tugas generasi teks-ke-ucapan, dan beradaptasi dengan baik dengan pembicara. Model Bahasa Ucapan Besar biasanya mengubah input teks menjadi representasi yang dikuantisasi atau kontinu yang berasal dari kerangka kerja bahasa ucapan yang telah dilatih sebelumnya untuk tugas-tugas rekonstruksi ucapan. Namun, fitur-fitur dari Model Bahasa Ucapan ini tidak dioptimalkan secara langsung untuk sintesis ucapan. Sebaliknya, kerangka kerja StyleTTS2 memanfaatkan pengetahuan yang diperoleh dari model SLM besar dengan menggunakan pelatihan adversarial untuk mensintesis fitur-fitur model bahasa ucapan tanpa menggunakan peta ruang laten, dan oleh karena itu, mempelajari ruang laten yang dioptimalkan untuk sintesis ucapan secara langsung.

StyleTTS2: Arsitektur dan Metodologi

Pada intinya, StyleTTS2 dibangun di atas pendahulunya, kerangka kerja StyleTTS, yang merupakan kerangka kerja teks-ke-ucapan non-otoregresif yang menggunakan encoder gaya untuk menghasilkan vektor gaya dari audio referensi, sehingga memungkinkan generasi ucapan yang ekspresif dan alami. Vektor gaya yang digunakan dalam kerangka kerja StyleTTS diintegrasikan langsung ke dalam encoder, durasi, dan prediktor dengan menggunakan Adaptive Instance Normalization, sehingga memungkinkan model StyleTTS untuk menghasilkan output ucapan dengan prosodi, durasi, dan emosi yang berbeda. Kerangka kerja StyleTTS terdiri dari 8 model yang dibagi menjadi tiga kategori

1. Model Akustik atau Sistem Generasi Ucapan dengan encoder gaya, encoder teks, dan decoder ucapan.
2. Sistem Prediksi Teks-ke-Ucapan yang menggunakan prediktor prosodi dan durasi.
3. Sistem Utilitas yang mencakup pengalign teks, ekstraktor pitch, dan discriminator untuk keperluan pelatihan.

Berkat pendekatannya, kerangka kerja StyleTTS menghasilkan kinerja state-of-the-art yang terkait dengan sintesis ucapan yang dapat dikontrol dan beragam. Namun, kinerja ini memiliki kelemahan seperti degradasi kualitas sampel, keterbatasan ekspresif, dan ketergantungan pada aplikasi yang menghambat ucapan dalam waktu nyata.

Meningkatkan kerangka kerja StyleTTS, model StyleTTS2 menghasilkan tugas-tugas teks-ke-ucapan yang ekspresif dengan kinerja yang ditingkatkan, dan kualitas tingkat manusia. Kerangka kerja StyleTTS2 menggunakan proses pelatihan end-to-end yang mengoptimalkan komponen-komponen yang berbeda dengan pelatihan adversarial, dan sintesis gelombang langsung secara bersamaan. Tidak seperti kerangka kerja StyleTTS, kerangka kerja StyleTTS2 memodelkan gaya ucapan sebagai variabel laten, dan menyamplingnya melalui model difusi, sehingga menghasilkan sampel ucapan yang beragam tanpa menggunakan audio referensi. Mari kita lihat komponen-komponen ini lebih lanjut.

Pelatihan End-to-End untuk Interferensi

Dalam kerangka kerja StyleTTS2, pendekatan pelatihan end-to-end digunakan untuk mengoptimalkan komponen-komponen teks-ke-ucapan yang berbeda untuk interferensi tanpa harus bergantung pada komponen yang tetap. Kerangka kerja StyleTTS2 mencapai ini dengan memodifikasi decoder untuk menghasilkan gelombang langsung dari vektor gaya, kurva pitch & energi, dan representasi yang diluruskan. Kerangka kerja kemudian menghapus lapisan proyeksi terakhir decoder, dan menggantinya dengan decoder gelombang. Kerangka kerja StyleTTS2 menggunakan dua encoder: decoder HifiGAN untuk menghasilkan gelombang langsung, dan decoder iSTFT untuk menghasilkan fase & magnitudo yang diubah menjadi gelombang untuk interferensi & pelatihan yang lebih cepat.

Gambar di atas mewakili model akustik yang digunakan untuk pelatihan sebelumnya dan pelatihan bersama. Untuk mengurangi waktu pelatihan, modul-modul tersebut dioptimalkan terlebih dahulu dalam fase pelatihan sebelumnya, diikuti dengan optimasi semua komponen kecuali ekstraktor pitch selama pelatihan bersama. Alasan mengapa pelatihan bersama tidak mengoptimalkan ekstraktor pitch adalah karena digunakan untuk memberikan kebenaran tanah untuk kurva pitch.

Gambar di atas mewakili pelatihan adversarial model bahasa ucapan dan interferensi dengan kerangka kerja WavLM yang telah dilatih sebelumnya tetapi tidak disesuaikan. Proses ini berbeda dari yang disebutkan di atas karena dapat mengambil input teks yang berbeda tetapi mengakumulasikan gradien untuk memperbarui parameter dalam setiap batch.

Difusi Gaya

Kerangka kerja StyleTTS2 bertujuan untuk memodelkan ucapan sebagai distribusi kondisional melalui variabel laten yang mengikuti distribusi kondisional, dan variabel ini disebut gaya ucapan umum, dan mewakili karakteristik apa pun dalam sampel ucapan di luar cakupan konten fonetik, termasuk stres leksikal, prosodi, kecepatan berbicara, dan bahkan transisi forman.

Discriminator Model Bahasa Ucapan

Model Bahasa Ucapan terkenal karena kemampuan umum mereka untuk mengkodekan informasi yang berharga tentang berbagai aspek semantik dan akustik, dan representasi SLM telah secara tradisional dapat meniru persepsi manusia untuk mengevaluasi kualitas ucapan yang dihasilkan. Kerangka kerja StyleTTS2 menggunakan pendekatan pelatihan adversarial untuk memanfaatkan kemampuan encoder SLM untuk melakukan tugas generatif, dan menggunakan kerangka kerja WavLM 12-lapis sebagai discriminator. Pendekatan ini memungkinkan kerangka kerja untuk memungkinkan pelatihan pada teks di luar distribusi yang dapat membantu meningkatkan kinerja. Selain itu, untuk mencegah masalah overfitting, kerangka kerja menyampling teks di luar distribusi dan dalam distribusi dengan probabilitas yang sama.

Model Durasi Diferensial

Secara tradisional, prediktor durasi digunakan dalam kerangka kerja teks-ke-ucapan yang menghasilkan durasi fonem, tetapi metode upsampling yang digunakan oleh prediktor durasi ini sering memblokir aliran gradien selama proses pelatihan end-to-end, dan kerangka kerja NaturalSpeech menggunakan upsampler berbasis perhatian untuk konversi teks-ke-ucapan tingkat manusia. Namun, pendekatan ini tidak stabil selama pelatihan adversarial karena kerangka kerja StyleTTS2 dilatih menggunakan upsampling diferensial dengan pelatihan adversarial tanpa kehilangan istilah tambahan karena perbedaan panjang karena deviasi. Meskipun menggunakan pendekatan dynamic time warping yang lembut dapat membantu dalam mengurangi perbedaan ini, menggunakan pendekatan ini tidak hanya mahal secara komputasi, tetapi juga stabilitasnya merupakan masalah ketika bekerja dengan objek adversarial atau tugas rekonstruksi mel.

Untuk mengatasi keterbatasan ini, kerangka kerja StyleTTC2 mengusulkan untuk menggunakan pendekatan upsampling nonparametrik baru tanpa pelatihan tambahan, dan dapat memperhitungkan panjang yang berbeda dari pengaturan. Untuk setiap fonem, kerangka kerja StyleTTC2 memodelkan pengaturan sebagai variabel acak, dan menunjukkan indeks bingkai ucapan yang fonem tersebut selaras dengan.

Pelatihan dan Evaluasi Model

Kerangka kerja StyleTTC2 dilatih dan dieksperimenkan pada tiga dataset: VCTK, LibriTTS, dan LJSpeech. Komponen single-pembicara dari kerangka kerja StyleTTS2 dilatih menggunakan dataset LJSpeech yang berisi sekitar 13.000+ sampel audio yang dibagi menjadi 12.500 sampel pelatihan, 100 sampel validasi, dan sekitar 500 sampel pengujian, dengan waktu total sekitar 24 jam. Komponen multi-pembicara dari kerangka kerja dilatih pada dataset VCTK yang terdiri dari lebih dari 44.000 klip audio dengan lebih dari 100 pembicara asli dengan aksen yang berbeda, dan dibagi menjadi 43.500 sampel pelatihan, 100 sampel validasi, dan sekitar 500 sampel pengujian. Akhirnya, untuk melengkapi kerangka kerja dengan kemampuan adaptasi zero-shot, kerangka kerja dilatih pada dataset LibriTTS yang terdiri dari klip audio yang berjumlah sekitar 250 jam dengan lebih dari 1.150 pembicara. Untuk mengevaluasi kinerjanya, model menggunakan dua metrik: MOS-N atau Skor Opini Alamiah, dan MOS-S atau Skor Opini Kesamaan.

Hasil

Pendekatan dan metodologi yang digunakan dalam kerangka kerja StyleTTS2 ditampilkan dalam kinerjanya, karena model outperforms beberapa kerangka kerja teks-ke-ucapan state-of-the-art, terutama pada dataset NaturalSpeech, dan sepanjang jalan, menetapkan standar baru untuk dataset tersebut. Selain itu, kerangka kerja StyleTTS2 outperforms kerangka kerja state-of-the-art VITS pada dataset VCTK, dan hasilnya ditampilkan dalam gambar berikut.

Model StyleTTS2 juga outperforms model sebelumnya pada dataset LJSpeech, dan tidak menampilkan degradasi kualitas pada teks di luar distribusi seperti yang ditampilkan oleh kerangka kerja sebelumnya pada metrik yang sama. Selain itu, dalam pengaturan zero-shot, model StyleTTC2 outperforms kerangka kerja Vall-E yang ada dalam kesamaan, meskipun jatuh di belakang dalam hal kesamaan. Namun, perlu diingat bahwa kerangka kerja StyleTTS2 dapat mencapai kinerja yang kompetitif meskipun hanya dilatih pada 245 jam sampel audio ketika dibandingkan dengan lebih dari 60k jam pelatihan untuk kerangka kerja Vall-E, sehingga membuktikan bahwa StyleTTC2 adalah alternatif yang efisien data untuk metode pelatihan besar yang ada.

Melanjutkan, karena kurangnya data audio yang dilabeli emosi, kerangka kerja StyleTTC2 menggunakan model GPT-4 untuk menghasilkan lebih dari 500 contoh di berbagai emosi untuk visualisasi vektor gaya yang dihasilkan oleh kerangka kerja menggunakan proses difusinya.

Pada gambar pertama, gaya emosi dalam respons terhadap sentimen teks input diilustrasikan oleh vektor gaya dari model LJSpeech, dan menunjukkan kemampuan kerangka kerja StyleTTC2 untuk mensintesis ucapan yang ekspresif dengan emosi yang berbeda. Gambar kedua menggambarkan klaster yang berbeda untuk setiap lima pembicara individu, sehingga menunjukkan keragaman yang luas yang berasal dari satu file audio. Gambar terakhir menunjukkan klaster emosi yang longgar dari pembicara 1, dan menunjukkan bahwa, meskipun ada beberapa tumpang tindih, klaster emosi berbasis prominen, sehingga menunjukkan kemungkinan untuk memanipulasi nada emosi pembicara tanpa memperhatikan sampel audio referensi dan nada inputnya. Meskipun menggunakan pendekatan berbasis difusi, kerangka kerja StyleTTS2 dapat outperforms kerangka kerja state-of-the-art yang ada, termasuk VITS, ProDiff, dan FastDiff.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang StyleTTS2, kerangka kerja teks-ke-ucapan yang inovatif dan robust yang dibangun di atas fondasi kerangka kerja StyleTTS, dan bertujuan untuk mempresentasikan langkah selanjutnya menuju sistem teks-ke-ucapan state-of-the-art. Kerangka kerja StyleTTS2 memodelkan gaya ucapan sebagai variabel acak laten, dan menggunakan model difusi probabilistik untuk menyampling gaya ucapan atau variabel acak tersebut, sehingga memungkinkan kerangka kerja StyleTTS2 untuk mensintesis ucapan yang realistis secara efektif tanpa menggunakan input audio referensi. Kerangka kerja StyleTTS2 menggunakan difusi gaya dan discriminator SLM untuk mencapai kinerja tingkat manusia pada tugas-tugas teks-ke-ucapan, dan dapat outperforms kerangka kerja state-of-the-art yang ada pada berbagai tugas ucapan.