Pengembangan dan kemajuan besar dalam kemampuan model bahasa besar telah memainkan peran penting dalam kemajuan kerangka kerja berbasis LLM untuk generasi audio dan tugas sintesis suara, terutama dalam pengaturan zero-shot. Kerangka sintesis suara tradisional telah menyaksikan kemajuan yang signifikan sebagai hasil dari integrasi fitur tambahan seperti codec audio neural untuk audio dan unit suara yang terpisah. Meskipun kerangka sintesis suara dan audio ini menghasilkan hasil yang memuaskan, masih ada ruang untuk perbaikan karena kerangka audio berbasis LLM saat ini memiliki tiga keterbatasan utama

1. Mereka cenderung menghasilkan output audio yang pada akhirnya menyebabkan kekurangan kekuatan dan kecepatan interferensi yang lambat dan menghasilkan kesalahan pengucapan, melewatkan, atau mengulangi.
2. Mereka cenderung bergantung pada unit suara yang terpisah atau codec audio neural yang sudah dilatih sebelumnya.
3. Mereka sering memerlukan sejumlah besar data pelatihan.

Untuk mengatasi masalah yang disebutkan di atas, dan meningkatkan kemampuan model sintesis suara dan audio berbasis LLM, pengembang telah menciptakan HierSpeech++, sebuah sintetisator suara zero-shot yang kuat dan efisien untuk konversi suara dan teks ke suara atau tugas TTS. Kerangka HierSpeech++ membangun pada pembelajaran dari kerangka sintesis suara hierarkis yang tidak hanya meningkatkan kekuatan, tetapi juga menambah ekspresivitas output suara sintetis sambil juga meningkatkan kesamaan dan kemiripan suara buatan dengan suara asli bahkan dalam pengaturan zero-shot.

Dalam artikel ini, kita akan membahas kerangka HierSpeech++ secara detail, dan melihat arsitektur model, kerja, dan hasilnya dibandingkan dengan model generasi teks dan audio yang ada. Jadi mari kita mulai.

HierSpeech++ : Inferensi Variasional Hierarkis untuk Sintesis Suara Zero-Shot

HierSpeech++ adalah kerangka sintesis suara zero-shot yang cepat, kuat, dan efisien yang menggunakan pipa sintesis suara hierarkis, dan dengan mengadopsi kerangka sintesis suara ujung-ke-ujung ini, model HierSpeech++ dapat memaksimalkan potensi generasi waveform berkualitas tinggi untuk menghubungkan kesenjangan antara representasi semantik dan akustik dengan mengadopsi representasi suara mandiri sebagai representasi suara semantik, dan dengan demikian mencoba memecahkan keterbatasan gaya adaptasi saat ini. Kerangka sintesis suara ujung-ke-ujung pertama kali diperkenalkan oleh model VITS, dan mengadopsi VAE atau Variational Auto-Encoder yang ditingkatkan dengan pelatihan adversarial dan aliran normalisasi.

Kualitas rekonstruksi audio dari kerangka ini dapat ditingkatkan lebih lanjut dengan menggunakan Variational AutoEncoder kondisional hierarkis seperti yang digunakan dalam kerangka HierSpeech. Meskipun potensinya, model dengan pipa pelatihan ujung-ke-ujung memiliki keterbatasan tertentu, terutama dalam pengaturan zero-shot karena meskipun mereka dapat mensintesis sampel suara dengan kualitas audio tinggi, kesamaan suara dalam tugas kloning suara zero-shot masih dipenuhi dengan kompleksitas komputasi yang tinggi. Di sisi lain, model sintesis suara berbasis difusi berperforma baik dalam hal adaptasi suara tetapi mereka masih jauh dari sempurna karena mereka menggunakan proses generasi interaktif yang memperlambat kecepatan inferensi, mereka rentan terhadap data bising, dan sebagai hasil dari ketidakcocokan antara pelatihan dan inferensi proses generasi dua tahap antara Mel-spectrogram dan waveform yang dihasilkan, kualitas audio tidak memuaskan.

Untuk mengatasi masalah yang dihadapi oleh pendahulunya, model HierSpeech++ menggunakan sintetisator suara hierarkis, super-resolusi suara, dan komponen teks-ke-vektor, dan memperkenalkan sintetisator suara hierarkis yang ditingkatkan yang dibangun di atas Variational AutoEncoder kondisional hierarkis. Dalam upaya untuk meningkatkan kualitas audio di luar kualitas perseptual, kerangka HierSpeech++ mengadopsi dual-audio untuk meningkatkan posterior akustik, dan meningkatkan generalisasi keluar dari distribusi dengan menggunakan generator adaptif hierarkis yang dilengkapi dengan generasi kondisional dan tidak kondisional.

Secara keseluruhan, model HierSpeech++ adalah kerangka sintesis suara hierarkis yang sepenuhnya paralel, baru, dan kuat yang ditujukan untuk mensintesis sampel suara dalam pengaturan zero-shot, dan mencoba membuat kontribusi berikut

• Menggunakan kerangka sintesis suara hierarkis untuk mengontrol dan mentransfer gaya suara dan prosodi.
• Mengaktifkan skalabilitas data dan sintesis suara resolusi tinggi dengan mengupsample waveform audio dari 16 ke 48 kHz.
• Mencapai kemampuan tingkat manusia di seluruh konversi suara zero-shot dan tugas teks-ke-suara.

HierSpeech++ : Komponen Model dan Arsitektur

Seperti yang dibahas, HierSpeech++ adalah model sintesis suara zero-shot yang mencoba mencapai akurasi tingkat manusia dalam hal kesamaan suara dan kesamaan suara.

Model HierSpeech++ terdiri dari komponen yang berbeda, termasuk sintetisator suara hierarkis, super-resolusi suara, dan teks-ke-vektor ke TTV yang bekerja bersama untuk memfasilitasi pelatihan setiap model yang dapat menggunakan sejumlah besar data suara resolusi rendah untuk kloning suara. Mari kita pecah kerangka ini dan membahas setiap komponen.

Representasi Suara

Karena pita frekuensi manusia berada di bawah 4 kHz, untuk sintesis suara, kerangka HierSpeech++ mensampling audio pada 16 kHz. Selain itu, untuk merekonstruksi sinyal suara, sangat penting untuk menggunakan setidaknya dua kali komponen frekuensi suara tertinggi serta mensampling audio. Untuk mencapai kualitas perseptual yang ditingkatkan, kerangka HierSpeech++ menggunakan komponen super-resolusi suara atau SpeechSR untuk mengupsample sampel audio dari 16 ke 48 kHz, dan menggunakan representasi resolusi rendah untuk representasi semantik dan akustik.

Untuk representasi akustik, kerangka teks-ke-suara tradisional menggunakan Mel-spectrogram sebagai fitur akustik antara yang kemudian diubah dari waveform dengan bantuan STFT atau Short-Time Fourier Transform. Namun, perlu diingat bahwa karena fitur akustik adalah representasi kaya yang mencakup berbagai atribut, termasuk konten dan pengucapan, informasi suara, dan lain-lain, membuatnya sulit bagi kerangka untuk menginferensi representasi ini, situasi yang sering menghasilkan kesalahan pengucapan, kekurangan kesamaan, atau penghalusan suara.

Melanjutkan, untuk mengekstrak representasi semantik kontinu dari waveform, kerangka HierSpeech++ menggunakan kerangka Wav2Vec, bukan pendekatan representasi suara mandiri yang populer untuk representasi semantik. Meskipun pendekatan ini membuat alternatif yang baik untuk model monolingual yang kaya, itu mempengaruhi kemampuan kloning suara zero-shot model dalam hal kekuatan dan ekspresivitas, terutama pada tugas sintesis suara multibahasa.

Sintetisator Suara Hierarkis

Komponen Sintetisator Suara Hierarkis adalah batu fondasi untuk kerangka HierSpeech++ karena memungkinkan pelatihan modul tanpa menggunakan label seperti transkrip teks atau ID suara, dan hanya bergantung pada data suara. Untuk meningkatkan kapasitas akustik, model sintesis suara state-of-the-art sebelumnya menggantikan Mel-spectrogram dengan spektrum linier, namun pendekatan ini meminimalkan skor divergensi KL dalam hal periodisitas pitch, PESQ, skor suara dan tidak suara, dan bahkan jarak Mel-spectrogram. Sintetisator Suara Hierarkis menggunakan Enkodeur Akustik Dual-audio untuk menyelesaikan tantangan yang ditawarkan oleh penggunaan spektrum linier yang dirancang untuk menangkap representasi akustik yang lebih kaya dan komprehensif.

Selain itu, untuk menangani representasi semantik yang terkait dengan suara dan tidak terkait dengan suara, kerangka HierSpeech++ menggunakan representasi suara mandiri multi-jalur di mana setiap representasi individual digunakan untuk adaptasi gaya hierarkis dengan representasi semantik yang diekstrak untuk mendapatkan informasi linguistik dari lapisan tengah MMS. Kerangka juga menggunakan frekuensi fundamental untuk meningkatkan disentanglement suara yang memungkinkan mengontrol kontur pitch secara manual. Kerangka juga menggunakan representasi linguistik sebagai informasi kondisional untuk menghasilkan waveform audio secara hierarkis, dan menggunakan representasi linguistik yang ditingkatkan dari representasi mandiri.

Teks-ke-Vektor

Untuk sintesis teks-ke-suara, kerangka HierSpeech++ menggunakan model teks-ke-vektor atau TTV yang menghasilkan frekuensi fundamental dan representasi semantik dari urutan teks, dan menggunakan pencarian penyelarasan monotonik yang dikombinasikan dengan Variational Autoencoder untuk menyelaraskan teks dan suara secara internal. Kerangka HierSpeech++ kemudian menggantikan spektrum linier dengan representasi linier mandiri, dan merekonstruksi representasi yang sama untuk berfungsi sebagai output untuk TTV.

Selain itu, kerangka HierSpeech++ memprediksi frekuensi fundamental dengan resolusi yang empat kali lebih besar dibandingkan dengan representasi suara mandiri, dan menggunakan representasi teks kondisional sebagai informasi sebelumnya. Sebagai hasil dari informasi semantik representasi suara mandiri, kerangka dapat mentransfer gaya prosodi dalam model teks-ke-vektor, dan memberikan representasi laten ke enkoder fonem untuk meningkatkan kemampuan linguistik representasi.

SpeechSR atau Super Resolusi Suara

Kerangka HierSpeech++ dilatih pada dataset resolusi rendah yang relatif dalam hal efisiensi data dan ketersediaan, dan mengupsample waveform suara resolusi rendah ke waveform suara resolusi tinggi dari 16 ke 48 kHz. Kerangka juga menggantikan konvolusi transpos dengan upsampler tetangga terdekat yang sebelumnya diketahui dapat mengurangi artefak sebagai hasil dari konvolusi transpos.

Arsitektur

Enkodeur konten model teks-ke-vektor terdiri dari 16 lapisan WaveNet non-kasual dengan ukuran kernel 5 dan ukuran tersembunyi 256, sedangkan dekoder konten terdiri dari 8 lapisan WaveNet non-kasual dengan ukuran kernel 5 dan ukuran tersembunyi 512. Komponen enkoder teks terdiri dari tiga jaringan Transformer kondisional prosodi dan tiga jaringan Transformer tidak kondisional dengan ukuran kernel 9, ukuran filter 1024, dan ukuran tersembunyi 256 dengan enkoder teks memiliki tingkat dropout 0,2. Untuk mengkodekan informasi tetangga dan meningkatkan adaptasi gaya prosodi, kerangka mengadopsi CNN dengan ukuran kernel 5 dalam blok Transformer.

Gambar di atas menunjukkan pipa inferensi kerangka HierSpeech++ yang dimulai dengan mengekstrak representasi semantik dari audio pada frekuensi 16 kHz, dan pada frekuensi fundamental dengan menggunakan algoritma YAPPT. Sebelum frekuensi fundamental dapat diberikan ke Sintetisator Suara Hierarkis, itu dinormalisasi menggunakan deviasi standar dan mean deviasi audio sumber, dan frekuensi fundamental yang dinormalisasi kemudian dinormalisasi kembali dengan menggunakan deviasi standar dan mean deviasi audio target. Untuk ekstraksi teks-ke-suara, kerangka HierSpeech++ mengekstrak representasi teks bukan representasi suara, dan menggunakan model teks-ke-vektor untuk menghasilkan representasi semantik dari prompt prosodi.

Eksperimen dan Hasil

Kerangka menggunakan dataset LibriTTS yang tersedia secara publik untuk melatih komponen sintetisator suara hierarkis dengan langkah pertama adalah melatih model dengan subset trainclean dari dataset, dan menggunakan data yang tersisa untuk memungkinkan transfer gaya suara yang ditingkatkan. Selain itu, untuk meningkatkan keanekaragaman dan kekuatan, kerangka mengupscale dataset ke 1 kHz seperti yang ditunjukkan pada gambar berikut.

Rekonstruksi, Tugas Resintesis, dan Konversi Suara

Untuk mengevaluasi kinerja kerangka HierSpeech++ pada tugas rekonstruksi dan resintesis, pengembang melakukan tujuh metrik objektif, dan hasilnya ditunjukkan pada gambar berikut untuk tugas rekonstruksi dan resintesis.

Untuk tugas konversi suara, kerangka menggunakan dua metrik subjektif untuk evaluasi: kesamaan suara MOS atau sMOS dan skor opini alami mean atau nMOS dengan tiga metrik objektif alami, dan dua metrik kesamaan objektif.

Melanjutkan, tujuan utama kerangka HierSpeech++ adalah untuk memungkinkan sintesis suara zero-shot, dan untuk mengevaluasi kinerjanya dalam zero-shot, itu dibandingkan dengan model dasar lain seperti AutoVC, VoiceMixer, model berbasis difusi, dan banyak lagi dengan hasilnya ditunjukkan pada gambar berikut.

Gambar berikut menunjukkan hasil teks-ke-suara zero-shot dengan prompt bising, dan sangat bising.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas model HierSpeech++, sebuah pendekatan baru untuk memungkinkan sintesis suara yang kuat dan efektif dalam pengaturan zero-shot, dan mengatasi keterbatasan yang dihadapi oleh kerangka sintesis suara saat ini, termasuk ketergantungan mereka pada sejumlah besar data pelatihan, ketergantungan pada unit suara yang terpisah atau codec audio neural yang sudah dilatih sebelumnya, dan kecenderungan mereka untuk menghasilkan output audio yang pada akhirnya menyebabkan kekurangan kekuatan dan kecepatan interferensi yang lambat dan menghasilkan kesalahan pengucapan, melewatkan, atau mengulangi. Model HierSpeech++ adalah kerangka sintesis suara hierarkis yang sepenuhnya paralel, baru, dan kuat yang ditujukan untuk mensintesis sampel suara dalam pengaturan zero-shot, dan mencoba membuat kontribusi berikut

• Menggunakan kerangka sintesis suara hierarkis untuk mengontrol dan mentransfer gaya suara dan prosodi.
• Mengaktifkan skalabilitas data dan sintesis suara resolusi tinggi dengan mengupsample waveform audio dari 16 ke 48 kHz.
• Mencapai kemampuan tingkat manusia di seluruh konversi suara zero-shot dan tugas teks-ke-suara.