Datorită creșterii numărului de abordări naturale și sintetice de sinteză a vorbirii, una dintre realizările majore ale industriei AI în ultimii ani a fost sinteza eficientă a cadrului text-vorbă cu aplicații potențiale în diverse industrii, inclusiv cărți audio, asistenți virtuali, narări cu voce și altele, cu unele moduri de ultimă generație care oferă performanțe și eficiență la nivel uman într-o gamă largă de sarcini legate de vorbire. Cu toate acestea, în ciuda performanței puternice, există încă loc pentru îmbunătățirea sarcinilor datorită vorbirii expresive și diverse, necesității unei cantități mari de date de antrenare pentru optimizarea cadrului text-vorbă zero-shot și robusteței pentru texte OOD sau în afara distribuției, ceea ce determină dezvoltatorii să lucreze la un cadru text-vorbă mai robust și mai accesibil.

În acest articol, vom discuta despre StyleTTS-2, un cadru text-vorbă robust și inovator care se bazează pe fundațiile cadrului StyleTTS și are ca scop să prezinte următorul pas către sisteme text-vorbă de ultimă generație. Cadrul StyleTTS2 modelează stilurile de vorbire ca variabile aleatoare latente și utilizează un model de difuzie probabilistic pentru a sampila aceste stiluri de vorbire sau variabile aleatoare, permițând astfel cadrului StyleTTS2 să sintetizeze vorbire realistă în mod eficient fără a utiliza intrări audio de referință. Datorită abordării sale, cadrul StyleTTS2 oferă rezultate mai bune și arată o eficiență ridicată în comparație cu cadrele text-vorbă actuale de ultimă generație, dar este capabil și să profite de sinteza vorbirii diverse oferită de cadrele de difuzie. Vom discuta despre cadrul StyleTTS2 în detaliu și vom examina arhitectura și metodologia sa, precum și rezultatele obținute de cadru. Deci, să începem.

StyleTTS2 pentru sinteză text-vorbă: O introducere

StyleTTS2 este un model inovator de sinteză text-vorbă care reprezintă următorul pas către construirea unor cadre TTS la nivel uman și se bazează pe StyleTTS, un model generativ de vorbire bazat pe stil. Cadrul StyleTTS2 modelează stilurile de vorbire ca variabile aleatoare latente și utilizează un model de difuzie probabilistic pentru a sampila aceste stiluri de vorbire sau variabile aleatoare, permițând astfel cadrului StyleTTS2 să sintetizeze vorbire realistă în mod eficient fără a utiliza intrări audio de referință. Modelarea stilurilor ca variabile aleatoare latente este ceea ce diferențiază cadrul StyleTTS2 de predecesorul său, cadrul StyleTTS, și are ca scop generarea cel mai potrivit stil de vorbire pentru textul de intrare fără a necesita o intrare audio de referință și este capabil să atingă difuzii latente eficiente, beneficiind de capacitățile de sinteză a vorbirii diverse oferite de modelele de difuzie. În plus, cadrul StyleTTS2 utilizează și un model de limbă vorbită preantrenat mare, precum cadrul WavLM, ca discriminator, și îl combinează cu o abordare nouă de modelare a duratei diferențiale pentru a antrena cadrul de la capăt la capăt, generând în final vorbire cu o naturalitate îmbunătățită. Datorită abordării sale, cadrul StyleTTS2 depășește cadrele actuale de ultimă generație pentru sarcinile de generare a vorbirii și este unul dintre cele mai eficiente cadre pentru preantrenarea modelelor de vorbire la scară largă în setări zero-shot pentru sarcinile de adaptare a vorbirii.

În continuare, pentru a oferi sinteză text-vorbă la nivel uman, cadrul StyleTTs2 incorporează învățămintele din lucrările existente, inclusiv modelele de difuzie pentru sinteza vorbirii și modelele de limbă vorbită mari. Modelele de difuzie sunt utilizate de obicei pentru sarcinile de sinteză a vorbirii datorită capacităților lor de control fin al vorbirii și capacităților de eșantionare a vorbirii diverse. Cu toate acestea, modelele de difuzie nu sunt la fel de eficiente ca cadrele bazate pe GAN non-iterative și un motiv major pentru aceasta este necesitatea de a sampila reprezentări latente, forme de undă și spectrograme mel-iterativ până la durata țintă a vorbirii.

Pe de altă parte, lucrările recente din jurul modelelor de limbă vorbită mari au indicat capacitatea lor de a îmbunătăți calitatea sarcinilor de generare a vorbirii și de a se adapta bine la vorbitor. Modelele de limbă vorbită mari convertesc de obicei intrările de text în reprezentări cuantificate sau continue derivate din cadrele de limbă vorbită preantrenate pentru sarcinile de reconstruire a vorbirii. Cu toate acestea, caracteristicile acestor modele de limbă vorbită nu sunt optimizate direct pentru sinteza vorbirii. În contrast, cadrul StyleTTS2 utilizează cunoștințele dobândite de modelele de limbă vorbită mari folosind antrenamentul adversarial pentru a sintetiza caracteristicile modelelor de limbă vorbită fără a utiliza hărți de spațiu latent și, prin urmare, învățând direct un spațiu latent optimizat pentru sinteza vorbirii.

StyleTTS2: Arhitectură și metodologie

La nivel de bază, StyleTTS2 se bazează pe predecesorul său, cadrul StyleTTS, care este un cadru text-vorbă non-autoregresiv care utilizează un codator de stil pentru a deriva un vector de stil din audio-ul de referință, permițând astfel generarea vorbirii naturale și expresive. Vectorul de stil utilizat în cadrul StyleTTS este încorporat direct în codator, durată și predictor folosind AdaIN sau normalizarea instanțială adaptivă, permițând astfel modelului StyleTTS să genereze ieșiri de vorbire cu prozodie, durată și chiar emoții variate. Cadrul StyleTTS constă în 8 modele în total, împărțite în trei categorii

1. Modele acustice sau sisteme de generare a vorbirii cu un codator de stil, un codator de text și un decodator de vorbire.
2. Un sistem de predicție text-vorbă care utilizează predictorii de prozodie și durată.
3. Un sistem utilitar care include un aliniator de text, un extractor de pitch și un discriminator pentru scopuri de antrenare.

Datorită abordării sale, cadrul StyleTTS oferă performanțe de ultimă generație legate de sinteza vorbirii controlabile și diverse. Cu toate acestea, această performanță are și dezavantaje, cum ar fi degradarea calității eșantioanelor, limitări expresive și dependență de aplicații care împiedică vorbirea în timp real.

Îmbunătățind cadrul StyleTTS, modelul StyleTTS2 rezultă în sarcini de sinteză text-vorbă expresive îmbunătățite, cu o performanță mai bună în afara distribuției și o calitate la nivel uman ridicată. Cadrul StyleTTS2 utilizează un proces de antrenare de la capăt la capăt care optimizează componentele diferite cu antrenament adversarial și sinteză directă a formei de undă. În contrast cu cadrul StyleTTS, cadrul StyleTTS2 modelează stilul de vorbire ca o variabilă latentă și o sampilează prin modele de difuzie, generând astfel eșantioane de vorbire diverse fără a utiliza o intrare audio de referință. Să examinăm în detaliu aceste componente.

Antrenare de la capăt la capăt pentru interferență

În cadrul StyleTTS2, se utilizează o abordare de antrenare de la capăt la capăt pentru a optimiza diverse componente de text-vorbă pentru interferență fără a depinde de componente fixe. Cadrul StyleTTS2 realizează acest lucru prin modificarea decodatorului pentru a genera forma de undă direct din vectorul de stil, curbele de pitch și energie și reprezentările aliniate. Apoi, cadrul elimină ultimul strat de proiecție al decodatorului și îl înlocuiește cu un decodator de formă de undă. Cadrul StyleTTS2 utilizează două codatoare: un decodator bazat pe HifiGAN pentru a genera forma de undă direct și un decodator bazat pe iSTFT pentru a produce fază și magnitudine care sunt convertite în forme de undă pentru interferență și antrenare mai rapide.

Figura de mai sus reprezintă modelele acustice utilizate pentru preantrenare și antrenare comună. Pentru a reduce timpul de antrenare, modulele sunt optimizate mai întâi în faza de preantrenare, urmată de optimizarea tuturor componentelor, cu excepția extractorului de pitch, în timpul antrenării comune. Motivul pentru care antrenarea comună nu optimizează extractorul de pitch este că acesta este utilizat pentru a furniza adevărul pentru curbele de pitch.

Figura de mai sus reprezintă antrenamentul adversarial al modelului de limbă vorbită și interferența cu cadrul WavLM preantrenat, dar nu pre-ajustat. Procesul diferă de cel menționat mai sus, deoarece poate lua intrări de text variate, dar acumulează gradientele pentru a actualiza parametrii în fiecare lot.

Difuzie de stil

Cadrul StyleTTS2 are ca scop modelarea vorbirii ca o distribuție condițională prin intermediul unei variabile latente care urmează distribuția condițională, iar această variabilă se numește stil de vorbire generalizat și reprezintă orice caracteristică din eșantionul de vorbire dincolo de conținutul fonetic, inclusiv stresul lexical, prozodia, viteza de vorbire și chiar tranzițiile formant.

Discriminatoare de model de limbă vorbită

Modelele de limbă vorbită sunt renumite pentru capacitățile lor generale de a codifica informații valoroase despre o gamă largă de aspecte semantice și acustice, iar reprezentările SLM au fost tradițional capabile să imite percepțiile umane pentru a evalua calitatea vorbirii sintetizate generate. Cadrul StyleTTS2 utilizează o abordare de antrenament adversarial pentru a utiliza capacitatea codatorilor SLM de a efectua sarcini generative și angajează un cadru WavLM de 12 straturi ca discriminator. Această abordare permite cadrului să permită antrenamentul pe texte OOD sau în afara distribuției, ceea ce poate ajuta la îmbunătățirea performanței. Mai mult, pentru a preveni problemele de supraantrenare, cadrul sampilează texte OOD și în distribuție cu probabilitate egală.

Modelare a duratei diferențiale

În mod tradițional, un predictor de durată este utilizat în cadrele text-vorbă care produce durate de foneme, dar metodele de upsampling pe care le utilizează predictorii de durată adesea blochează fluxul gradientului în timpul procesului de antrenare de la capăt la capăt, iar cadrul NaturalSpeech utilizează un upsampler bazat pe atenție pentru conversia text-vorbă la nivel uman. Cu toate acestea, cadrul StyleTTS2 găsește această abordare instabilă în timpul antrenamentului adversarial, deoarece StyleTTS2 se antrenează utilizând upsampling diferențial cu antrenament adversarial fără pierderea termenilor suplimentari din cauza neconcordanței lungimii din cauza deviațiilor. Deși utilizarea unei abordări de dynamic time warping moale poate ajuta la mitigarea neconcordanței, utilizarea acesteia nu este doar costisitoare din punct de vedere computațional, ci și stabilitatea sa este o problemă atunci când se lucrează cu obiective adversariale sau sarcini de reconstruire a mel-ului. Prin urmare, pentru a atinge performanțe la nivel uman cu antrenament adversarial și a stabiliza procesul de antrenare, cadrul StyleTTC2 utilizează o abordare de upsampling non-parametric.

Pentru a întâlni această limitare, cadrul StyleTTC2 propune utilizarea unei noi abordări de upsampling non-parametric fără antrenament suplimentar și capabilă să țină cont de lungimile variabile ale aliniamentelor. Pentru fiecare fonem, cadrul StyleTTC2 modelează aliniamentul ca o variabilă aleatoare și indică indexul cadrelor de vorbire cu care fonemul se aliniază.

Antrenarea și evaluarea modelului

Cadrul StyleTTC2 este antrenat și experimentat pe trei seturi de date: VCTK, LibriTTS și LJSpeech. Componenta cu un singur vorbitor a cadrului StyleTTS2 este antrenată utilizând setul de date LJSpeech, care conține aproximativ 13.000 de eșantioane audio, împărțite în 12.500 de eșantioane de antrenare, 100 de eșantioane de validare și aproximativ 500 de eșantioane de testare, cu timpul total de rulare de aproximativ 24 de ore. Componenta cu mai mulți vorbitori a cadrului este antrenată pe setul de date VCTK, care conține peste 44.000 de clipuri audio cu peste 100 de vorbitori nativi cu accente diferite și este împărțit în 43.500 de eșantioane de antrenare, 100 de eșantioane de validare și aproximativ 500 de eșantioane de testare. În final, pentru a dota cadrul cu capacități de adaptare zero-shot, cadrul este antrenat pe setul de date combinat LibriTTS, care conține clipuri audio care totalizează aproximativ 250 de ore de audio cu peste 1.150 de vorbitori individuali. Pentru a evalua performanța sa, modelul utilizează două metrice: MOS-N sau Scorul mediu de opinie al naturalității și MOS-S sau Scorul mediu de opinie al similarității.MOS-N sau Scorul mediu de opinie al naturalității, și MOS-S sau Scorul mediu de opinie al similarității.

Rezultate

Abordarea și metodologia utilizate în cadrul StyleTTS2 sunt demonstrate în performanța sa, deoarece modelul depășește mai multe cadre TTS de ultimă generație, în special pe setul de date NaturalSpeech, și stabilește un nou standard pentru setul de date. Mai mult, cadrul StyleTTS2 depășește cadrul VITS de ultimă generație pe setul de date VCTK, iar rezultatele sunt demonstrate în figura de mai jos.

Modelul StyleTTS2 depășește, de asemenea, modelele anterioare pe setul de date LJSpeech și nu prezintă niciun grad de degradare a calității pe texte OOD sau în afara distribuției, așa cum au făcut cadrele anterioare pe aceleași metrice. Mai mult, în setarea zero-shot, modelul StyleTTC2 depășește cadrul Vall-E existent în ceea ce privește naturalitatea, deși rămâne în urmă în ceea ce privește similaritatea. Cu toate acestea, este important de remarcat că cadrul StyleTTS2 este capabil să atingă performanțe competitive, în ciuda faptului că este antrenat doar pe 245 de ore de eșantioane audio, comparativ cu peste 60.000 de ore de antrenament pentru cadrul Vall-E, demonstrând astfel că StyleTTC2 este o alternativă eficientă din punct de vedere al datelor pentru metodele de preantrenare existente, cum ar fi cele utilizate în cadrul Vall-E.

În continuare, datorită lipsei de date audio etichetate cu emoții, cadrul StyleTTC2 utilizează modelul GPT-4 pentru a genera peste 500 de instanțe în diferite emoții pentru vizualizarea vectorilor de stil pe care cadrul StyleTTC2 îi creează prin procesul de difuzie.

În prima figură, stilurile emoționale în răspuns la sentimentele textului de intrare sunt ilustrate de vectorii de stil din modelul LJSpeech și demonstrează capacitatea cadrului StyleTTC2 de a sintetiza vorbire expresivă cu emoții variate. A doua figură prezintă cluster distincte care se formează pentru fiecare dintre cei cinci vorbitori individuali, demonstrând o gamă largă de diversitate provenită dintr-un singur fișier audio. Figura finală demonstrează clusterul lax al emoțiilor de la vorbitorul 1 și arată că, în ciuda unor suprapuneri, clusterul emoțiilor este proeminent, indicând posibilitatea de a manipula tonul emoțional al unui vorbitor, indiferent de eșantionul audio de referință și de tonul său de intrare. În ciuda utilizării unei abordări bazate pe difuzie, cadrul StyleTTS2 reușește să depășească cadrele existente de ultimă generație, inclusiv VITS, ProDiff și FastDiff.

Gânduri finale

În acest articol, am discutat despre StyleTTS2, un cadru text-vorbă nou, robust și inovator care se bazează pe fundațiile cadrului StyleTTS și are ca scop să prezinte următorul pas către sisteme text-vorbă de ultimă generație. Cadrul StyleTTS2 modelează stilurile de vorbire ca variabile aleatoare latente și utilizează un model de difuzie probabilistic pentru a sampila aceste stiluri de vorbire sau variabile aleatoare, permițând astfel cadrului StyleTTS2 să sintetizeze vorbire realistă în mod eficient fără a utiliza intrări audio de referință. Cadrul StyleTTS2 utilizează difuzia de stil și discriminatoarele SLM pentru a atinge performanțe la nivel uman în sarcinile de text-vorbă și reușește să depășească cadrele existente de ultimă generație pe o gamă largă de sarcini de vorbire.