Λόγω της αύξησης των φυσικών και συνθετικών προσεγγίσεων σύνθεσης ομιλίας, μια από τις σημαντικότερες επιτυχίες που έχει επιτύχει η βιομηχανία του AI τα τελευταία χρόνια είναι η αποτελεσματική σύνθεση πλαισίων κειμένου-σε-ομιλία με πιθανές εφαρμογές σε διάφορους τομείς, συμπεριλαμβανομένων των ηχητικών βιβλίων, των εικονικών βοηθών, των αφηγήσεων και πολλών άλλων, με ορισμένα μοντέλα να παρέχουν ανθρώπινου επιπέδου απόδοση και αποτελεσματικότητα σε μια ευρεία γκάμα ομιλιακών εργασιών. Ωστόσο, παρά την ισχυρή απόδοσή τους, ακόμη υπάρχει χώρος για βελτίωση για εργασίες λόγω εκφραστικής και ποικίλης ομιλίας, απαιτήσεις για μεγάλο όγκο δεδομένων εκπαίδευσης για την βελτιστοποίηση των πλαισίων κειμένου-σε-ομιλία zero-shot, και ανθεκτικότητα για OOD ή Εκτός-Κατανομής κειμένων, οδηγώντας τους προγραμματιστές να εργαστούν σε ένα πιο ανθεκτικό και προσιτό πλαίσιο κειμένου-σε-ομιλία.

Σε αυτό το άρθρο, θα μιλήσουμε για το StyleTTS-2, ένα ανθεκτικό και καινοτόμο πλαίσιο κειμένου-σε-ομιλία που είναι χτισμένο στις βάσεις του πλαισίου StyleTTS, και στοχεύει να παρουσιάσει το επόμενο βήμα προς τα σύγχρονα κορυφαία συστήματα κειμένου-σε-ομιλία. Το πλαίσιο StyleTTS2 μοντελοποιεί τα στυλ ομιλίας ως λανθάνουσες τυχαίες μεταβλητές, και χρησιμοποιεί ένα πιθανολογικό μοντέλο διάχυσης για να δειγματίσει αυτά τα στυλ ομιλίας ή τυχαίες μεταβλητές, επιτρέποντας στο πλαίσιο StyleTTS2 να συνθέσει ρεαλιστική ομιλία αποτελεσματικά χωρίς να χρησιμοποιεί αναφορικές εισόδους ήχου. Λόγω της προσέγγισης, το πλαίσιο StyleTTS2 είναι σε θέση να παρέχει καλύτερα αποτελέσματα και να δείξει υψηλή αποτελεσματικότητα σε σύγκριση με τα τρέχοντα σύγχρονα κορυφαία πλαίσια κειμένου-σε-ομιλία, αλλά είναι επίσης σε θέση να επωφεληθεί από την ποικιλία σύνθεσης ομιλίας που προσφέρεται από τα μοντέλα διάχυσης. Θα συζητήσουμε το πλαίσιο StyleTTS2 σε μεγαλύτερη λεπτομέρεια, και θα εξετάσουμε την αρχιτεκτονική και τη μεθοδολογία του, καθώς και τα αποτελέσματα που έχει επιτύχει το πλαίσιο. Έτσι, ας ξεκινήσουμε.

StyleTTS2 για Σύνθεση Ομιλίας: Μια εισαγωγή

Το StyleTTS2 είναι ένα καινοτόμο μοντέλο σύνθεσης κειμένου-σε-ομιλία που κάνει το επόμενο βήμα προς την κατασκευή ανθρώπινου επιπέδου πλαισίων κειμένου-σε-ομιλία, και είναι χτισμένο πάνω στο StyleTTS, ένα μοντέλο παραγωγής ομιλίας βασισμένο στο στυλ. Το πλαίσιο StyleTTS2 μοντελοποιεί τα στυλ ομιλίας ως λανθάνουσες τυχαίες μεταβλητές, και χρησιμοποιεί ένα πιθανολογικό μοντέλο διάχυσης για να δειγματίσει αυτά τα στυλ ομιλίας ή τυχαίες μεταβλητές, επιτρέποντας στο πλαίσιο StyleTTS2 να συνθέσει ρεαλιστική ομιλία αποτελεσματικά χωρίς να χρησιμοποιεί αναφορικές εισόδους ήχου. Η μοντελοποίηση των στυλ ως τυχαίων μεταβλητών είναι αυτό που διακρίνει το πλαίσιο StyleTTS2 από τον προκάτοχό του, το πλαίσιο StyleTTS, και στοχεύει να γεννήσει το πιο κατάλληλο στυλ ομιλίας για το εισαγόμενο κείμενο χωρίς να χρειάζεται αναφορική είσοδο ήχου, και είναι σε θέση να επιτύχει αποτελεσματική διάχυση στον λανθάνοντα χώρο ενώ επωφελείται από τις ποικίλες ικανότητες σύνθεσης ομιλίας που προσφέρονται από τα μοντέλα διάχυσης. Επιπλέον, το πλαίσιο StyleTTS2 χρησιμοποιεί επίσης ένα προ-εκπαιδευμένο μεγάλο SLM ή Γλωσσικό Μοντέλο Ομιλίας ως διακριτές όπως το WavLM, και το συνδυάζει με μια νέα διαφορίσιμη μέθοδο μοντελοποίησης διάρκειας για να εκπαιδεύσει το πλαίσιο από άκρη σε άκρη, και τελικά να παράγει ομιλία με αυξημένη φυσικότητα. Λόγω της προσέγγισης που ακολουθεί, το πλαίσιο StyleTTS2 υπερέχει των τρέχοντων σύγχρονα κορυφαία πλαισίων για εργασίες σύνθεσης ομιλίας, και είναι ένα από τα πιο αποτελεσματικά πλαίσια για την προ-εκπαίδευση μεγάλων μοντέλων ομιλίας σε zero-shot ρύθμιση για εργασίες προσαρμογής ομιλητή.

Συνεχίζοντας, για να παρέχει ανθρώπινου επιπέδου σύνθεση κειμένου-σε-ομιλία, το πλαίσιο StyleTTs2 ενσωματώνει τα μαθήματα από τις υπάρχουσες εργασίες, συμπεριλαμβανομένων των μοντέλων διάχυσης για σύνθεση ομιλίας, και μεγάλων γλωσσικών μοντέλων ομιλίας. Τα μοντέλα διάχυσης χρησιμοποιούνται συνήθως για εργασίες σύνθεσης ομιλίας λόγω των ικανοτήτων τους για λεπτομερή έλεγχο ομιλίας, και ποικίλης δειγματοληψίας ομιλίας. Ωστόσο, τα μοντέλα διάχυσης δεν είναι τόσο αποτελεσματικά όσο τα GAN-βασισμένα μη-επαναληπτικά πλαίσια, και ένας κύριος λόγος για αυτό είναι η απαίτηση για δειγματοληψία λανθανουσών αναπαραστάσεων και κυματομορφών, και μελ-φασμάτων επαναληπτικά μέχρι την επιθυμητή διάρκεια της ομιλίας.

Από την άλλη πλευρά, πρόσφατες εργασίες γύρω από τα Μεγάλα Γλωσσικά Μοντέλα Ομιλίας έχουν δείξει την ικανότητά τους να βελτιώσουν την ποιότητα της σύνθεσης κειμένου-σε-ομιλία, και να προσαρμοστούν καλά στον ομιλητή. Τα Μεγάλα Γλωσσικά Μοντέλα Ομιλίας συνήθως μετατρέπουν το εισαγόμενο κείμενο είτε σε κβαντισμένες είτε σε συνεχείς αναπαραστάσεις που προέρχονται από προ-εκπαιδευμένα γλωσσικά μοντέλα ομιλίας για εργασίες ανασυγκρότησης ομιλίας. Ωστόσο, τα χαρακτηριστικά των Γλωσσικών Μοντέλων Ομιλίας δεν είναι βελτιστοποιημένα για σύνθεση ομιλίας απευθείας. Αντίθετα, το πλαίσιο StyleTTS2 επωφελείται από τις γνώσεις που έχουν αποκτηθεί από τα μεγάλα SLM πλαίσια χρησιμοποιώντας ανταγωνιστική εκπαίδευση για να συνθέσει χαρακτηριστικά γλωσσικών μοντέλων ομιλίας χωρίς να χρησιμοποιεί αντιστοιχίσεις λανθάνοντος χώρου, και έτσι, μαθαίνοντας έναν λανθάνοντα χώρο που είναι βελτιστοποιημένος για σύνθεση ομιλίας απευθείας.

StyleTTS2: Αρχιτεκτονική και Μεθοδολογία

Στην καρδιά του, το StyleTTS2 είναι χτισμένο πάνω στο προκάτοχό του, το πλαίσιο StyleTTS, το οποίο είναι ένα μη αυτοπαλινδρομικό πλαίσιο κειμένου-σε-ομιλία που χρησιμοποιεί έναν κωδικοποιητή στυλ για να εξαγάγει ένα διάνυσμα στυλ από το αναφορικό ήχο, επιτρέποντας την εκφραστική και φυσική σύνθεση ομιλίας. Το διάνυσμα στυλ που χρησιμοποιείται στο πλαίσιο StyleTTS ενσωματώνεται απευθείας στον κωδικοποιητή, τη διάρκεια, και τους προβλέπτες χρησιμοποιώντας την AdaIN ή την Προσαρμοστική Κανονικοποίηση Ανά Δείγμα, επιτρέποντας στο πλαίσιο StyleTTS να παράγει εξόδους ομιλίας με ποικίλες προσωδίες, διάρκεια, και ακόμη συναισθήματα. Το πλαίσιο StyleTTS αποτελείται από 8 μοντέλα συνολικά που διαιρούνται σε τρεις κατηγορίες

1. Ακουστικά Μοντέλα ή Σύστημα Γεννήτριας Ομιλίας με έναν κωδικοποιητή στυλ, έναν κωδικοποιητή κειμένου, και έναν αποκωδικοποιητή ομιλίας.
2. Ένα Σύστημα Πρόβλεψης Κειμένου-Σε-Ομιλία που χρησιμοποιεί προβλέπτες προσωδίας και διάρκειας.
3. Ένα Σύστημα Εργαλείων που περιλαμβάνει έναν ευθυγραμμιστή κειμένου, έναν εξαγωγέα τονικού ύψους, και έναν διακριτή για εκπαίδευση.

Λόγω της προσέγγισης, το πλαίσιο StyleTTS παρέχει σύγχρονα κορυφαία απόδοση σχετικά με την ελεγχόμενη και ποικίλη σύνθεση ομιλίας. Ωστόσο, αυτή η απόδοση έχει τις δικές της μειονεκτήματα όπως η υποβάθμιση της ποιότητας του δείγματος, οι εκφραστικές περιορισμοί, και οι περιορισμοί που εμποδίζουν τις εφαρμογές ομιλίας σε πραγματικό χρόνο.

Βελτιώνοντας το πλαίσιο StyleTTS, το πλαίσιο StyleTTS2 οδηγεί σε βελτιωμένη εκφραστική μετατροπή κειμένου σε ομιλία με βελτιωμένη απόδοση εκτός κατανομής, και υψηλή ανθρώπινου επιπέδου ποιότητα. Το πλαίσιο StyleTTS2 χρησιμοποιεί μια διαδικασία εκπαίδευσης από άκρη σε άκρη που βελτιστοποιεί τα διάφορα συστατικά με ανταγωνιστική εκπαίδευση, και απευθείας σύνθεση κυμάτων. Αντίθετα με το πλαίσιο StyleTTS, το πλαίσιο StyleTTS2 μοντελοποιεί το στυλ ομιλίας ως λανθάνουσα μεταβλητή, και τη δειγματίζει μέσω μοντέλων διάχυσης, παράγοντας ποικίλες δειγματοληψίες ομιλίας χωρίς να χρησιμοποιεί αναφορικό ήχο. Ας εξετάσουμε αυτά τα συστατικά σε μεγαλύτερη λεπτομέρεια.

Εκπαίδευση από άκρο σε άκρο για συμπερασμό

Στο πλαίσιο StyleTTS2, μια διαδικασία εκπαίδευσης από άκρη σε άκρη χρησιμοποιείται για να βελτιστοποιήσει τα διάφορα συστατικά της σύνθεσης κειμένου-σε-ομιλία για συμπερασμό χωρίς να εξαρτάται από σταθερά συστατικά. Το πλαίσιο StyleTTS2 επιτύχει αυτό τροποποιώντας τον αποκωδικοποιητή για να παράγει το κύμα απευθείας από το διανυσματικό στυλ, τις καμπύλες τονικού ύψους και ενέργειας, και τις συγχρονισμένες αναπαραστάσεις. Αφαιρεί την τελική στρώση προβολής του αποκωδικοποιητή και την αντικαθιστά με αποκωδικοποιητή κυματομορφής. Το πλαίσιο StyleTTS2 χρησιμοποιεί δύο αποκωδικοποιητές: έναν αποκωδικοποιητή βασισμένο στο HifiGAN για να παράγει το κύμα απευθείας, και έναν αποκωδικοποιητή βασισμένο στον iSTFT για να παράγει φάση και μέγεθος που μετατρέπονται σε κύματα για ταχύτερο συμπερασμό και εκπαίδευση.

Η παραπάνω εικόνα αντιπροσωπεύει τα ακουστικά μοντέλα που χρησιμοποιούνται για προ-εκπαίδευση και συν-εκπαίδευση. Για να μειώσει τον χρόνο εκπαίδευσης, τα μοντέλα είναι πρώτα βελτιστοποιημένα στη φάση προ-εκπαίδευσης, ακολουθούμενη από την βελτιστοποίηση όλων των συστατικών εκτός από τον εξαγωγέα τονικού ύψους κατά τη συν-εκπαίδευση. Ο λόγος για τον οποίο η συν-εκπαίδευση δεν βελτιστοποιεί τον εξαγωγέα τονικού ύψους είναι ότι χρησιμοποιείται για να παρέχει την αλήθεια για τις καμπύλες τονικού ύψους.

Η παραπάνω εικόνα αντιπροσωπεύει την ανταγωνιστική εκπαίδευση και συμπερασμό του Γλωσσικού Μοντέλου Ομιλίας με το WavLM, το οποίο είναι προ-εκπαιδευμένο αλλά όχι προ-ρυθμισμένο. Η διαδικασία διαφέρει από αυτή που αναφέρθηκε παραπάνω, καθώς μπορεί να λάβει ποικίλες εισόδους κειμένου, αλλά συσσωρεύει τις κλίσεις για να ενημερώσει τις παραμέτρους σε κάθε παρτίδα.

Διάχυση Στυλ

Το πλαίσιο StyleTTS2 στοχεύει να μοντελοποιήσει την ομιλία ως μια υπό συνθήκη κατανομή μέσω μιας λανθάνουσας μεταβλητής που ακολουθεί την υπό συνθήκη κατανομή, και αυτή η μεταβλητή ονομάζεται γενικευμένο στυλ ομιλίας, και αντιπροσωπεύει οποιοδήποτε χαρακτηριστικό στην ομιλία πέρα από το φάσμα του φωνητικού περιεχομένου, συμπεριλαμβανομένων του λεξικού τονισμού, προσωδίας, ταχύτητας ομιλίας, και ακόμη μεταβάσεων φορμαντών.

Διακριτές Γλωσσικών Μοντέλων Ομιλίας

Τα Γλωσσικά Μοντέλα Ομιλίας είναι γνωστά για τις γενικές τους ικανότητες να κωδικοποιούν αξιοποιήσιμες πληροφορίες σε μια ευρεία γκάμα σημασιολογικών και ακουστικών πτυχών, και οι αναπαραστάσεις SLM έχουν παραδοσιακά την ικανότητα να μιμούνται ανθρώπινες αντιλήψεις για να αξιολογήσουν την ποιότητα της παραγώμενης συνθετικής ομιλίας. Το πλαίσιο StyleTTS2 χρησιμοποιεί μια ανταγωνιστική εκπαίδευση για να εκμεταλλευτεί την ικανότητα των κωδικοποιητών SLM να εκτελούν εργασίες παραγωγής, και χρησιμοποιεί ένα WavLM 12 στρώσεων ως διακριτή. Αυτή η προσέγγιση επιτρέπει στο πλαίσιο να εκπαιδεύσει OOD ή Εκτός-Κατανομής κειμένων που μπορούν να βελτιώσουν την απόδοση. Επιπλέον, για να αποφευχθούν προβλήματα υπερ-προσαρμογής, το πλαίσιο δειγματίζει OOD κειμένου και κειμένου εντός κατανομής με ίση πιθανότητα.

Διαφορίσιμη μοντελοποίηση διάρκειας

Παραδοσιακά, ένας προβλέπτης διάρκειας χρησιμοποιείται σε πλαίσια κειμένου-σε-ομιλία που παράγει διάρκειας φωνημάτων, αλλά οι μεθόδους αύξησης δειγματοληψίας που χρησιμοποιούν αυτοί οι προβλέπτες διάρκειας συχνά μπλοκάρουν τη ροή της κλίσης κατά τη διαδικασία εκπαίδευσης από άκρη σε άκρη, και το πλαίσιο NaturalSpeech χρησιμοποιεί μια μονάδα αύξησης δειγματοληψίας με βάση την προσοχή για ανθρώπινου επιπέδου σύνθεση κειμένου-σε-ομιλία. Ωστόσο, το πλαίσιο StyleTTS2 βρίσκει αυτήν την προσέγγιση να είναι ασταθής κατά τη διαδικασία ανταγωνιστικής εκπαίδευσης, επειδή το StyleTTS2 εκπαιδεύεται χρησιμοποιώντας διαφορίσιμη αύξηση δειγματοληψίας με ανταγωνιστική εκπαίδευση, όπου οι αποκλίσεις στη διάρκεια προκαλούν ασυμφωνία μήκους και πρόβλημα πρόσθετων όρων απώλειας. Αν και η χρήση μιας μαλακής δυναμικής μεθόδου συγχρονισμού μπορεί να βοηθήσει στην μείωση αυτής της διαφοράς, η χρήση της δεν είναι μόνο υπολογιστικά ακριβή, αλλά και η σταθερότητά της είναι ένα ζήτημα όταν εργάζεται με ανταγωνιστικούς στόχους ή εργασίες ανασυγκρότησης μελ-φασμάτων.Επομένως, για να επιτύχει ανθρώπινου επιπέδου απόδοση με ανταγωνιστική εκπαίδευση και να σταθεροποιήσει τη διαδικασία εκπαίδευσης, το πλαίσιο StyleTTC2 χρησιμοποιεί μια μη-παραμετρική μέθοδο αύξησης δειγματοληψίας. Η αύξηση δειγματοληψίας Gaussian είναι μια δημοφιλής μη-παραμετρική μέθοδος δειγματοληψίας για τη μετατροπή των προβλεπόμενων διαρκειών, αν και έχει τις δικές της περιορισμούς λόγω του σταθερού μήκους των Gaussian πυρήνων που προκαθορίζονται. Αυτός ο περιορισμός για την αύξηση δειγματοληψίας Gaussian περιορίζει την ικανότητά της να μοντελοποιήσει ακριβείς συγχρονισμούς με διαφορετικά μήκη.

Για να αντιμετωπίσουμε αυτόν τον περιορισμό, το πλαίσιο StyleTTC2 προτείνει να χρησιμοποιήσει μια νέα μη-παραμετρική μέθοδο αύξησης δειγματοληψίας χωρίς πρόσθετη εκπαίδευση, και ικανή να λαμβάνει υπόψη διαφορετικά μήκη των συγχρονισμών. Για κάθε φωνήμα, το πλαίσιο StyleTTC2 μοντελοποιεί τον συγχρονισμό ως μια τυχαία μεταβλητή, και υποδεικνύει τον δείκτη του πλαισίου ομιλίας με τον οποίο το φωνήμα συγχρονίζεται.

Εκπαίδευση και Αξιολόγηση Μοντέλου

Το πλαίσιο StyleTTC2 εκπαιδεύεται και πειραματίζεται σε τρεις βάσεις δεδομένων: VCTK, LibriTTS, και LJSpeech. Το μοντέλο μεμονωμένου ομιλητή του πλαισίου StyleTTS2 εκπαιδεύεται χρησιμοποιώντας τη βάση δεδομένων LJSpeech που περιλαμβάνει περίπου 13.000+ δείγματα ήχου, χωρισμένα σε 12.500 δείγματα εκπαίδευσης, 100 δείγματα επαλήθευσης, και περίπου 500 δείγματα δοκιμής, με το συνδυασμένο χρόνο εκτέλεσης να φτάνει τα 24 ώρες. Το μοντέλο πολλαπλών ομιλητών του πλαισίου εκπαιδεύεται στη βάση δεδομένων VCTK που αποτελείται από πάνω από 44.000 δείγματα ήχου με πάνω από 100 φυσικούς ομιλητές με διαφορετικές προφορές, και χωρίζεται σε 43.500 δείγματα εκπαίδευσης, 100 δείγματα επαλήθευσης, και περίπου 500 δείγματα δοκιμής. Τέλος, για να εξοπλίσει το πλαίσιο με ικανότητες προσαρμογής zero-shot, το πλαίσιο εκπαιδεύεται στη συνδυασμένη βάση δεδομένων LibriTTS που αποτελείται από δείγματα ήχου που φτάνουν τα 250 ώρες ήχου με πάνω από 1.150 ομιλητές. Για να αξιολογήσει την απόδοσή του, το μοντέλο χρησιμοποιεί δύο μετρικές: MOS-N ή Μέσο Όρο Γνώμης Φυσικότητας, και MOS-S ή Μέσο Όρο Γνώμης Ομοιότητας.

Αποτελέσματα

Η προσέγγιση και η μεθοδολογία που χρησιμοποιούνται στο πλαίσιο StyleTTS2 αναδεικνύονται στην απόδοσή του, καθώς το μοντέλο υπερέχει πολλών σύγχρονα κορυφαία πλαισίων κειμένου-σε-ομιλία, ιδιαίτερα στη βάση δεδομένων NaturalSpeech, και καθιστά το ένα νέο πρότυπο για τη βάση δεδομένων. Επιπλέον, το πλαίσιο StyleTTS2 υπερέχει του σύγχρονα κορυφαία πλαισίου VITS στη βάση δεδομένων VCTK, και τα αποτελέσματα παρουσιάζονται στο ακόλουθο σχήμα.

Το μοντέλο StyleTTS2 υπερέχει επίσης των προηγούμενων μοντέλων στη βάση δεδομένων LJSpeech, και δεν εμφανίζει κανένα βαθμό υποβάθμισης ποιότητας σε OOD ή Εκτός-Κατανομής κειμένων, όπως εμφανίζουν τα προηγούμενα πλαίσια στις ίδιες μετρικές. Επιπλέον, σε zero-shot ρύθμιση, το μοντέλο StyleTTC2 υπερέχει του υπάρχοντος μοντέλου Vall-E στη φυσικότητα, αν και μένει πίσω σε όρους ομοιότητας. Ωστόσο, αξίζει να σημειωθεί ότι το πλαίσιο StyleTTS2 είναι σε θέση να επιτύχει ανταγωνιστική απόδοση παρά το γεγονός ότι εκπαιδεύτηκε μόνο σε 245 ώρες ήχου, σε σύγκριση με πάνω από 60.000 ώρες εκπαίδευσης για το μοντέλο Vall-E, καθιστώντας το StyleTTC2 μια αποτελεσματική εναλλακτική λύση για τις υπάρχουσες μεγάλες μεθόδους προ-εκπαίδευσης.

Συνεχίζοντας, λόγω της έλλειψης δεδομένων ήχου με συναισθήματα, το πλαίσιο StyleTTC2 χρησιμοποιεί το μοντέλο GPT-4 για να γεννήσει πάνω από 500 περιπτώσεις σε διάφορες συναισθήματα για την οπτικοποίηση των διανυσμάτων στυλ που δημιουργούνται από τη διαδικασία διάχυσης.

Στο πρώτο σχήμα, οι συναισθηματικοί στυλ σε απάντηση των συναισθημάτων του εισαγομένου κειμένου εικονογραφούνται από τα διανύσματα στυλ από το μοντέλο LJSpeech, και αυτό δείχνει την ικανότητα του πλαισίου StyleTTC2 να συνθέτει εκφραστική ομιλία με ποικίλες συναισθήματα. Το δεύτερο σχήμα δείχνει διακριτές ομάδες για κάθε έναν από τους πέντε ατομικούς ομιλητές, δείχνοντας μια ευρεία γκάμα ποικιλίας που προέρχεται από ένα μοναδικό αρχείο ήχου. Το τρίτο σχήμα δείχνει μια χαλαρή ομάδα συναισθημάτων από τον ομιλητή 1, και αποκαλύπτει ότι, παρά ορισμένες επικαλύψεις, οι ομάδες συναισθημάτων είναι προεξάρχουσες, δείχνοντας την πιθανότητα να χειριστεί το συναισθηματικό τόνο ενός ομιλητή ανεξάρτητα από το αρχείο ήχου αναφοράς και τον τόνο εισόδου. Παρά την χρήση μιας μεθόδου διάχυσης, το πλαίσιο StyleTTS2 είναι σε θέση να υπερέχει των υπάρχοντων σύγχρονα κορυφαία πλαισίων, συμπεριλαμβανομένων των VITS, ProDiff, και FastDiff.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για το StyleTTS2, ένα καινοτόμο, ανθεκτικό και καινοτόμο πλαίσιο κειμένου-σε-ομιλία που είναι χτισμένο στις βάσεις του πλαισίου StyleTTS, και στοχεύει να παρουσιάσει το επόμενο βήμα προς τα σύγχρονα κορυφαία συστήματα κειμένου-σε-ομιλία. Το πλαίσιο StyleTTS2 μοντελοποιεί τα στυλ ομιλίας ως λανθάνουσες τυχαίες μεταβλητές, και χρησιμοποιεί ένα πιθανολογικό μοντέλο διάχυσης για να δειγματίσει αυτά τα στυλ ομιλίας ή τυχαίες μεταβλητές, επιτρέποντας στο πλαίσιο StyleTTS2 να συνθέσει ρεαλιστική ομιλία αποτελεσματικά χωρίς να χρησιμοποιεί αναφορικές εισόδους ήχου. Το πλαίσιο StyleTTS2 χρησιμοποιεί διάχυση στυλ και διακριτές SLM για να επιτύχει ανθρώπινου επιπέδου απόδοση σε εργασίες κειμένου-σε-ομιλία, και είναι σε θέση να υπερέχει των υπάρχοντων σύγχρονα κορυφαία πλαισίων σε μια ευρεία γκάμα ομιλιακών εργασιών.