Μοντέλα και πλατφόρμες AI
HierSpeech++: Ιεραρχικός μεταβολικός συμπερασμός για σύνθεση ομιλίας χωρίς παραδείγματα
Βασικά σημείαΤο HierSpeech++ χρησιμοποιεί ιεραρχική παραμετρική συμπερασματολογία για να συνδέσει…
Δείτε περισσότερα
- Το HierSpeech++ χρησιμοποιεί ιεραρχική παραμετρική συμπερασματολογία για να συνδέσει σημασιολογικές και ακουστικές αναπαραστάσεις ομιλίας για σύνθεση μηδενικού δείγματος.
- Το μοντέλο χρησιμοποιεί έναν ακουστικό κωδικοποιητή διπλού ήχου και έναν σημασιολογικό κωδικοποιητή πολλαπλών διαδρομών για να ενισχύσει την προσαρμογή στον ομιλητή και τον διαχωρισμό χαρακτηριστικών.
- Επιτυγχάνει ομιλία υψηλής ανάλυσης 48 kHz από δεδομένα 16 kHz και μετατροπή φωνής μηδενικού δείγματος σε ανθρώπινο επίπεδο χωρίς ετικέτες κειμένου.
Οι πρόσφατες εξελίξεις και η πρόοδος στις ικανότητες των μεγάλων μοντέλων γλωσσών έχουν παίξει έναν κρίσιμο ρόλο στις προόδους των πλαισίων LLM-βασισμένων για την παραγωγή ήχου και τη σύνθεση ομιλίας, ιδιαίτερα σε ένα zero-shot περιβάλλον. Τα παραδοσιακά πλαίσια συνθετικής ομιλίας έχουν δει σημαντικές προόδους ως αποτέλεσμα της ενσωμάτωσης πρόσθετων χαρακτηριστικών όπως νευρωνικούς κωδικοποιητές ήχου για διακριτό ήχο και ομιλία. Παρόλα αυτά, αυτά τα πλαίσια συνθετικής ομιλίας και ήχου παρέχουν ικανοποιητικά αποτελέσματα, ακόμη υπάρχει χώρος για βελτίωση, καθώς τα τρέχοντα πλαίσια LLM-βασισμένων ήχου έχουν τις ακόλουθες τρεις μεγάλες περιορισμοί
- Τείνουν να αυτο-γεννήσουν ήχο που τελικά προκαλεί έλλειψη ανθεκτικότητας και αργή ταχύτητα συμπερασμού, με αποτέλεσμα λάθη προφοράς, παραλείψεις ή επαναλήψεις.
- Τείνουν να βασίζονται υπερβολικά σε διακριτές μονάδες ομιλίας ή προ-εκπαιδευμένους νευρωνικούς κωδικοποιητές ήχου.
- Συνήθως απαιτούν μεγάλο όγκο εκπαιδευτικών δεδομένων.
Για να αντιμετωπιστούν τα προβλήματα που αναφέρθηκαν παραπάνω και να βελτιωθούν οι ικανότητες των μοντέλων LLM-βασισμένων ήχου και συνθετικής ομιλίας, οι προγραμματιστές έχουν δημιουργήσει το HierSpeech++, ένα ανθεκτικό και αποδοτικό zero-shot συνθετικό μοντέλο ομιλίας για φωνή και κείμενο σε ομιλία ή TTS μετατροπές. Το πλαίσιο HierSpeech++ βασίζεται στις γνώσεις των ιεραρχικών πλαισίων συνθετικής ομιλίας που όχι μόνο αυξάνουν την ανθεκτικότητας, αλλά και προσθέτουν στην εκφραστικότητα της συνθετικής ομιλίας, ενώ επίσης αυξάνουν την φυσικότητα και την ομοιότητα του ομιλητή της συνθετικής ομιλίας, ακόμη και σε ένα zero-shot περιβάλλον.
Σε αυτό το άρθρο, θα μιλήσουμε για το πλαίσιο HierSpeech++ σε λεπτομέρειες και θα δούμε την αρχιτεκτονική, τη λειτουργία και τα αποτελέσματα του μοντέλου σε σύγκριση με τα σύγχρονα κορυφαία μοντέλα κειμένου και ήχου. Έτσι, ας ξεκινήσουμε.
HierSpeech++ : Ιεραρχικός μεταβολικός συμπερασμός για Zero-Shot Συνθετική Ομιλία
Το HierSpeech++ είναι ένα γρήγορο, ανθεκτικό και αποδοτικό zero-shot συνθετικό πλαίσιο που χρησιμοποιεί έναν ιεραρχικό αγωγό σύνθεσης ομιλίας, και με την υιοθέτηση αυτής της αρχιτεκτονικής σύνθεσης ομιλίας από άκρο σε άκρο, το μοντέλο HierSpeech++ είναι σε θέση να μεγιστοποιήσει το δυναμικό της υψηλής ποιότητας γεννήσεως ήχου για να γεφυρώσει το χάσμα μεταξύ σημασιολογικών και ακουστικών αναπαραστάσεων, υιοθετώντας μια αυτο-επιτηρούμενη ομιλιακή αναπαράσταση ως σημασιολογική ομιλιακή αναπαράσταση, και έτσι προσπαθεί να λύσει τα τρέχοντα περιορισμοί των στυλ προσαρμογών. Η αρχιτεκτονική σύνθεσης ομιλίας από άκρο σε άκρο εισήχθη για πρώτη φορά από το μοντέλο VITS, και υιοθετεί έναν VAE ή μεταβολικό αυτοκωδικοποιητή ενισχυμένο με ανταγωνιστική εκπαίδευση και κανονικοποιητικές ροές. Επιπλέον, τα VAE-βασισμένα πλαίσια με πλήρως-παράλληλη εκπαίδευση έχουν την ικανότητα να γεννήσουν υψηλής ποιότητας ήχο με την αντίληψη της συνθετικής ομιλίας να είναι σημαντικά καλύτερη από εκείνη που παράγεται από άλλα πλαίσια συνθετικής ομιλίας.
Η ποιότητα ανακατασκευής ήχου αυτών των πλαισίων μπορεί να ενισχυθεί περαιτέρω με τη χρήση μιας ιεραρχικού υπό συνθήκη μεταβολικού αυτοκωδικοποιητή, όπως χρησιμοποιείται στο πλαίσιο HierSpeech. Παρόλο που αυτά τα πλαίσια έχουν δυνατότητες, τα πλαίσια με πλήρως-παράλληλη εκπαίδευση έχουν ορισμένα περιορισμοί, ιδιαίτερα σε ένα zero-shot περιβάλλον, καθώς και αν μπορούν να συνθέσουν δείγματα ομιλίας με υψηλής ποιότητας ήχο, η ομοιότητα του ομιλητή σε zero-shot φωνητικές κλωνοποίηση εργασίες είναι ακόμη γεμάτη με υψηλή υπολογιστική πολυπλοκότητα. Από την άλλη πλευρά, τα πλαίσια σύνθεσης ομιλίας με διάχυση εκτελούν καλά σε όρους προσαρμογής ομιλητή, αλλά είναι ακόμη μακριά από την τελειότητα, καθώς χρησιμοποιούν μια επαναληπτική διαδικασία παραγωγής που επιβραδύνει την ταχύτητα συμπερασμού, είναι συχνά ευάλωτα σε θορυβώδεις δεδομένα, και ως αποτέλεσμα της ανισότητας μεταξύ εκπαίδευσης και συμπερασμού της δύο-στάθμης διαδικασίας γεννήσεως μεταξύ του Mel-φάσματος και του παραγόμενου ήχου αναφοράς, η ποιότητα ήχου δεν είναι στο επίπεδο.
Για να αντιμετωπιστούν τα προβλήματα που αντιμετωπίζουν οι προκάτοχοί του, το μοντέλο HierSpeech++ χρησιμοποιεί έναν ιεραρχικό συνθέτη ομιλίας, μια μονάδα υπερανάλυσης ομιλίας και μια συνιστώσα μετατροπής κειμένου σε διανύσματα, και εισάγει έναν βελτιωμένο ιεραρχικό συνθέτη ομιλίας που βασίζεται στην ιεραρχική συνθηκική VAE ή Variational AutoEncoder. Σε μια προσπάθεια να ενισχύσει την ποιότητα ήχου πέρα από την αντίληψη, το πλαίσιο HierSpeech++ υιοθετεί διπλό ήχο για να ενισχύσει την ακουστική εκ των υστέρων κατανομή, και να βελτιώσει την γενίκευση εκτός του κατανομής με την υιοθέτηση μιας ιεραρχικής προσαρμοστικής γεννήτριας που είναι εξοπλισμένος με παραγωγή υπό συνθήκη και χωρίς συνθήκη. Επιπλέον, για να αποσυνδέσει τις συνιστώσες ομιλίας και να ενισχύσει τις σημασιολογικές πληροφορίες που σχετίζονται με τον ομιλητή ή είναι ανεξάρτητες από αυτόν, το πλαίσιο HierSpeech++ υιοθετεί έναν σημασιολογικό κωδικοποιητή πολλαπλών διαδρομών βασισμένο στη θεωρία πηγής-φίλτρου. Ως αποτέλεσμα της υιοθέτησης ενός μεταβολικού αυτοκωδικοποιητή, το μοντέλο HierSpeech++ μπορεί να συνδέσει και να μάθει αναπαραστάσεις ιεραρχικά, και να προσαρμοστεί σταδιακά στο στυλ φωνής του στόχου για να εικαστεί ο ήχος. Επιπλέον, το πλαίσιο HierSpeech++ αναπτύσσει ένα αμφίδρομο δίκτυο μετασχηματισμού ροής σε μια προσπάθεια να ενισχύσει την προσαρμογή και να μειώσει την ανισότητα μεταξύ εκπαίδευσης και συμπερασμού.
Συνολικά, το μοντέλο HierSpeech++ είναι ένα πλήρως-παράλληλο, νέο και ανθεκτικό ιεραρχικό πλαίσιο συνθετικής ομιλίας που στοχεύει στην συνθέσει δειγμάτων ομιλίας σε ένα zero-shot περιβάλλον, και προσπαθεί να κάνει τις ακόλουθες συνεισφορές
- Χρησιμοποιώντας έναν ιεραρχικό συνθέτη ομιλίας για να ελέγξει και να μεταφέρει στυλ φωνής και προσωδία.
- Ενεργοποίηση της κλιμάκωσης δεδομένων και της υψηλής ανάλυσης συνθετικής ομιλίας με την υπερ-δείγματος του ήχου από 16 σε 48 kHz.
- Επίκτηση ανθρώπινου επιπέδου ικανοτήτων σε zero-shot φωνητική μετατροπή και κείμενο σε ομιλία εργασίες.
HierSpeech++ : Στοιχεία Μοντέλου και Αρχιτεκτονική
Όπως συζητήθηκε, το HierSpeech++ είναι ένα zero-shot συνθετικό μοντέλο ομιλίας που προσπαθεί να επιτύχει ανθρώπινη-επίπεδο ακρίβεια σε όρους ομοιότητας φωνής και φυσικότητας ομιλίας.

Το μοντέλο HierSpeech++ αποτελείται από διάφορα στοιχεία, συμπεριλαμβανομένων ενός ιεραρχικού συνθέτη ομιλίας, μιας μονάδας υπερανάλυσης ομιλίας και μιας μονάδας μετατροπής κειμένου σε διανύσματα που λειτουργούν σε συγχρονισμό για να διευκολύνουν την εκπαίδευση του κάθε μοντέλου που μπορεί να χρησιμοποιήσει αποτελεσματικά έναν μεγάλο όγκο χαμηλής ανάλυσης δεδομένων για κλωνοποίηση φωνής. Ας αναλύσουμε το πλαίσιο και να μιλήσουμε για κάθε στοιχείο.
Αναπαραστάσεις Ομιλίας
Όπως η ζώνη συχνότητας του ανθρώπινου είναι κάτω από 4 kHz, για συνθετική ομιλία, το πλαίσιο HierSpeech++ υποδείγματος τον ήχο σε 16 kHz. Επιπλέον, για την ανακατασκευή του σήματος φωνής, είναι σημαντικό να χρησιμοποιηθεί τουλάχιστον διπλάσιο της υψηλότερης συνιστώσας συχνότητας της φωνής, μαζί με την υπο-δείγματος του ήχου. Για να επιτύχει την ενισχυμένη αντίληψη ποιότητας, το πλαίσιο HierSpeech++ χρησιμοποιεί μια συνιστώσα υπερανάλυσης ομιλίας ή SpeechSR για να υπερ-δείγματος τον ήχο από 16 σε 48 kHz, και χρησιμοποιεί χαμηλής ανάλυσης αναπαραστάσεις για σημασιολογικές και ακουστικές αναπαραστάσεις.

Για ακουστικές αναπαραστάσεις, ένα παραδοσιακό κείμενο σε ομιλία ή TTS πλαίσιο χρησιμοποιεί ένα φασματογράφημα Mel ως ενδιάμεσο ακουστικό χαρακτηριστικό που μετατρέπεται από τον ήχο με τη βοήθεια ενός STFT ή μετασχηματισμού Fourier βραχέος χρόνου. Ωστόσο, είναι αξιοσημείωτο ότι επειδή οι ακουστικές αναπαραστάσεις είναι πλούσιες αναπαραστάσεις που περιλαμβάνουν διάφορες ιδιότητες, συμπεριλαμβανομένων του περιεχομένου και της προφορά, πληροφορίες φωνής, και άλλα που καθιστούν δύσκολο για το πλαίσιο να εικαστεί αυτές τις αναπαραστάσεις, μια κατάσταση που συχνά οδηγεί σε λάθη προφοράς, έλλειψη ομοιότητας ή υπερβολική εξομάλυνση της ομιλίας.
Συνεχίζοντας, για να εξαγάγει μια συνεχής σημασιολογική αναπαράσταση από έναν ήχο, το πλαίσιο HierSpeech++ χρησιμοποιεί ένα πλαίσιο Wav2Vec, σε αντίθεση με την δημοφιλή αυτο-επιτηρούμενη ομιλιακή αναπαράσταση για σημασιολογικές αναπαραστάσεις.Παρόλο που αυτή η προσέγγιση αποτελεί μια καλή εναλλακτική για ένα πλούσιο μονόγλωσσο μοντέλο, επηρεάζει την ικανότητα zero-shot φωνητικής κλωνοποίησης του μοντέλου σε όρους ανθεκτικότητας και εκφραστικότητας, ιδιαίτερα σε πολυγλωσσικές συνθετικές ομιλίας εργασίες.
Ιεραρχικός Συνθετής Ομιλίας
Η συνιστώσα Ιεραρχικού Συνθετή Ομιλίας είναι ο ακρογωνιαίος λίθος του πλαίσιου HierSpeech++, καθώς επιτρέπει την εκπαίδευση του μοντέλου χωρίς τη χρήση ετικετών όπως κείμενο μεταγραφές ή ομιλητή id, και βασίζεται αποκλειστικά σε δεδομένα ομιλίας. Για να αυξήσει την ακουστική ικανότητα, προηγούμενα σύγχρονα κορυφαία μοντέλα συνθετικής ομιλίας αντικατέστησαν το Mel-φάσμα με ένα γραμμικό φάσμα, ωστόσο, αυτή η προσέγγιση ελαττώνει την KL-απόσταση σε όρους pitch περιοδικότητας, PESQ, μετρικών έμφωνων και άφωνων τμημάτων, και ακόμη Mel-φάσματος απόστασης. Ο Ιεραρχικός Συνθετής Ομιλίας χρησιμοποιεί έναν ακουστικό κωδικοποιητή διπλού ήχου για να λύσει τις προκλήσεις που παρουσιάζονται από την χρήση ενός γραμμικού φάσματος, σχεδιασμένου για να καταγράψει πλουσιότερες και πιο ολοκληρωμένες ακουστικές αναπαραστάσεις. Το πλαίσιο επίσης χρησιμοποιεί έναν κωδικοποιητή ήχου για να εξαγάγει πληροφορίες από ακατέργαστο ήχο, και τις συνδυάζει με την γραμμική φασματική αναπαράσταση, και τελικά προβάλλει την ακουστική αναπαράσταση ως μια συνδυασμένη αναπαράσταση.

Επιπλέον, για να αντιμετωπιστούν οι σημασιολογικές αναπαραστάσεις που εξαρτώνται από τον ομιλητή και εκείνες που είναι ανεξάρτητες από αυτόν, το πλαίσιο HierSpeech++ χρησιμοποιεί μια αυτοεπιβλεπόμενη αναπαράσταση ομιλίας πολλαπλών διαδρομών, όπου κάθε μεμονωμένη αναπαράσταση χρησιμοποιείται για ιεραρχική στυλ προσαρμογή με τις σημασιολογικές αναπαραστάσεις που εξάγονται για να ληφθούν γλωσσικές πληροφορίες από το μεσαίο επίπεδο του MMS. Το πλαίσιο επίσης χρησιμοποιεί μια θεμελιώδη συχνότητα για να ενισχύσει την ομιλιακή αποσύνδεση που επιτρέπει τον χειροκίνητο έλεγχο της καμπύλης τονικού ύψους. Το πλαίσιο επίσης χρησιμοποιεί μια γλωσσική αναπαράσταση ως συνθηκτική πληροφορία για να γεννήσει ήχο ιεραρχικά, και χρησιμοποιεί μια ενισχυμένη γλωσσική αναπαράσταση της αυτο-επιτηρούμενης αναπαράστασης. Είναι επίσης αξιοσημείωτο ότι οι ακουστικές αναπαραστάσεις που εξάγονται κατά την εκπαίδευση με την χρήση ήχου και γραμμικού φάσματος χρησιμοποιούνται για να ανακατασκευάσουν τον ακατέργαστο ήχο, και μια ιεραρχική μεταβολική συμπερασματολογία χρησιμοποιείται για να συνδέσει τις ακουστικές αναπαραστάσεις με τις γλωσσικές αναπαραστάσεις πολλαπλών διαδρομών. Το πλαίσιο επίσης χρησιμοποιεί μια ιεραρχική προσαρμοστική γεννήτρια για να παράγει σημασιολογικές-σε-ήχο δείγματα, και οι γεννημένες αναπαραστάσεις που περιλαμβάνουν μια αναπαράσταση στυλ και μια ακουστική αναπαράσταση τροφοδοτούν τους πηγαίους και ήχου γεννήτορες.
Κείμενο σε Vec
Για κείμενο σε ομιλία συνθετική ομιλία, το πλαίσιο HierSpeech++ χρησιμοποιεί ένα μοντέλο μετατροπής κειμένου σε διανύσματα ή TTV που γεννήσει μια θεμελιώδη συχνότητα και μια σημασιολογική αναπαράσταση από μια ακολουθία κειμένου, και χρησιμοποιεί μια μονοτονική αναζήτηση ευθυγράμμισης με έναν μεταβολικό αυτοκωδικοποιητή για να συγχρονίσει την ομιλία και το κείμενο εσωτερικά. Το πλαίσιο HierSpeech++ αντικαθιστά το γραμμικό φάσμα με μια αυτοεπιβλεπόμενη γραμμική αναπαράσταση, και ανακατασκευάζει την ίδια αναπαράσταση για να χρησιμεύσει ως η έξοδος για το TTV.

Επιπλέον, το πλαίσιο HierSpeech++ προβλέπει την θεμελιώδη συχνότητα με τέσσερις φορές μεγαλύτερη ανάλυση σε σύγκριση με τις αυτο-επιτηρούμενες ομιλιακές αναπαραστάσεις, και χρησιμοποιεί μια αναπαράσταση κειμένου υπό συνθήκη ως την εκ των προτέρων πληροφορία. Ως αποτέλεσμα της σημασιολογικής πληροφορίας των αυτο-επιτηρούμενων ομιλιακών αναπαραστάσεων, το πλαίσιο είναι ικανό να μεταφέρει το στυλ προσωδίας στο κείμενο σε vec μοντέλο, και τροφοδοτεί μια λανθάνουσα αναπαράσταση στο φωνητικό κωδικοποιητή για να ενισχύσει τις γλωσσικές ικανότητες της αναπαράστασης.
Ομιλιακή Super-Ανάλυση ή SpeechSR
Το πλαίσιο HierSpeech++ εκπαιδεύεται σε ένα σχετικά χαμηλής ανάλυσης dataset σε όρους δεδομένων και διαθεσιμότητας, και υπερ-δείγματος έναν ήχο ομιλίας χαμηλής ανάλυσης από 16 σε 48 kHz. Το πλαίσιο επίσης αντικαθιστά μια μετατιθέμενη συνέλιξη με έναν αναδειγματολήπτη πλησιέστερου γείτονα που έχει προηγουμένως γνωστοποιηθεί για να ανακουφίσει τα τεχνουργήματα που προκαλούνται από μετατιθέμενες συνελίξεις.

Αρχιτεκτονική
Ο κωδικοποιητής περιεχομένου του κειμένου σε vec μοντέλου αποτελείται από 16 μη αιτιακά στρώματα WaveNet με ένα μέγεθος πυρήνα 5 και ένα κρυφό μέγεθος 256, ενώ ο αποκωδικοποιητής περιεχομένου αποτελείται από 8 μη αιτιακά στρώματα WaveNet με ένα μέγεθος πυρήνα 5 και ένα κρυφό μέγεθος 512. Ο κωδικοποιητής κειμένου αποτελείται από τρία προσωδίας-συνθηκτικά Transformer δίκτυα και τρία ασυνθήκη Transformer δίκτυα με ένα μέγεθος πυρήνα 9, φίλτρου μέγεθος 1024 και ένα κρυφό μέγεθος 256 με τον κωδικοποιητή κειμένου να έχει ένα ποσοστό απόρριψης 0.2. Για να κωδικοποιήσει γειτονικές πληροφορίες και να ενισχύσει την προσαρμογή στυλ, το πλαίσιο υιοθετεί ένα συνελικτικό νευρωνικό δίκτυο με ένα μέγεθος πυρήνα 5 στα Transformer μπλοκ. Η SpeechSR από την άλλη πλευρά αποτελείται από ένα μόνο μπλοκ AMP με 32 αρχικές διαύλους χωρίς την παρουσία ενός στρώματος αύξησης δειγματοληψίας. Το πλαίσιο χρησιμοποιεί έναν αναδειγματολήπτη πλησιέστερου γείτονα για να υπερ-δείγματος τις κρυφές αναπαραστάσεις και χρησιμοποιεί έναν MPD ως τον διακριτή με έξι διαφορετικά μεγέθη παραθύρου και τέσσερις υπο-ζώνες διακριτές.

Η παραπάνω εικόνα δείχνει τη διαδικασία συμπερασμού του πλαίσιου HierSpeech++ που ξεκινά με την εξαγωγή των σημασιολογικών αναπαραστάσεων από τον ήχο σε μια συχνότητα 16 kHz και στη θεμελιώδη συχνότητα με τη βοήθεια του YAPPT αλγορίθμου. Πριν η θεμελιώδης συχνότητα μπορεί να τροφοδοτηθεί στον Ιεραρχικό Συνθετή, κανονικοποιείται με τη μέση τιμή και την τυπική απόκλιση του ήχου πηγής, και η κανονικοποιημένη θεμελιώδης συχνότητα αποκανονικοποιείται με τη μέση τιμή και την τυπική απόκλιση του ήχου στόχου. Για κείμενο σε ομιλία εξαγωγές, το πλαίσιο HierSpeech++ εξάγει κειμενικές αναπαραστάσεις αντί για ομιλιακές αναπαραστάσεις, και χρησιμοποιεί το κείμενο σε vec μοντέλο για να γεννήσει μια σημασιολογική αναπαράσταση από το προσωδίας prompt.
Πείραμα και Αποτελέσματα
Το πλαίσιο χρησιμοποιεί το δημόσια διαθέσιμο LibriTTS dataset για να εκπαιδεύσει τον ιεραρχικό συνθετή ομιλίας με το πρώτο βήμα να είναι η εκπαίδευση του μοντέλου με τα trainclean υποσύνολα του dataset, και χρησιμοποιώντας τα υπόλοιπα δεδομένα για να ενισχύσει την μεταφορά του στυλ φωνής. Επιπλέον, για να βελτιώσει την ποικιλία και την ανθεκτικότητας, το πλαίσιο υπερ-δείγματος το dataset σε 1 kHz όπως φαίνεται στην ακόλουθη εικόνα.

Ανακατασκευή, Εργασίες επανασύνθεσης και Φωνητική Μετατροπή
Για να αξιολογήσει την απόδοση του πλαίσιου HierSpeech++ σε ανακατασκευή και εργασίες επανασύνθεσης, οι προγραμματιστές διεξήγαγαν επτά αντικειμενικά μετρικά, και τα αποτελέσματα παρουσιάζονται στις ακόλουθες εικόνες για ανακατασκευή και εργασίες επανασύνθεσης αντίστοιχα.


Για φωνητική μετατροπή εργασίες, το πλαίσιο χρησιμοποιεί δύο υποκειμενικά μετρικά για αξιολόγηση: φωνητική ομοιότητα MOS ή sMOS και φυσικότητα μέσο όρο γνώμης της nMOS με τρία φυσικότητας αντικειμενικά μετρικά, και δύο ομοιότητας αντικειμενικά μετρικά.

Συνεχίζοντας, ο κύριος στόχος του πλαίσιου HierSpeech++ είναι να ενεργοποιήσει την zero-shot συνθετική ομιλία, και για να αξιολογήσει την απόδοσή του σε zero-shot, το πλαίσιο συγκρίνεται με άλλα βασικά μοντέλα όπως AutoVC, VoiceMixer, Diffusion-βασισμένα μοντέλα, και πολλά άλλα με τα αποτελέσματα να παρουσιάζονται στην ακόλουθη εικόνα.

Οι ακόλουθες εικόνες δείχνουν τα αποτελέσματα μετατροπής κειμένου σε ομιλία χωρίς παραδείγματα με θορυβώδη και πολύ θορυβώδη δείγματα αναφοράς αντίστοιχα.


Τελικές Σκέψεις
Σε αυτό το άρθρο, μιλήσαμε για το μοντέλο HierSpeech++, μια νέα προσέγγιση για να ενεργοποιήσει ανθεκτικό και αποτελεσματική συνθετική ομιλία σε ένα zero-shot περιβάλλον, και να υπερβεί τα περιορισμοί που αντιμετωπίζουν τα τρέχοντα πλαίσια συνθετικής ομιλίας, συμπεριλαμβανομένων της υπερ-εξάρτησης τους από μεγάλους όγκους εκπαιδευτικών δεδομένων, της εξάρτησής τους από διακριτές ομιλιακές μονάδες ή προ-εκπαιδευμένους νευρωνικούς κωδικοποιητές ήχου, και της τάσης τους να αυτο-γεννήσουν ήχο που τελικά προκαλεί έλλειψη ανθεκτικότητας και αργή ταχύτητα συμπερασμού, με αποτέλεσμα λάθη προφοράς, παραλείψεις ή επαναλήψεις. Το μοντέλο HierSpeech++ είναι ένα πλήρως-παράλληλο, νέο και ανθεκτικό ιεραρχικό πλαίσιο συνθετικής ομιλίας που στοχεύει στην συνθέσει δειγμάτων ομιλίας σε ένα zero-shot περιβάλλον, και προσπαθεί να κάνει τις ακόλουθες συνεισφορές
- Χρησιμοποιώντας έναν ιεραρχικό συνθέτη ομιλίας για να ελέγξει και να μεταφέρει στυλ φωνής και προσωδία.
- Ενεργοποίηση της κλιμάκωσης δεδομένων και της υψηλής ανάλυσης συνθετικής ομιλίας με την υπερ-δείγματος του ήχου από 16 σε 48 kHz.
- Επίκτηση ανθρώπινου επιπέδου ικανοτήτων σε zero-shot φωνητική μετατροπή και κείμενο σε ομιλία εργασίες.










