Η Fish Audio λανσάρει το Drama 3 για να καθοδηγεί φωνές τεχνητής νοημοσύνης και να επεξεργάζεται μία μόνο λέξη

Ένας διάλογος μπορεί να περιέχει όλες τις σωστές λέξεις κι όμως να αποδίδεται με λάθος τρόπο. Η παύση έρχεται πολύ νωρίς. Ένας χαρακτήρας ακούγεται σίγουρος, ενώ η σκηνή απαιτεί δισταγμό. Μια λέξη που προφέρεται λάθος διακόπτει μια κατά τα άλλα πειστική αφήγηση.

Η Fish Audio επιχειρεί να αντιμετωπίσει αυτά τα προβλήματα παραγωγής με το Drama 3, το νέο μοντέλο μετατροπής κειμένου σε ομιλία που ανακοίνωσε στις 13 Οκτωβρίου. Η εταιρεία αναφέρει ότι οι δημιουργοί μπορούν να καθοδηγούν την εκφορά με καθημερινή γλώσσα, να δημιουργούν σκηνές με πολλούς ομιλητές και να διορθώνουν ένα επιλεγμένο τμήμα συνθετικού ήχου χωρίς να αναδημιουργούν την υπόλοιπη ερμηνεία.

Ίσως το πιο ουσιαστικό χαρακτηριστικό να είναι η μικρότερη δυνατή επεξεργασία: η αλλαγή μίας λέξης, με διατήρηση της φωνής, της διάθεσης και του ρυθμού πριν και μετά από αυτήν. Για τις ομάδες που δημιουργούν ηχητικά βιβλία, μεταγλωττισμένο περιεχόμενο, παιχνίδια ή ηχητικά δράματα, η αξία μιας συνθετικής φωνής εξαρτάται ολοένα και περισσότερο από το πόσο εύκολα μπορεί να αναθεωρηθεί.

Καθοδήγηση της φωνητικής ερμηνείας

Το Drama 3 δέχεται περιγραφές του τόνου, του ρυθμού και του χαρακτήρα, συμπεριλαμβανομένων οδηγιών που αλλάζουν τον τρόπο εκφοράς μέσα σε μια πρόταση. Σύμφωνα με την ανακοίνωση, ένα απόσπασμα μπορεί να ξεκινά ήρεμα και να γίνεται πανικόβλητο, χωρίς να απαιτείται νέα δημιουργία για κάθε συναισθηματική ενότητα.

«Η τεχνητή νοημοσύνη για φωνές έχει γίνει πολύ καλή στη δημιουργία ομιλίας. Το επόμενο βήμα είναι η καθοδήγηση μιας ερμηνείας», δήλωσε η Rissa Cao, συνιδρύτρια και διευθύνουσα σύμβουλος της Fish Audio, στην ανακοίνωση για το λανσάρισμα.

Η δημόσια σελίδα προεπισκόπησης του Drama 3 της εταιρείας προσφέρει μια πιο συγκεκριμένη εικόνα των χειριστηρίων. Οι χρήστες μπορούν να τοποθετούν οδηγίες, ήχους και παύσεις μέσα σε αγκύλες ή να εφαρμόζουν ζεύγη ετικετών σε επιλεγμένες λέξεις. Έτσι, ο συγγραφέας μπορεί να περιορίσει ένα εφέ, όπως τον ψίθυρο, την έμφαση ή την πιο αργή εκφορά, σε μια συγκεκριμένη φράση. Η λειτουργία Auto Tag μπορεί επίσης να προτείνει αρχικές οδηγίες για ένα σενάριο, τις οποίες οι δημιουργοί μπορούν στη συνέχεια να αναθεωρήσουν.

Η δημιουργική συνέπεια είναι σαφής: το σενάριο γίνεται ταυτόχρονα διάλογος και σύνολο οδηγιών για την ερμηνεία. Οι συγγραφείς μπορούν να δουλεύουν πάνω στο τι εννοεί ένας χαρακτήρας, στο πού χρειάζεται μια ανάσα και στο ποια φράση αξίζει έμφαση, μέσα στο ίδιο επεξεργάσιμο κείμενο.

Αποκατάσταση ήχου: διόρθωση της στιγμής που δεν λειτουργεί

Η Fish Audio περιγράφει την αποκατάσταση ήχου του Drama 3 ως έναν τρόπο επιλογής ενός τμήματος μιας υπάρχουσας ερμηνείας, ενημέρωσης των οδηγιών και εκ νέου δημιουργίας αυτού του τμήματος, με διατήρηση του ήχου γύρω του. Ο συνιδρυτής και επικεφαλής επιστήμονας Shijia Liao αναφέρει ότι το μοντέλο χρησιμοποιεί τον ήχο πριν και μετά από μια λέξη που έχει υποστεί επεξεργασία, ώστε η αντικατάσταση να ταιριάζει.

Αυτό είναι διαφορετικό από τη δημιουργία μιας μεμονωμένης γραμμής διαλόγου για αντικατάσταση. Ο νέος ήχος πρέπει να συνδέεται με μια καθιερωμένη ερμηνεία: ο χρονισμός, ο επιτονισμός και η φωνητική ταυτότητα πρέπει να παραμένουν πειστικά στα όρια της επεξεργασίας.

Ας φανταστούμε την παραγωγή ενός ηχητικού βιβλίου, όπου ο αφηγητής αποδίδει σωστά μια παράγραφο, αλλά τονίζει αδέξια ένα όνομα. Μια στοχευμένη διόρθωση θα μπορούσε να διατηρήσει την επιτυχημένη εκφορά της υπόλοιπης παραγράφου. Η ίδια προσέγγιση θα μπορούσε να βοηθήσει μια ομάδα παιχνιδιού να αναθεωρήσει ένα σύντομο απόσπασμα διαλόγου μετά από αλλαγή στο σενάριο.

Αυτά είναι πιθανά οφέλη για τη ροή εργασίας και όχι μετρημένα κέρδη παραγωγικότητας. Η ανακοίνωση δεν παρέχει ανεξάρτητη αξιολόγηση του πόσο αξιόπιστα οι διορθώσεις μίας λέξης διατηρούν τον περιβάλλοντα ήχο σε διαφορετικές φωνές, προφορές ή δύσκολες μεταβάσεις.

Σκηνές, χαρακτήρες και πολυγλωσσική συνέπεια

Το Drama 3 υποστηρίζει επίσης τη δημιουργία μιας ολοκληρωμένης σκηνής με πολλούς ομιλητές σε ένα μόνο πέρασμα. Η Fish Audio αναφέρει ότι κάθε χαρακτήρας διατηρεί ξεχωριστή φωνή και αποκρίνεται λαμβάνοντας υπόψη τον προηγούμενο διάλογο. Η ανακοίνωση δίνει έμφαση στη συνέπεια των χαρακτήρων σε μεγάλα σενάρια, στις αλλαγές γλώσσας μέσα σε μια σκηνή και στον έλεγχο της προφοράς σε επίπεδο φωνήματος σε γλώσσες όπως τα αγγλικά, τα κινεζικά, τα ιαπωνικά και τα κορεατικά.

Στον διάλογο, η συνοχή δεν περιορίζεται στην αναγνώριση του προσώπου που μιλά. Μια απάντηση πρέπει να ακούγεται σαν φυσική συνέχεια της προηγούμενης ατάκας και όχι σαν άσχετη ηχογράφηση που προστέθηκε σε μια σειρά. Για τον εντοπισμό, η προφορά και ο χαρακτήρας πρέπει επίσης να διατηρούνται κατά τη μετάβαση από τη μία γλώσσα στην άλλη.

Οι ισχυρισμοί της εταιρείας αφορούν και τα δύο προβλήματα, αλλά η πρακτική δοκιμασία θα είναι η ολοκληρωμένη σκηνή: οι ακροατές δεν θα πρέπει να αντιλαμβάνονται απότομες αλλαγές στην ταυτότητα ή στον τρόπο εκφοράς όταν αλλάζει ο ομιλητής, όταν επεξεργάζεται ένα απόσπασμα ή όταν το σενάριο αλλάζει γλώσσα.

Πού εντάσσεται το Drama 3 στην τεχνολογία της Fish Audio

Η προσέγγιση που θέτει σε προτεραιότητα την καθοδήγηση βασίζεται σε μια ερευνητική κατεύθυνση την οποία έχει ήδη περιγράψει η Fish Audio. Η προηγούμενη ερευνητική κυκλοφορία του S2 υποστήριζε οδηγίες σε φυσική γλώσσα, ενσωματωμένες σε συγκεκριμένες θέσεις λέξεων ή φράσεων. Η εταιρεία περιέγραψε μια διπλή αυτοπαλινδρομική αρχιτεκτονική, η οποία διαχωρίζει την πρόβλεψη κατά μήκος της χρονικής γραμμής του ήχου από τη δημιουργία λεπτομερέστερων ακουστικών χαρακτηριστικών, καθώς και ευθυγράμμιση μέσω ενισχυτικής μάθησης για την καταληπτότητα, την τήρηση των οδηγιών και την ομοιότητα της φωνής.

Αυτή η προηγούμενη εργασία προσφέρει χρήσιμο πλαίσιο για την έμφαση που δίνει η Fish Audio στον ελέγξιμο λόγο. Δεν τεκμηριώνει την ακριβή αρχιτεκτονική του Drama 3: η νέα ανακοίνωση αναφέρεται σε αλλαγή της αρχιτεκτονικής, αλλά δεν δημοσιεύει αρκετές λεπτομέρειες ώστε να εξισώσει τα δύο συστήματα ή να μεταφέρει στο Drama 3 τα αποτελέσματα αξιολόγησης του S2.

Για τους προγραμματιστές, η τεκμηρίωση του API μετατροπής κειμένου σε ομιλία παραθέτει το Drama 3 με το αναγνωριστικό μοντέλου drama-3-preview. Τα αιτήματα με πολλούς ομιλητές χρησιμοποιούν μια λίστα αναγνωριστικών φωνής και δείκτες ομιλητών μέσα στο κείμενο. Το τελικό σημείο παρέχει επίσης ρυθμίσεις για την ταχύτητα, την ένταση, τη δειγματοληψία και τις μορφές εξόδου, όπως WAV, PCM, MP3 και Opus.

Η δημόσια σελίδα του προϊόντος και η τεκμηρίωση του API εξακολουθούν να παρουσιάζουν το Drama 3 ως προεπισκόπηση. Η Fish Audio επισημαίνει ότι τα αποτελέσματα διαφέρουν από λήψη σε λήψη και ότι το μοντέλο θα συνεχίσει να αλλάζει. Επομένως, οι ομάδες παραγωγής θα πρέπει να διακρίνουν τους ισχυρισμούς της ανακοίνωσης σχετικά με τις δυνατότητες από τη συνέπεια που παρατηρούν στο δικό τους υλικό.

Ένα εργαλείο παραγωγής κρίνεται από τις αναθεωρήσεις του

Η Fish Audio αναφέρει ότι πλέον εξυπηρετεί περισσότερους από 15 εκατομμύρια χρήστες και έχει φτάσει τα 21 εκατομμύρια δολάρια σε ετήσια επαναλαμβανόμενα έσοδα. Αυτά τα στοιχεία, τα οποία δημοσιοποίησε η ίδια η εταιρεία, εντάσσουν το Drama 3 σε μια ευρύτερη πλατφόρμα που περιλαμβάνει δημιουργία ομιλίας, μεταγραφή, κλωνοποίηση φωνής και δημιουργικά εργαλεία.

Για την κυκλοφορία, η εταιρεία αναφέρει ότι η χρήση του API θα προσφέρεται με έκπτωση 80% για τις πρώτες 30 ημέρες, ενώ οι επιχειρήσεις που πληρούν τα κριτήρια και αλλάζουν πάροχο φωνητικών υπηρεσιών θα δικαιούνται τρεις δωρεάν μήνες. Οι αναγνώστες μπορούν να επισκεφθούν τη σελίδα τιμολόγησης της Fish Audio για τα τρέχοντα προγράμματα και τις λεπτομέρειες της προσφοράς.

Το ισχυρότερο πλεονέκτημα του Drama 3 αναδεικνύεται στο σημείο όπου η δημιουργία συναντά την αναθεώρηση. Μια επιτυχημένη πρώτη λήψη είναι χρήσιμη· αυτό που διευκολύνει την ενσωμάτωση ενός μοντέλου φωνής στη ροή εργασιών μιας παραγωγής είναι να διατηρούνται τα πετυχημένα σημεία της και να διορθώνονται τα αδύναμα. Με αυτή τη δυνατότητα στο επίκεντρο, η κυκλοφορία σηματοδοτεί το επόμενο κεφάλαιο για τη Fish Audio.