Fish Audio wprowadza Drama 3, aby sterować głosami AI i edytować pojedyncze słowa

Linijka dialogu może zawierać wszystkie właściwe słowa, a mimo to brzmieć niewłaściwie. Pauza pojawia się zbyt wcześnie. Postać brzmi pewnie, choć scena wymaga wahania. Jedno błędnie wymówione słowo burzy wiarygodność całej narracji.

Fish Audio chce rozwiązać te problemy produkcyjne za pomocą Drama 3, nowego modelu syntezy mowy z tekstu, zapowiedzianego 13 października. Firma informuje, że twórcy mogą opisywać sposób wypowiedzi zwykłym językiem, generować sceny z udziałem wielu osób i poprawiać wybrany fragment syntetycznego nagrania bez ponownego generowania otaczającej go wypowiedzi.

Najważniejszą funkcją może okazać się najmniejsza zmiana: poprawienie pojedynczego słowa z zachowaniem głosu, nastroju i rytmu po obu jego stronach. Dla zespołów tworzących audiobooki, treści z dubbingiem, gry lub słuchowiska wartość syntetycznego głosu coraz bardziej zależy od tego, jak łatwo można go poprawiać.

Nadawanie głosowi odpowiedniego wyrazu

Drama 3 przyjmuje opisy tonu, tempa i charakteru postaci, w tym instrukcje zmieniające sposób wypowiedzi w obrębie jednego zdania. Zgodnie z zapowiedzią fragment może zacząć się spokojnie, a następnie przejść w panikę, bez konieczności ponownego generowania każdej części o innym zabarwieniu emocjonalnym.

„Sztuczna inteligencja do generowania głosu bardzo dobrze radzi sobie już z tworzeniem mowy. Kolejnym krokiem jest reżyserowanie występu” — powiedziała Rissa Cao, współzałożycielka i dyrektor generalna Fish Audio, w komunikacie o premierze.

Na publicznej stronie prezentacyjnej Drama 3 firmy można dokładniej przyjrzeć się dostępnym opcjom. Użytkownicy mogą umieszczać wskazówki, dźwięki i pauzy w nawiasach kwadratowych albo dodawać pary znaczników do wybranych słów. Dzięki temu autor może przypisać konkretnemu wyrażeniu efekt, taki jak szept, nacisk lub wolniejsze tempo. Funkcja Auto Tag może również zaproponować wstępne wskazówki do scenariusza, które twórcy mogą następnie poprawić.

Wniosek dla twórców jest prosty: scenariusz staje się jednocześnie dialogiem i zbiorem instrukcji dotyczących wykonania. Autorzy mogą pracować nad tym, co postać ma na myśli, miejscem na oddech i wyrażeniem, które należy zaakcentować — a wszystko to w ramach tego samego edytowalnego tekstu.

Uzupełnianie audio: poprawianie nieudanego fragmentu

Fish Audio opisuje funkcję uzupełniania audio w Drama 3 jako sposób na zaznaczenie części istniejącego nagrania, zmianę instrukcji i ponowne wygenerowanie tego fragmentu z zachowaniem otaczającego go dźwięku. Współzałożyciel i główny naukowiec Shijia Liao twierdzi, że model wykorzystuje dźwięk po obu stronach edytowanego słowa, aby dopasować do niego zamiennik.

To inne zadanie niż wygenerowanie odizolowanej kwestii na zastępstwo. Nowy dźwięk musi pasować do istniejącego wykonania: jego rytm, intonacja i tożsamość głosu muszą pozostać wiarygodne na granicach edytowanego fragmentu.

Wyobraźmy sobie fikcyjną produkcję audiobooka, w której lektor poprawnie odczytuje akapit, ale nienaturalnie akcentuje jedno imię. Precyzyjna poprawka mogłaby pozwolić zachować udane wykonanie pozostałej części akapitu. Takie samo podejście mogłoby pomóc zespołowi tworzącemu grę poprawić krótki dialog po zmianie scenariusza.

Są to potencjalne korzyści dla przebiegu pracy, a nie zmierzone wzrosty produktywności. W opisie premiery nie przedstawiono niezależnej oceny tego, jak niezawodnie poprawki pojedynczych słów pozwalają zachować otaczające je audio w przypadku różnych głosów, akcentów lub trudnych przejść.

Sceny, postacie i spójność wielojęzyczna

Drama 3 umożliwia również wygenerowanie kompletnej sceny z wieloma mówiącymi za jednym razem. Fish Audio informuje, że każda postać zachowuje odrębny głos i reaguje stosownie do wcześniejszego dialogu. W zapowiedzi podkreślono spójność postaci w długich scenariuszach, zmiany języka w obrębie sceny oraz kontrolę wymowy na poziomie fonemów w takich językach jak angielski, chiński, japoński i koreański.

W dialogu ciągłość oznacza coś więcej niż rozpoznanie, kto mówi. Odpowiedź powinna brzmieć tak, jakby wynikała z poprzedniej kwestii, a nie jak niezwiązane z nią nagranie wklejone w ciąg wypowiedzi. W lokalizacji międzyjęzykowej trzeba również zachować wymowę i charakter postaci.

Deklaracje firmy odnoszą się do obu problemów, ale praktycznym sprawdzianem będzie gotowa scena: słuchacze nie powinni słyszeć nagłych zmian tożsamości głosu ani sposobu wypowiedzi przy zmianie mówiących, edycji fragmentu lub zmianie języka scenariusza.

Miejsce Drama 3 wśród technologii Fish Audio

Podejście, w którym punktem wyjścia są instrukcje dotyczące wykonania, rozwija kierunek badań, o którym Fish Audio informowało już wcześniej. Wcześniejsza publikacja badawcza S2 opisywała obsługę instrukcji sformułowanych w języku naturalnym i osadzonych w określonych miejscach tekstu — przy konkretnych słowach lub wyrażeniach. Firma opisała dwuautoregresyjną architekturę, która rozdziela przewidywanie przebiegu dźwięku w czasie od generowania bardziej szczegółowych właściwości akustycznych, a także dopasowanie z wykorzystaniem uczenia przez wzmacnianie, ukierunkowane na zrozumiałość, stosowanie się do instrukcji i podobieństwo głosu.

Wcześniejsze prace stanowią przydatny kontekst dla zainteresowania Fish Audio sterowalną syntezą mowy. Nie potwierdzają jednak dokładnej architektury Drama 3: w nowej zapowiedzi wspomniano o zmianie architektury, ale nie opublikowano wystarczających szczegółów, by uznać oba systemy za równoważne ani przypisać Drama 3 wyniki testów porównawczych S2.

Dla deweloperów dokumentacja API do syntezy mowy wymienia Drama 3 pod identyfikatorem modelu drama-3-preview. Żądania obejmujące wielu mówców wykorzystują listę identyfikatorów głosów i znaczniki mówców umieszczone w tekście. Punkt końcowy udostępnia też ustawienia szybkości, głośności, próbkowania i formatów wyjściowych, w tym WAV, PCM, MP3 i Opus.

Publiczna strona produktu i dokumentacja API nadal opisują Drama 3 jako wersję wstępną. Fish Audio informuje, że wyniki mogą się różnić między kolejnymi próbami, a model będzie nadal się zmieniać. Zespoły produkcyjne powinny więc odróżniać deklarowane przy premierze funkcje od powtarzalności, jaką zaobserwują we własnych materiałach.

Narzędzie produkcyjne ocenia się po jakości wprowadzanych poprawek

Fish Audio informuje, że obsługuje już ponad 15 milionów użytkowników i osiągnęło 21 milionów dolarów rocznych przychodów powtarzalnych. Te dane podane przez firmę sytuują Drama 3 w ramach szerszej platformy obejmującej generowanie mowy, transkrypcję, klonowanie głosu i narzędzia kreatywne.

Firma informuje, że z okazji premiery ceny korzystania z API będą niższe o 80% przez pierwsze 30 dni, a kwalifikujące się przedsiębiorstwa zmieniające dostawcę usług głosowych otrzymają trzy bezpłatne miesiące. Aktualne plany i szczegóły oferty można sprawdzić na stronie z cennikiem Fish Audio.

Drama 3 ma najwięcej do zaoferowania tam, gdzie generowanie łączy się z poprawianiem. Przekonująca pierwsza wersja jest przydatna, ale to możliwość zachowania udanych fragmentów i poprawienia słabszych sprawia, że model głosu łatwiej włączyć do procesu produkcyjnego. Premiera stawia tę funkcję w centrum kolejnego etapu rozwoju Fish Audio.