Fish Audio uvádí Drama 3: umožňuje řídit hlasy generované AI a upravovat jediné slovo

Dialog může obsahovat všechna správná slova, a přesto vyznít špatně. Pauza přijde příliš brzy. Postava působí sebejistě, přestože si scéna žádá váhání. Jediné nesprávně vyslovené slovo naruší jinak přesvědčivý přednes.

Fish Audio se s novým modelem převodu textu na řeč Drama 3, který oznámila 13. října, zaměřuje na tyto problémy při tvorbě zvukového obsahu. Společnost uvádí, že tvůrci mohou běžným jazykem určovat způsob přednesu, generovat scény s více mluvčími a opravit vybraný úsek syntetizovaného zvuku, aniž by museli znovu generovat okolní část přednesu.

Nejvýznamnější funkcí může být ta nejmenší úprava: změna jediného slova při zachování hlasu, nálady a rytmu v jeho okolí. Pro týmy, které vytvářejí audioknihy, dabovaný obsah, hry nebo zvuková dramata, stále více záleží na tom, jak snadno lze syntetický hlas upravovat.

Jak režijně vést hlasový projev

Drama 3 přijímá popisy tónu, tempa a charakteru, včetně pokynů, které mění způsob přednesu v průběhu věty. Podle oznámení může pasáž začínat klidně a postupně přejít v paniku, takže není nutné pro každou emoční část vytvářet novou verzi.

„Hlasová AI se velmi dobře naučila generovat řeč. Dalším krokem je režijní vedení přednesu,“ uvedla v oznámení o uvedení Rissa Cao, spoluzakladatelka a generální ředitelka Fish Audio.

Veřejná stránka s ukázkou Drama 3 od společnosti nabízí konkrétnější představu o možnostech ovládání. Uživatelé mohou do hranatých závorek vložit pokyny, zvuky a pauzy nebo k vybraným slovům přidat párové značky. Autor tak může vztáhnout efekt, například šeptání, důraz nebo pomalejší přednes, ke konkrétní frázi. Funkce Auto Tag může také navrhnout úvodní pokyny ke scénáři, které pak tvůrci mohou upravit.

Důsledek pro tvůrčí práci je zřejmý: scénář se stává zároveň dialogem i souborem pokynů k přednesu. Autoři mohou v jednom upravitelném textu pracovat s tím, co postava myslí, kde se má nadechnout i které frázi je třeba dát důraz.

Rekonstrukce zvuku: oprava nepovedeného okamžiku

Fish Audio popisuje rekonstrukci zvuku v Drama 3 jako možnost vybrat část existujícího přednesu, upravit pokyny a znovu vygenerovat daný úsek, přičemž okolní zvuk zůstane zachován. Spoluzakladatel a hlavní vědecký pracovník Shijia Liao uvádí, že model při vytváření náhrady využívá zvuk po obou stranách upravovaného slova, aby do přednesu zapadla.

Jde o jiný úkol než vygenerovat samostatnou náhradní repliku. Nový zvuk musí navazovat na již vytvořený přednes: na rozhraní úpravy musí zůstat věrohodné jeho načasování, intonace i hlasová identita.

Představme si fiktivní produkci audioknihy, v níž vypravěč přečte odstavec správně, ale jedno jméno zdůrazní neobratně. Cílená oprava by mohla zachovat zdařilý přednes zbytku odstavce. Stejný postup by mohl hernímu týmu pomoci upravit krátkou repliku po změně scénáře.

Jde o možné přínosy pro pracovní postup, nikoli o změřené zvýšení produktivity. Oznámení neuvádí nezávislé hodnocení toho, nakolik spolehlivě opravy jednotlivých slov zachovávají okolní zvuk u různých hlasů, přízvuků nebo obtížných přechodů.

Scény, postavy a vícejazyčná konzistence

Drama 3 podporuje také jednorázové vygenerování celé scény s více mluvčími. Fish Audio uvádí, že si každá postava zachovává vlastní hlas a reaguje v kontextu předchozího dialogu. Oznámení zdůrazňuje konzistenci postav v dlouhých scénářích, změny jazyka v rámci scény a řízení výslovnosti na úrovni fonémů v jazycích včetně angličtiny, čínštiny, japonštiny a korejštiny.

U dialogu kontinuita nespočívá jen v rozpoznání toho, kdo právě mluví. Reakce musí znít tak, jako by navazovala na předchozí repliku, a ne jako nesouvisející nahrávka vložená do řady. Při lokalizaci se navíc musí při přechodu mezi jazyky zachovat výslovnost i charakter postav.

Tvrzení společnosti se týkají obou problémů, skutečnou zkouškou však bude až hotová scéna: posluchači by při střídání mluvčích, úpravě pasáže nebo změně jazyka scénáře neměli zaznamenat náhlé změny identity či způsobu přednesu.

Jak Drama 3 zapadá do technologií Fish Audio

Přístup, který staví pokyny do popředí, navazuje na dosavadní výzkumnou dráhu, kterou Fish Audio již popsala. Její dřívější výzkumné uvedení S2 podporovalo pokyny v přirozeném jazyce vložené na konkrétní pozice u slov či frází. Společnost popsala duální autoregresivní architekturu, která odděluje predikci na časové ose zvuku od generování jemnějších akustických detailů, a také sladění pomocí posilovaného učení zaměřené na srozumitelnost, dodržování pokynů a podobnost hlasu.

Tato dřívější práce poskytuje užitečný kontext pro zaměření Fish Audio na ovladatelnou řeč. Neprokazuje však přesnou architekturu Drama 3: nové oznámení zmiňuje změnu architektury, ale nezveřejňuje dostatek podrobností, aby bylo možné oba systémy považovat za totožné nebo přenést výsledky benchmarků S2 na Drama 3.

Pro vývojáře uvádí dokumentace API pro převod textu na řeč Drama 3 pod identifikátorem modelu drama-3-preview. Požadavky s více mluvčími využívají seznam identifikátorů hlasů a značky mluvčích v textu. Koncový bod nabízí také ovládací prvky pro rychlost, hlasitost, vzorkování a výstupní formáty včetně WAV, PCM, MP3 a Opus.

Veřejná produktová stránka a dokumentace API stále označují Drama 3 jako předběžnou verzi. Fish Audio upozorňuje, že výsledky se při jednotlivých pokusech liší a model se bude nadále měnit. Produkční týmy by proto měly rozlišovat mezi funkcemi uváděnými při uvedení na trh a konzistencí, kterou pozorují ve vlastních materiálech.

Produkční nástroj se posuzuje podle možností úprav

Fish Audio uvádí, že nyní obsluhuje více než 15 milionů uživatelů a dosáhla ročních opakujících se výnosů ve výši 21 milionů dolarů. Tyto údaje zveřejněné společností zasazují Drama 3 do širší platformy zahrnující generování řeči, přepis, klonování hlasu a kreativní nástroje.

Při uvedení na trh společnost uvádí, že používání API bude prvních 30 dní zlevněno o 80 % a podniky, které splňují podmínky a přecházejí od jiných poskytovatelů hlasových služeb, získají tři měsíce zdarma. Aktuální tarify a podrobnosti nabídky si čtenáři mohou ověřit na stránce s cenami Fish Audio.

Přínos Drama 3 vynikne nejvíce tam, kde se generování propojuje s úpravami. Působivý první výsledek je užitečný; možnost zachovat zdařilé pasáže a zároveň opravit ty slabší usnadňuje začlenění hlasového modelu do produkčního pracovního postupu. Uvedením této schopnosti do popředí zahajuje Fish Audio další kapitolu svého vývoje.