Fish Audio запускає Drama 3 для керування голосами ШІ та редагування окремих слів

У репліці можуть бути всі потрібні слова, але звучати вона все одно може не так, як треба. Пауза з’являється надто рано. Персонаж звучить упевнено, хоча сцена вимагає нерішучості. Неправильно вимовлене слово руйнує враження від решти переконливої оповіді.

Fish Audio прагне розв’язати ці виробничі проблеми за допомогою Drama 3 — своєї нової моделі синтезу мовлення, про яку компанія оголосила 13 жовтня. За словами компанії, творці можуть задавати манеру озвучення звичайною мовою, генерувати сцени з кількома мовцями та виправляти вибраний фрагмент синтезованого аудіо, не генеруючи повторно решту озвучення.

Найважливішою функцією може виявитися найменша правка: змінити одне слово, зберігши голос, настрій і ритм до та після нього. Для команд, які створюють аудіокниги, дубльований контент, ігри чи аудіодрами, цінність синтетичного голосу дедалі більше залежить від того, наскільки легко його можна редагувати.

Керування манерою озвучення

Drama 3 сприймає описи тону, темпу й характеру, зокрема інструкції, які змінюють манеру озвучення в межах речення. Згідно з оголошенням, уривок може починатися спокійно, а згодом переходити в панічний тон, тож генерувати окремий фрагмент для кожної емоційної частини не потрібно.

«ШІ для роботи з голосом уже дуже добре генерує мовлення. Наступний крок — керування виконанням», — сказала співзасновниця й генеральна директорка Fish Audio Рісса Цао в оголошенні про запуск.

Публічна сторінка попереднього перегляду Drama 3 від компанії дає змогу краще зрозуміти, як працюють елементи керування. Користувачі можуть додавати вказівки, звуки й паузи у квадратних дужках або застосовувати парні теги до вибраних слів. Завдяки цьому автор може задати певний ефект — наприклад, шепіт, наголос чи повільніше мовлення — для конкретної фрази. Функція Auto Tag також може запропонувати початкові вказівки для сценарію, які творці згодом відредагують.

Творчі можливості такого підходу очевидні: сценарій стає водночас і діалогом, і набором інструкцій щодо виконання. Працюючи з одним текстом, який можна редагувати, автори можуть визначати, що має на увазі персонаж, де потрібен вдих і на якій фразі слід наголосити.

Інпейнтинг аудіо: як виправити невдалий фрагмент

За описом Fish Audio, інпейнтинг аудіо в Drama 3 дає змогу вибрати фрагмент уже готового озвучення, оновити інструкції та згенерувати цей фрагмент повторно, зберігши решту аудіо. Співзасновник і головний науковець компанії Шицзя Ляо каже, що модель використовує звук до й після відредагованого слова, щоб новий варіант органічно вписувався в запис.

Це завдання відрізняється від генерування окремої замінної репліки. Нове аудіо має поєднуватися з уже наявним озвученням: на межах відредагованого фрагмента мають зберігатися переконливі таймінг, інтонація та голосова ідентичність.

Уявімо вигадане виробництво аудіокниги: оповідач правильно читає абзац, але незграбно наголошує одне ім’я. Точкова правка могла б зберегти вдале озвучення решти абзацу. Такий самий підхід допоміг би команді розробників гри змінити коротку репліку після редагування сценарію.

Це потенційні переваги для робочого процесу, а не виміряний приріст продуктивності. У матеріалах про запуск немає незалежної оцінки того, наскільки надійно виправлення окремих слів зберігають навколишнє аудіо для різних голосів, акцентів і складних переходів.

Сцени, персонажі та узгодженість між мовами

Drama 3 також дає змогу згенерувати цілу сцену з кількома мовцями за один прохід. За словами Fish Audio, кожен персонаж зберігає відмінний голос і відповідає з урахуванням попереднього діалогу. В оголошенні наголошується на узгодженості персонажів у довгих сценаріях, переходах між мовами в межах сцени та керуванні вимовою на рівні фонем такими мовами, як англійська, китайська, японська й корейська.

У діалозі безперервність — це не лише розуміння того, хто говорить. Відповідь має звучати так, ніби вона продовжує попередню репліку, а не є стороннім записом, вставленим у послідовність. Під час локалізації між мовами мають зберігатися також вимова й характер персонажів.

Заяви компанії стосуються обох проблем, але справжнім випробуванням стане готова сцена: слухачі не повинні помічати різких змін голосу чи манери озвучення під час зміни мовців, редагування уривка або переходу сценарію на іншу мову.

Місце Drama 3 серед технологій Fish Audio

Підхід, у якому на першому місці стоять інструкції, розвиває дослідницький напрям, про який Fish Audio вже розповідала. У попередньому дослідницькому релізі S2 підтримувалися інструкції природною мовою, вбудовані в певні позиції слів або фраз. Компанія описувала дворівневу авторегресійну архітектуру, яка розділяє передбачення на часовій шкалі аудіо та генерування тонших акустичних деталей, а також вирівнювання за допомогою навчання з підкріпленням для забезпечення розбірливості, дотримання інструкцій і подібності голосу.

Ця попередня робота допомагає зрозуміти, чому Fish Audio зосереджується на керованому мовленні. Однак вона не підтверджує, що Drama 3 має саме таку архітектуру: у новому оголошенні згадується зміна архітектури, але не наведено достатньо подробиць, щоб ототожнити дві системи або перенести на Drama 3 результати тестів S2.

Для розробників у документації API перетворення тексту на мовлення Drama 3 зазначено під ідентифікатором моделі drama-3-preview. У запитах із кількома мовцями використовують список ідентифікаторів голосів і позначки мовців у тексті. Кінцева точка API також надає налаштування швидкості, гучності, семплювання та форматів виведення, зокрема WAV, PCM, MP3 і Opus.

На публічній сторінці продукту та в документації API Drama 3 досі описують як попередню версію. Fish Audio попереджає, що результати можуть відрізнятися від спроби до спроби, а модель і надалі змінюватиметься. Тому виробничим командам слід розрізняти заявлені під час запуску можливості та стабільність роботи, яку вони спостерігають на власних матеріалах.

Виробничий інструмент оцінюють за тим, як він справляється з правками

За словами Fish Audio, зараз сервісом користуються понад 15 мільйонів людей, а його річний регулярний дохід сягнув 21 мільйона доларів. Ці показники, наведені самою компанією, вписують Drama 3 у ширшу платформу, що охоплює генерування мовлення, транскрибування, клонування голосу та творчі інструменти.

Компанія повідомляє, що протягом перших 30 днів після запуску користування API коштуватиме на 80% дешевше, а підприємства, які відповідають вимогам і переходять від інших постачальників голосових технологій, отримають три місяці безкоштовного користування. Актуальні тарифи й докладні умови пропозиції можна переглянути на сторінці тарифів Fish Audio.

Найпереконливіша перевага Drama 3 проявляється на стику генерування та редагування. Вдалий перший варіант — це корисно, але саме можливість зберегти вдалі моменти й виправити слабкі робить голосову модель зручнішою для впровадження у виробничий процес. Цей запуск ставить таку можливість у центр нового етапу розвитку Fish Audio.