Fish Audio выпускает Drama 3 для управления исполнением голосов ИИ и редактирования отдельных слов

В реплике могут быть все нужные слова, но исполнение всё равно может оказаться неудачным. Пауза возникает слишком рано. Персонаж звучит уверенно, хотя по сцене должен колебаться. Неправильно произнесённое слово разрушает убедительность в остальном качественной озвучки.

Fish Audio стремится решить эти производственные задачи с помощью Drama 3 — новой модели преобразования текста в речь, о которой компания объявила 13 октября. По её словам, авторы могут задавать манеру исполнения обычным языком, создавать сцены с несколькими персонажами и исправлять выбранный фрагмент синтезированного аудио, не генерируя заново остальную часть исполнения.

Возможно, самое значимое новшество — возможность внести самое небольшое изменение: заменить одно слово, сохранив голос, настроение и ритм до и после него. Для команд, создающих аудиокниги, дублированный контент, игры или аудиоспектакли, ценность синтетического голоса всё больше зависит от того, насколько легко его можно дорабатывать.

Как задавать голосу манеру исполнения

Drama 3 воспринимает описания тона, темпа и характера, в том числе инструкции, меняющие манеру исполнения внутри предложения. Согласно объявлению, фрагмент может начинаться спокойно, а затем переходить в панику: для каждой эмоциональной части не нужно запускать генерацию заново.

«ИИ уже очень хорошо справляется с генерацией речи. Следующий шаг — управление исполнением», — заявила сооснователь и генеральный директор Fish Audio Рисса Цао в объявлении о запуске.

Общедоступная страница предварительного ознакомления с Drama 3 даёт более наглядное представление о доступных настройках. Пользователи могут помещать указания, звуки и паузы в квадратные скобки или применять парные теги к выбранным словам. Благодаря этому автор может задать эффект — например, шёпот, акцент или более медленную речь — для конкретной фразы. Функция Auto Tag также может предложить первоначальные указания для сценария, которые авторы затем смогут отредактировать.

Творческий потенциал такого подхода очевиден: сценарий становится одновременно текстом диалогов и набором указаний для исполнения. Авторы могут прямо в одном редактируемом тексте прорабатывать смысл реплики, место для вдоха и фразу, на которой нужно сделать акцент.

Инпейнтинг аудио: как исправить неудачный фрагмент

Fish Audio описывает инпейнтинг аудио в Drama 3 как возможность выбрать часть готового исполнения, изменить указания и заново сгенерировать этот фрагмент, сохранив остальную аудиозапись. Сооснователь и главный научный сотрудник Шицзя Ляо утверждает, что модель использует звук по обе стороны от редактируемого слова, чтобы замена органично вписалась в запись.

Это не то же самое, что сгенерировать отдельную реплику на замену. Новый фрагмент должен сочетаться с уже существующим исполнением: на границах правки должны сохраняться убедительные темп, интонация и голосовая индивидуальность.

Представим вымышленную работу над аудиокнигой, в которой рассказчик правильно читает абзац, но неестественно ставит ударение в одном имени. Точечная правка позволила бы сохранить удачное исполнение остальной части абзаца. Такой же подход помог бы команде разработчиков игры изменить короткую реплику после внесения правок в сценарий.

Это потенциальные преимущества для рабочего процесса, а не подтверждённый рост производительности. В описании релиза нет независимой оценки того, насколько надёжно точечная замена одного слова позволяет сохранить окружающее аудио для разных голосов и акцентов или при сложных переходах.

Сцены, персонажи и согласованность между языками

Drama 3 также позволяет за один проход сгенерировать целую сцену с несколькими персонажами. По словам Fish Audio, у каждого персонажа сохраняется свой голос, а его реплики учитывают контекст предыдущего диалога. В анонсе особо отмечены сохранение индивидуальности персонажей на протяжении длинных сценариев, переключение языков внутри сцены и управление произношением на уровне фонем для таких языков, как английский, китайский, японский и корейский.

В диалогах связность — это не просто понимание того, кто говорит. Ответ должен звучать как продолжение предыдущей реплики, а не как посторонняя запись, вставленная в последовательность. При локализации на другой язык также должны сохраняться произношение и характер персонажа.

Заявленные компанией возможности призваны решить обе проблемы, однако на практике всё будет зависеть от готовой сцены: слушатели не должны замечать резких изменений голоса или манеры исполнения при смене говорящего, редактировании фрагмента или переходе сценария на другой язык.

Место Drama 3 в технологической линейке Fish Audio

Подход, в котором на первом месте стоит управление исполнением, продолжает описанное ранее направление исследований Fish Audio. В более раннем исследовательском релизе S2 поддерживались инструкции на естественном языке, встроенные в определённые позиции слов или фраз. Компания описывала двойную авторегрессионную архитектуру, разделяющую прогнозирование по временной шкале аудио и генерацию более тонких акустических деталей, а также выравнивание с помощью обучения с подкреплением для повышения разборчивости, точного следования инструкциям и сходства голосов.

Эта предыдущая работа помогает понять, почему Fish Audio уделяет особое внимание управляемой речи. Однако она не подтверждает, что Drama 3 имеет ту же архитектуру: в новом объявлении упоминается изменение архитектуры, но подробностей недостаточно, чтобы приравнять две системы друг к другу или перенести результаты бенчмарков S2 на Drama 3.

Для разработчиков в документации API преобразования текста в речь Drama 3 указан под идентификатором модели drama-3-preview. Для запросов с несколькими дикторами используется список идентификаторов голосов и маркеры дикторов в тексте. Конечная точка также предоставляет настройки скорости, громкости и сэмплирования, а также позволяет выбирать форматы выходных файлов, включая WAV, PCM, MP3 и Opus.

На общедоступной странице продукта и в документации API Drama 3 по-прежнему описывается как предварительная версия. Fish Audio предупреждает, что результаты могут различаться от попытки к попытке и что модель продолжит меняться. Поэтому производственным командам следует отличать заявленные при запуске возможности от стабильности результатов, которую они наблюдают на собственных материалах.

Производственный инструмент оценивают по тому, как он справляется с правками

По словам Fish Audio, сейчас сервисом пользуются более 15 миллионов человек, а годовая регулярная выручка компании достигла 21 миллиона долларов. Эти данные, предоставленные самой компанией, показывают, что Drama 3 входит в более широкую платформу, объединяющую генерацию речи, транскрибацию, клонирование голоса и творческие инструменты.

Компания сообщает, что в первые 30 дней после запуска стоимость использования API будет снижена на 80%, а предприятиям, соответствующим условиям и переходящим от других поставщиков голосовых решений, предоставят три бесплатных месяца. Актуальные тарифы и подробности предложения можно посмотреть на странице с тарифами Fish Audio.

Главное преимущество Drama 3 проявляется там, где генерация сочетается с редактированием. Удачный первый вариант полезен, но именно возможность сохранить его сильные моменты и исправить слабые помогает легче встроить голосовую модель в производственный процесс. Запуск выводит эту возможность на первый план в новом этапе развития Fish Audio.