Fish Audio推出Drama 3：为AI语音指导表演，并可编辑单个词

一句台词即使字字无误，呈现出来的效果仍可能不对。停顿来得太早；场景需要角色犹豫时，角色听起来却信心十足；一个词发音错误，就会破坏原本令人信服的旁白。

Fish Audio正通过Drama 3解决这些制作难题。这款全新的文本转语音模型于10月13日发布。该公司表示，创作者可以用日常语言指导语音表达、生成多人对话场景，还能修复合成音频中的指定片段，而不必重新生成前后部分的表演。

最具影响力的功能或许也是最细微的编辑：只修改一个词，同时保留其前后语音的音色、情绪和节奏。对于制作有声书、配音内容、游戏或音频剧的团队而言，合成语音的价值越来越取决于修改起来是否方便。

为语音表演提供指导

Drama 3支持输入对语气、节奏和角色特点的描述，也能接受在句子中途改变表达方式的指令。发布公告称，一段话可以先平静地说，随后转为惊慌，而无须为每个情绪段落分别重新生成。

Fish Audio联合创始人兼首席执行官Rissa Cao在发布公告中表示：“语音AI已经非常擅长生成语音。下一步是指导表演。”

该公司的Drama 3公开预览页面更具体地展示了这些控制功能。用户可以在方括号中加入指示、声音和停顿，也可以为选定的词语添加成对标签。这样，创作者就能将耳语、强调或放慢语速等效果限定在特定短语上。自动标签功能还可以为剧本提供初步指示建议，创作者之后可以再行修改。

这对创作的意义很直接：剧本既是对话，也是表演指示的集合。创作者可以在同一份可编辑文本中处理角色的言外之意、呼吸应落在何处，以及哪些短语需要强调。

音频修复：修正出错的瞬间

Fish Audio将Drama 3的音频修复功能描述为：选取现有表演中的一段，更新指示，然后重新生成该片段，同时保留周围的音频。联合创始人兼首席科学家Shijia Liao表示，模型会利用编辑词语前后的声音，让替换内容自然衔接。

这与生成一条孤立的替换台词并非同一回事。新音频必须融入已有表演：在编辑边界处，时间安排、语调和声音特征都需要保持自然可信。

设想一部虚构的有声书：旁白正确地读完一段文字，却把某个人名的重音读得很别扭。针对性修复可以保留该段其余部分的成功演绎。剧本改动后，游戏团队也可以用同样的方法修改一小段对白。

这些是潜在的工作流程优势，并非经过测量的效率提升。此次发布没有提供独立评估，无法说明单词级修复在不同声音、口音或棘手衔接处，能否可靠地保留周围音频。

场景、角色与多语言一致性

Drama 3还支持一次性生成完整的多人对话场景。Fish Audio表示，每个角色都能保持鲜明独特的声音，并结合前文对话作出回应。此次发布重点介绍了长篇剧本中的角色一致性、场景内切换语言，以及英语、中文、日语和韩语等语言中的音素级发音控制。

对话的连贯性不仅仅在于识别说话者。回应听起来应当像是接续上一句，而不是一段与上下文无关、被拼接进对话的录音。进行本地化时，发音和角色塑造也必须在切换语言后得以保留。

该公司宣称能够解决这两个问题，但实际效果要看最终完成的场景：无论是说话者交替、片段经过编辑，还是剧本切换语言，听众都不应察觉角色特征或表达方式突然变化。

Drama 3在Fish Audio技术路线中的定位

以指示为先的方法，建立在Fish Audio此前介绍过的研究路线之上。该公司早先发布的S2研究成果支持在特定词语或短语的位置嵌入自然语言指令。该公司介绍了一种双自回归架构，将沿音频时间轴进行的预测与更精细声学细节的生成分开；此外，还采用强化学习对齐，以提升清晰度、指令遵循度和声音相似度。

此前的工作有助于了解Fish Audio为何专注于可控语音，但并不能确定Drama 3的确切架构：新公告提到架构有所变化，却未公布足够细节，无法据此认定这两个系统相同，也不能将S2的基准测试结果套用于Drama 3。

对于开发者，文本转语音 API 文档将 Drama 3 列在模型标识符项下 drama-3-preview。多说话人请求会在文本中使用语音标识符列表和说话人标记。该端点还提供语速、音量、采样方式以及输出格式等控制选项，支持 WAV、PCM、MP3 和 Opus。

产品公开页面和 API 文档仍将 Drama 3 描述为预览版。Fish Audio 提醒用户，不同次生成的结果可能有所差异，模型也会继续迭代。因此，制作团队应将发布时宣称的功能与他们在自己的素材中观察到的一致性区分开来。

制作工具的价值，要看它能否胜任修改工作

Fish Audio 表示，目前服务的用户已超过 1,500 万，年度经常性收入已达 2,100 万美元。这些由公司公布的数据表明，Drama 3 属于一个业务范围更广的平台，该平台涵盖语音生成、转录、语音克隆和创意工具。

该公司表示，在此次发布期间，API 使用费用将在前 30 天优惠 80%；符合条件且正在更换语音服务提供商的企业，则可享受三个月免费服务。读者可查看Fish Audio 的定价页面，了解当前套餐和优惠详情。

Drama 3 的价值，最能体现在生成与修改的衔接之处。第一次生成的效果令人满意固然有用；但能够保留其中成功的部分，同时修正效果不佳之处，才让语音模型更容易融入制作工作流程。此次发布将这一能力置于 Fish Audio 下一阶段发展的核心位置。