访谈
Dubformer 的 CEO 和创始人 Anton Dvorkovich – 采访系列

要点即便语音听起来像真人,AI 配音在情感真实的表演上仍然会失败。
查看更多
- 即便语音听起来像真人,AI 配音在情感真实的表演上仍然会失败。
- VOX-DUB 的开放基准迫使企业用可衡量的证据来证明其配音质量声明。
- AI 本地化将让独立创作者触达曾经只属于大型制片厂的全球受众。
Anton Dvorkovich,Dubformer 的 CEO 和创始人,已经花费了十多年时间来塑造人工智能、语言和语音技术的交叉点。在 2023 年推出 Dubformer 之前,他曾在 Yandex 领导主要的机器学习和 NLP 计划,负责 Yandex Translate、Yandex Keyboard 和语音助手 Alice 等产品,这些产品服务了数百万用户。在 Nebius,他曾担任人工智能部门负责人,推进了大规模智能系统的基础设施建设。他的经验使他能够管理跨职能团队,包括 100 多名工程师、开发人员和研究人员,这为 Dubformer 的愿景奠定了基础,即通过先进的人工智能配音来弥合语言鸿沟。
Dubformer 是一家总部位于阿姆斯特丹的人工智能配音初创公司,已经处理了超过一百万分钟的本地化视频内容。该公司专门使用合成语音来翻译和配音视频,保留情感基调、时机和演讲者个性,帮助创作者、工作室和企业使其内容全球可访问。其平台利用深度学习模型进行语音识别、语音克隆和翻译,提供自然听起来的结果,远远超过传统的配音工具。
在 Yandex 领导 NLP 和语音团队,并在 Nebius 担任人工智能部门负责人之后,您是什么动机让您建立一个专门的人工智能配音公司,您的这些经验如何塑造了您的愿景?
在 Yandex 担任 NLP 部门负责人期间,我对利用技术打破语言障碍产生了热情。我亲眼目睹了(并参与了)人工智能革命,它发生在机器翻译领域——然后我意识到,媒体翻译(音频和视频)仍然是一个大部分未解决的问题。当你看到文本翻译变得几乎完美时,你开始问:关于真正感动人们的故事呢?关于让你笑或哭的表演呢?所以我们决定接受人工智能配音技术的挑战,并超越仅仅可理解的媒体翻译,创造出真正愉快的体验。这就是我们推出 Dubformer 的原因。
您在媒体本地化中确定了哪些具体的差距,您在神经机器翻译和语音技术方面的背景如何影响您解决这个问题的方法?
如今,媒体本地化几乎完全由配音演员完成,这种方法有几个缺点:它非常昂贵,周转时间很慢,扩大规模非常困难,导致人员管理方面的巨大开支。想想看:传统的配音工艺非常出色,但这些限制意味着很多项目根本不会被配音。事实上,95% 的内容仅以原始语言提供。这就是我们要解决的差距。
VOX-DUB 基准是一个重要的里程碑,用于评估配音质量。参与提供了哪些见解,关于行业目前的状况?
VOX-DUB 结果揭示了一个重要的方面:行业已经解决了使人工智能语音听起来像人类一样的问题,但在情感至关重要的内容中,配音仍然是一个未解决的挑战。许多系统可以产生可理解的语音,但很少有系统可以创造出真实且情感上与原版一致的表演。我们已经掌握了大声朗读文本的能力,但我们仍然在学习如何真正表演场景。
您曾谈到过语音保真度和整体语音质量之间的权衡。您如何在您的系统中平衡这些因素?
实际上,权衡往往不是语音保真度和质量之间的,而是在情感、语调和表达转移的深度与结果的稳定性之间。您尝试转移的越多,错误转移的风险就越高,尤其是情感在不同语言中听起来和表达方式不同。在一种语言中听起来充满激情的东西,在另一种语言中可能听起来不自然甚至刺耳。我们旨在在情感准确性和自然性之间找到平衡,确保输出既富有表现力又舒适地听起来。
在您的看法中,什么使人工智能配音从技术和艺术上与传统的文本转语音不同?
传统的文本转语音技术主要关注简单地朗读文本,通常以中性语调为主。人工智能配音,尤其是在媒体行业中,是一个更加复杂的任务,目标不仅是传达意义,还要创造一种存在感和真正的表演。情感、语调、自然的停顿以及与唇部运动和场景节奏的同步等挑战都起着至关重要的作用。从艺术角度来说,人工智能配音更接近演技,而不是简单的朗读;系统必须表演这行台词,而不仅仅是发音。
VOX-DUB 评估框架的哪些方面对您来说最有价值,以推动人工智能媒体本地化中的透明度和责任感?
VOX-DUB 的价值在于它迫使每个人都诚实地面对他们实际能够提供的东西。在这个框架出现之前,公司可以在没有任何验证手段的情况下声称他们的配音质量。关键的突破是 VOX-DUB 通过其全面的基于人类的基准,引入了人工智能配音错误的首个系统性目录。这个 开源数据集 为质量创造了一个共同的语言——原始语音片段、翻译、来自多个系统的生成音频以及五个关键方面的人类注释:发音、自然性、音质、情感相似性和语音相似性。现在,我们第一次拥有了人工智能配音的标准,具有明确的指南和示例。当团队讨论质量时,每个人实际上都在谈论同一件事。任何人都可以看到的发布结果创造了真正的责任感。团队必须用性能数据支持他们的营销声明,涵盖所有五个质量维度。这类开放性改变了整个行业的运作方式,并与需要可靠、可衡量结果的创作者建立信任。
您如何看待像 VOX-DUB 这样的基准对多语言内容创作和分发进度的影响?
拥有明确的基准的美妙之处在于,它为每个人创造了一个遵循的路线图。当团队看到通过 VOX-DUB 结果可以实现什么时,它加速了他们自己的开发时间表。他们不再猜测质量是什么样子,而是有了具体的目标可以瞄准。我看到公司正在压缩他们的路线图,因为他们可以看到其他地方什么是有效的。这一共享的理解正在帮助整个领域共同更快地前进,这意味着更多样化的内容可以更快地到达全球观众。
您的平台在发音和自然性方面取得了强劲的成绩。哪些潜在的创新或模型选择对此贡献最大?
这归结于理解配音不仅仅是关于单个词语,而是关于整个表演生态系统。两个突破使得差异。首先,我们停止将发音视为纯粹的技术问题,开始将其视为情感问题。人们不以完美发音的音节说话;他们在悲伤时模糊词语,在兴奋时急促地说。捕捉这种自然的不完美是至关重要的。其次,我们必须思考整个声音景观。当有人在雨中或回声大教堂中说话时,他们的声音会自然地适应。我们的系统学会了与原始声学环境融合。这些不仅仅是技术改进;它们是关于理解是什么使得语音听起来像人类一样。
您的平台如何将人类专业知识与自动化相结合,以提供专业级别的配音?
我们与传统的配音工作室密切合作,帮助他们的团队培训新的技能和新兴的职业。人工智能处理翻译、同步和语音生成,而专业的审查员、翻译员和音频工程师通过我们的平台进行最终的质量检查。这种方法使我们能够保持工作室级别的质量,同时将周转时间从几周缩短到几小时。自动化提供了可扩展性,人类的专业知识确保了艺术的表现力。这是两全其美的局面:机器的效率与人类的艺术性。
随着人工智能媒体本地化市场的快速增长,您如何看待人工智能在重塑全球创意生产中的更广泛作用?
人工智能本地化将使配音对更广泛的创作者和讲故事的人来说是可及的。它将使他们能够与全球观众分享自己的故事,而不会失去情感深度或文化真实性。随着时间的推移,这将导致内容更加多样化,打开大门迎接曾经无法承担专业配音的独立电影制作人、纪录片制作人、教育内容创作者等。想想看:独立电影制作人、纪录片制作人、教育内容创作者,他们终于可以接触到以前无法接触到的全球观众。
您最期待哪些即将推出的进展或合作,作为下一个发展阶段?
最让我兴奋的是继续改进我们的情感转移能力。我们已经取得了一些进展,但仍有很大的改进空间,以便在保留原始表演的细微差别方面变得更加真实。关于合作,我们正在与传统的配音工作室建立更深层次的合作伙伴关系,以创建结合两者优势的混合工作流。这些工作室拥有几十年的专业知识,我们正在从中学习,同时我们提供技术来扩大他们的艺术性。最令人兴奋的合作是与那些将人工智能视为增强他们的团队和承担他们以前无法承担的更多样化项目的一种方式的工作室。真正的突破将是当我们能够一致地提供让观众忘记是由人工智能创造的表演时。我们正在朝着这个方向前进。
感谢这次精彩的采访,希望读者可以通过访问 Dubformer 来了解更多信息。












