统一语音和手势合成

当我从意大利南部回到英国时，我花了很长时间才停止在说话时使用手势。在英国，使用大胆的手势来支持你的说话方式只会让你看起来过度兴奋；在意大利，作为一个学习语言的人，这实际上帮助我 被理解。即使现在，在我较少使用意大利语的时候，”狂野的手势”又回来了。几乎不可能不动手就说意大利语。

近年来，手势支持的交流 在意大利和犹太文化中 已经引起了公众的关注，不仅仅是马丁·斯科塞斯和伍迪·艾伦早期电影中的一个特征。2013年，纽约时报编制了一个 短视频历史 的意大利手势；学术界开始研究种族对手势的倾向，而不是将其视为一个刻板印象；来自Unicode Consortium的新表情符号 填补了 纯数字、基于文本的交流中手势短缺的问题。

统一语音和手势方法

现在，新的研究来自瑞典KTH皇家理工学院的语音、音乐和听觉部门，旨在将语音和手势识别结合成一个统一的、多模式系统，这可能通过使用身体语言作为语音的集成辅助来增加我们对语音交流的理解，而不是作为一个平行的研究领域。

瑞典语音/手势项目的测试页面视觉效果。 来源：https://swatsw.github.io/isg_icmi21/

该研究提出了一种新的模型，称为集成语音和手势（ISG）合成，并将语音和手势研究中的多个最先进的神经网络模型结合起来。

新的方法放弃了线性 管道模型（其中手势信息是从语音中派生出来的次要处理阶段），而采用了更集成的方法，这种方法在末端用户中得到了同等的评价，并且实现了更快的合成时间和减少的参数数量。

线性与集成语音/手势合成方法。 来源：https://arxiv.org/pdf/2108.11436.pdf

新的多模式系统包含一个自发的文本到语音合成器和一个音频语音驱动的手势生成器，两者都在现有的Trinity Speech Gesture 数据集上进行训练。该数据集包含244分钟的音频和身体捕捉数据，讲述一个男人在不同主题上说话和自由手势的过程。

该工作是 DurIAN 项目的新颖和旁支等价物，后者生成面部表情和语音，而不是手势和语音，并且更属于表情识别和合成的范畴。

架构

该项目的语音和视觉（手势）组件在数据方面是不平衡的；文本是稀疏的，手势是丰富的和数据密集的——这在定义目标和指标方面是一个挑战。因此，研究人员主要通过人类对输出的反应来评估系统，而不是使用更明显的机制方法，例如均方误差（MSE）。

两个主要的ISG模型围绕着 第二代谷歌2017年的 Tacotron 语音合成项目的末端进行开发，以及2020年发表的韩国 Glow-TTS 计划。Tacotron使用自回归LSTM架构，而Glow-TTS则通过卷积运算符并行运行，具有更快的GPU性能和没有自回归模型可能出现的稳定性问题。

研究人员在项目期间测试了三个有效的语音/手势系统：2021年由部分相同的研究人员发表的 多模式语音和手势生成 的修改版本；Tacotron 2的修改ISG版本；以及Glow-TTS的高度修改ISG版本。

为了评估系统，研究人员创建了一个基于Web的反馈环境，包含有预定义文本段的发音和移动的3D人（环境的总体外观可以在 公共项目页面 中看到）。

测试环境。

测试对象被要求根据语音和手势、语音和手势分别评估系统的性能。结果显示，新的ISG版本比旧的管道版本略有改进，尽管新系统运行速度更快，资源更少。

当被问及“手势有多人性化？”时，完全集成的ISG模型略领先于较慢的管道模型，Tacotron和Glow基于模型落后。

嵌入式耸肩

Tacotron2-ISG模型是三个方法中最成功的，表现出了一种与数据集中一些最常见的短语（如“我不知道”）相关的“潜意识”学习——尽管没有明确的数据来生成一个伴随该短语的耸肩动作，研究人员发现生成器确实会耸肩。

研究人员指出，该项目的非常规性质不可避免地意味着缺乏一般资源，例如专门的数据集，它们以适合训练此类系统的方式整合语音和手势数据。尽管如此，他们仍认为这是一条有前途且鲜为人知的语音、语言学和手势识别研究途径。