研究人员开发出可以演奏钢琴的‘Audeo’人工智能

华盛顿大学的一组研究人员开发了一种名为Audeo的人工智能（AI）系统，可以从无声的钢琴演奏中创建音频。测试阶段涉及音乐识别应用程序，如SoundHound，它可以正确识别Audeo的大约86％的音乐。

该研究于12月8日在NeurlPS 2020会议上发表。

首席作者Eli Shlizerman是该大学应用数学和电气与计算机工程系的助理教授。

“创造出听起来像音乐会演奏的音乐以前被认为是不可能的，”Shlizerman说。“算法需要弄清楚视频帧中与生成音乐相关的线索或‘特征’，并且需要‘想象’视频帧之间发生的声音。它需要一个既精确又富有想象力的系统。我们竟然创造出了听起来相当好的音乐，这是一个惊喜。”

Audeo的工作原理

Audeo系统通过解码视频并将其转换为音乐来工作。首先，AI检测每个视频帧中按下的键，并最终开发出一个图表。然后将图表转换为音乐合成器可以识别的声音。

下一步是清理数据并添加更多信息。这些信息可以包括每个键按下的压力和持续时间等内容。

“如果我们仅从第一步尝试合成音乐，我们会发现音乐的质量是令人不满意的，”Shlizerman说。“第二步就像老师审阅学生作曲家的音乐并帮助提高它一样。”

该系统使用YouTube上钢琴家Paul Barton的视频进行了训练和测试，包括音乐家演奏各种古典作曲家（如莫扎特）的约17.2万个视频帧。Audeo使用19,000个Barton演奏不同音乐的帧进行了测试。

合成器

经过训练后，Audeo会生成音乐的转录，然后将其输入合成器以转换为声音。音乐的音质取决于合成器，这相当于改变电子键盘的乐器设置。

该团队使用了两个独立的合成器。

“Fluidsynth生成我们熟悉的合成器钢琴声音。这些声音有些机械，但相当准确，”Shlizerman说。“我们还使用了PerfNet，一种新的AI合成器，可以生成更丰富、更富有表现力的音乐。但它也会生成更多噪音。”

“这项研究的目标是为了看看人工智能是否可以生成视频录制中钢琴演奏的音乐——尽管我们没有试图复制Paul Barton，因为他是一位大师，”Shlizerman继续说。“我们希望我们的研究能够使人们以新的方式与音乐互动。例如，一个潜在的应用是Audeo可以扩展到带有摄像头记录只有一人双手的虚拟钢琴。另外，通过将摄像头放在真正的钢琴上，Audeo可以潜在地以新的方式帮助学生学习演奏。”

Kung Su和Ziulong Liu，电气与计算机工程系的博士生，是论文的共同作者。