AI 模型与平台
Stability AI 推出 Stable Audio 2.0:以先进的 AI 生成音频赋能创作者

Stability AI 再次通过发布 Stable Audio 2.0 推动创新的边界。该前沿模型在其前作成功的基础上进行构建,推出了一系列突破性功能,承诺彻底改变艺术家和音乐人创作与操控音频内容的方式。
Stable Audio 2.0 标志着 AI 生成音频演进中的重要里程碑,树立了质量、灵活性和创意潜力的新标杆。凭借生成完整曲目、使用自然语言提示转换音频样本以及生成多种音效的能力,该模型为各行业的内容创作者打开了无限可能。
随着对创新音频解决方案的需求持续增长,Stability AI 的最新产品有望成为专业人士提升创作产出、简化工作流程的不可或缺工具。通过利用先进 AI 技术的力量,Stable Audio 2.0 使用户能够在音乐创作、音效设计和音频后期制作中探索未知领域。
Stable Audio 2.0 的关键特性是什么
Stable Audio 2.0 拥有令人印象深刻的功能阵容,可能重新定义 AI 生成音频的格局。从完整曲目生成到音频到音频的转换、增强的音效制作以及风格迁移,该模型为创作者提供了完整的工具箱,以实现其听觉愿景。
完整曲目生成
Stable Audio 2.0 通过能够生成最长达三分钟的完整曲目,与其他 AI 生成音频模型区分开来。这些作品不仅是延伸的片段,而是包含前奏、发展和尾声等明确段落的结构化作品。此功能让用户能够生成具有连贯叙事和进展的完整音乐作品,提升 AI 辅助音乐创作的潜力。
此外,模型还加入了立体声效果,为生成的音频增添深度和维度。这种空间元素的加入进一步提升了曲目的真实感和沉浸感,使其适用于广泛的场景,从视频背景音乐到独立的音乐作品皆可胜任。
音频到音频的生成
Stable Audio 2.0 最令人兴奋的新增功能之一是音频到音频的生成能力。用户现在可以上传自己的音频样本,并通过自然语言提示进行转换。此功能开启了创意的全新天地,使艺术家和音乐人能够以此前难以想象的方式尝试声音的操控与再生。
借助 AI 的力量,用户可以轻松地修改现有音频资产,以符合其特定需求或艺术愿景。无论是改变乐器的音色、调整作品的情绪,还是基于现有样本创造全新声音,Stable Audio 2.0 都提供了一种直观的方式来探索音频转变。
增强的音效制作
除了音乐生成能力外,Stable Audio 2.0 在多样音效的创作方面也表现出色。从细腻的背景噪音,如树叶沙沙声或机器嗡鸣,到更具沉浸感和复杂度的声景,如繁忙的城市街道或自然环境,模型均可生成广泛的音频元素。
该增强音效制作功能对从事电影、电视、视频游戏和多媒体项目的内容创作者尤为有价值。借助 Stable Audio 2.0,用户可以快速轻松地生成高质量音效,而无需繁复的现场配音工作或昂贵的授权素材。
风格迁移
Stable Audio 2.0 引入了风格迁移功能,允许用户无缝修改生成或上传音频的美学和音调特性。此能力使创作者能够将音频输出调整至匹配项目的特定主题、流派或情感基调。
通过应用风格迁移,用户可以尝试不同的音乐风格、混合流派,或创造全新的声彩。此功能对于制作统一的配乐、将音乐适配至特定视觉内容,或探索创意混搭与重混尤为实用。
Stable Audio 2.0 的技术进步
在底层,Stable Audio 2.0 由前沿 AI 技术驱动,使其拥有卓越的性能和高质量输出。模型的架构经过精心设计,以应对生成连贯、完整音频作品的独特挑战,同时在细节上保持细粒度的控制。
潜在扩散模型架构
Stable Audio 2.0 的核心是一种针对音频生成优化的潜在扩散模型架构。该架构由两个关键组件组成:一个高度压缩的 autoencoder 和一个 diffusion transformer(DiT)。
autoencoder 负责高效地将原始音频波形压缩为紧凑的表示。此压缩使模型能够捕获音频的关键特征,同时过滤掉不重要的细节,从而产生更连贯、结构化的生成输出。
扩散 transformer 与 Stability AI 开创性的 Stable Diffusion 3 模型中使用的相似,取代了先前版本使用的传统 U-Net 架构。DiT 在处理长序列数据方面尤为擅长,因而非常适合处理和生成延伸的音频作品。

性能与质量的提升
高度压缩的 autoencoder 与扩散 transformer 的组合,使 Stable Audio 2.0 在性能和输出质量方面相较于前代实现了显著提升。
autoencoder 的高效压缩使模型能够更快地处理和生成音频,降低所需计算资源,使其对更广泛的用户更具可及性。同时,扩散 transformer 对大尺度结构的识别与再现能力,确保生成的音频保持高度的连贯性和音乐完整性。
这些技术进步汇聚成一个能够生成惊人真实且情感共鸣的音频的模型,无论是完整的音乐作品、复杂的声景,还是细腻的音效。Stable Audio 2.0 的架构为未来 AI 生成音频的创新奠定了基础,为创作者提供更为精细和富有表现力的工具铺平了道路。
Stable Audio 2.0 的创作者权益
随着 AI 生成音频的不断进步和日益普及,必须关注其伦理影响并保障创作者的权益。Stability AI 已采取积极措施,优先考虑伦理开发,并为为 Stable Audio 2.0 训练贡献作品的艺术家提供公平报酬。
Stable Audio 2.0 完全使用来自 AudioSparx 的授权数据集进行训练,AudioSparx 是高质量音频内容的可信来源。该数据集包含超过 80 万个音频文件,包括音乐、音效和单乐器音轨,以及相应的文本元数据。通过使用授权数据集,Stability AI 确保模型建立在合法获取且适当归属的音频数据之上。
认识到创作者自主权的重要性,Stability AI 为所有出现在 AudioSparx 数据集中的艺术家提供了选择退出的机会,使其音频不被用于 Stable Audio 2.0 的训练。此退出机制让创作者能够控制其作品的使用方式,并确保仅有愿意让其音频用于 AI 训练的创作者被纳入数据集。
Stability AI 致力于确保为 Stable Audio 2.0 开发作出贡献的创作者获得公平报酬。通过授权 AudioSparx 数据集并提供退出选项,公司展示了构建可持续且公平的 AI 生成音频生态系统的决心,在该生态系统中,创作者的贡献受到尊重并得到回报。
为进一步保护创作者权益并防止版权侵权,Stability AI 与内容识别技术领先提供商 Audible Magic 合作。通过将 Audible Magic 的先进内容识别(ACR)系统整合到音频上传流程中,Stable Audio 2.0 能够识别并标记任何潜在侵权内容,确保平台仅使用原创或已获授权的音频。
通过这些伦理考量和以创作者为中心的举措,Stability AI 为音频领域的负责任 AI 开发树立了坚实的典范。公司通过优先保障创作者权益并制定明确的数据使用与补偿指南,营造了一个协作且可持续的环境,使 AI 与人类创意能够共存并蓬勃发展。
与 Stability AI 共塑音频创作的未来
Stable Audio 2.0 标志着 AI 生成音频的重要里程碑,为创作者提供了完整的工具套件,以探索音乐、音效设计和音频制作的新前沿。凭借其前沿的潜在扩散模型架构、卓越的性能以及对伦理考量和创作者权益的承诺,Stability AI 正站在塑造音频创作未来的前沿。随着该技术的持续演进,AI 生成音频将在创意领域发挥日益关键的作用,为艺术家和音乐人提供突破创作边界、重新定义声音世界的工具。












