人工智能
AI 训练成本持续大幅下降

高昂的 AI 训练成本一直是采用 AI 技术的重大障碍,阻止了许多公司实施 AI 技术。根据 2017 年 Forrester Consulting 报告,48% 的公司将高技术成本列为未实施 AI 驱动解决方案的主要原因之一。
然而,最近的发展表明,AI 训练成本正在迅速下降,这一趋势预计将在未来继续。根据 ARK Invest Big Ideas 2023 报告,训练一个类似 GPT-3 水平性能的large language 模型的成本从 2020 年的 460 万美元下降到 2022 年的 45 万美元,年降幅达 70%。
让我们进一步探讨 AI 训练成本下降的趋势,并讨论导致这一下降的因素。
AI 训练成本如何随时间变化?
根据 ARK Invest 2020 年的研究,训练深度学习模型的成本改进速度是摩尔定律的 50 倍。事实上,运行 AI 推理系统的费用已经大大降低,几乎可以忽略不计。
此外,训练成本每年下降了十倍。在 2017 年,训练一个图像分类器,如 ResNet-50,在公共云上花费大约 1000 美元,但到 2019 年,成本已经大大降低到大约 10 美元。
这些发现与 2020 年 OpenAI 的报告一致,该报告发现,训练 AI 模型执行相同任务所需的计算能力自 2012 年以来每 16 个月就减少了一半。
此外,ARK 报告强调了 AI 训练成本的下降。报告预测,到 2030 年,训练一个 GPT-3 水平模型的成本将降低到 30 美元,相比 2022 年的 45 万美元。

训练 GPT-3 水平性能的成本 – ARK Invest Big Ideas 2023
导致 AI 训练成本下降的因素
随着 AI 技术的不断改进,训练 AI 模型变得更加便宜和容易,使其更容易被更多的企业所采用。包括硬件和软件成本以及基于云的 AI 在内的几个因素都导致了 AI 训练成本的下降。
让我们进一步探讨这些因素。
1. 硬件
AI 需要专门的高端昂贵的硬件来处理大量的数据和计算。像 NVIDIA、IBM 和 Google 这样的组织提供 GPU 和 TPU 来执行高性能计算(HPC)工作负载。高昂的硬件成本使得大规模民主化 AI变得困难。
然而,随着技术的进步,硬件成本正在降低。根据 ARK Invest 2023 报告,赖特定律预测,AI 相对计算单元(RCU)生产成本(即 AI 训练硬件成本)每年应该降低 57%,到 2030 年,AI 训练成本将降低 70%,如图所示。

AI 训练硬件成本 – ARK Invest Big Ideas 2023
2. 软件
AI 软件训练成本可以通过提高效率和可扩展性每年降低 47%。像 TensorFlow 和 PyTorch 这样的软件框架使开发人员能够在分布式系统上以高性能训练复杂的深度学习模型,从而节省时间和资源。
此外,大型预训练模型(如 Inceptionv3 或 ResNet)和迁移学习技术也有助于降低成本,因为它们允许开发人员微调现有模型,而不是从头开始训练。

AI 软件训练成本 – ARK Invest Big Ideas 2023
3. 基于云的人工智能
基于云的 AI 训练通过提供按需可扩展的计算资源来降低成本。使用按需付费模型,企业只需为其计算资源付费。此外,云提供商提供预构建的 AI 服务,以加速 AI 训练。
例如,Azure Machine Learning 是一个云端服务,用于预测分析,允许快速模型开发和实施。它提供灵活的计算资源和内存。用户可以快速扩展到数千个 GPU,以提高计算性能。它允许用户通过预配置的 AI 环境在网页浏览器中工作,消除了设置和安装的开销。
AI 训练成本下降的影响
AI 训练成本的下降对各个行业和领域有着重大影响,导致创新和竞争力得到提高。
让我们讨论其中几个。
1. 先进 AI 聊天机器人的大规模采用
AI 聊天机器人由于 AI 成本的下降而日益普及。尤其是在 OpenAI 的 ChatGPT 和 GPT-4(生成式预训练变换器)开发之后,许多公司都在寻求开发具有类似或更好能力的 AI 聊天机器人。
例如,ChatGPT 在 2022 年 11 月发布后仅五天就吸引了 100 万用户。虽然目前运行该模型的成本约为每个查询 0.01 美元,但赖特定律预测,到 2030 年,类似 ChatGPT 的聊天机器人应用将能够以更低的成本(估计 650 美元运行 10 亿个查询)大规模部署,具有处理每天 85 亿次搜索的潜力,相当于 Google 搜索。

每亿个查询执行 AI 推理的成本 – ARK Invest Big Ideas 2023
2. 生成式 AI 的使用增加
AI 训练成本的下降导致了生成式 AI 技术的开发和实施激增。2022 年,生成式 AI 的使用量大幅增加,推动因素是创新生成式 AI 工具的出现,例如 DALL-E 2、Meta Make-A-Video 和 Stable Diffusion。2023 年,我们已经见证了一个开创性的模型——GPT-4。
除了图像和文本生成,生成式 AI 还帮助开发人员编写代码。像 GitHub Copilot 这样的程序可以帮助完成编码任务的时间减半。

完成编码任务的时间 – ARK Invest Big Ideas 2023
3. 训练数据的更好利用
降低的 AI 训练成本预计将允许更好地利用机器学习训练数据。例如,ARK Invest 2023 报告表明,到 2030 年,训练一个具有 57 倍参数和 720 倍令牌的模型(与 GPT-3 的 175 亿参数相比)的成本预计将从 17 亿美元降低到 60 万美元。
在这个低成本计算的世界中,数据的可用性和质量将是开发高级机器学习模型的主要限制因素。然而,训练模型将能够处理估计 162 万亿个词或 216 万亿个令牌。
AI 的未来看起来非常有前途。要了解更多关于人工智能领域的最新趋势和研究,请访问 Unite.ai。












