谷歌刚刚发布了人工智能能耗的真实数据——结果出乎意料

每个人都在谈论人工智能巨大的能耗。您已经看到了这些标题：“ChatGPT 使用的电力相当于一个小国家”或“每个人工智能查询消耗一瓶水。”

谷歌 刚刚发布了实际数据，来自他们的生产系统，数字告诉了一个完全不同的故事。

您的 AI 查询的真实能耗

谷歌发现：中位数 Gemini 文本提示使用 0.24 瓦特小时的能量。这比看电视九秒钟还少。水消耗？五滴。不是五杯。五滴。

公众的认知和现实之间的差距是巨大的。以前的估计表明，人工智能提示消耗的水量从 10 到 50 毫升不等。一些研究表明，能耗比谷歌在生产中测量的要高 30 倍。

为什么会有这么大的差异？因为以前没有人在大规模上测量过真正的系统。学术研究是在未充分利用的硬件上运行的孤立测试。它们基本上是在车库里测量一辆汽车的燃油效率，而汽车却在发动机怠速状态下运行。

44 倍的改进

谷歌在一年内将人工智能碳排放量减少了 44 倍。不仅仅是 44% 的改进——而是 44 倍的改进。

这不是实验室中的一种理论改进。这是在为数十亿查询提供服务的系统中正在发生的改进。他们通过软件优化（33 倍的改进）和更清洁的能源来源（1.4 倍的改进）实现了这一目标。

大多数研究只关注执行计算的人工智能芯片。这就像只计算餐厅的烤箱能耗，而忽略了冰箱、灯光和暖通空调系统。

谷歌的数据显示了完整的图景：是的，人工智能加速器使用了 58% 的能量。但您还需要常规处理器和内存（24%）、备份容量以实现可靠性（10%）和冷却系统（8%）。如果您在测量中跳过任何这些，数字基本上是毫无意义的。

当谷歌应用了所有人都使用的狭义方法——仅在完全利用的机器上测量人工智能芯片——他们的能耗数字下降到 0.10 瓦特小时。实际的生产系统使用了 2.4 倍的能量，因为实际系统需要冗余、冷却和支持基础设施。

这对人工智能的未来意味着什么

关于人工智能能耗的叙述需要一个现实检查。是的，人工智能使用能量。但是，经过适当优化的系统比末日情景所暗示的要高效得多。

背景很重要。在每个查询中使用 0.24 瓦特小时的能量？美国人平均每天使用大约 30 千瓦时的电力。您需要运行 125,000 个人工智能查询才能匹配典型家庭一天的能耗。

水消耗的故事更加戏剧化。每个查询五滴水？您在洗手的第一秒钟内使用的水更多。

优化栈

谷歌并不是通过某个单一的突破来实现这些数字的。他们正在 在系统的每一层上叠加优化。

他们运行较小的“草稿”模型来草拟响应，然后仅在需要时使用较大的模型进行验证。他们将成千上万的查询批量在一起以提高效率。他们使用专门为人工智能工作负载设计的定制芯片，这些芯片的效率比第一代芯片高 30 倍。

他们的数据中心运行在仅 9% 的开销以上的理论最低限度——基本上是物理上可能的最有效的。并且他们越来越多地使用清洁能源，即使电力使用量增加也能减少排放。

结论

这只在公司真正优化整个堆栈并正确测量时才有效。把人工智能基础设施当作事后补充，运行效率低下的系统在脏电网上？他们才是制造每个人都担心的问题的人。

高效和低效的人工智能系统之间的差距绝对巨大。现在，大多数行业仍然在运行低效版本。