Craig Melrose 是 HTEC 的高级技术全球管理合伙人，他帮助客户将 AI 和数字工程应用于复杂的商业和工业挑战。他拥有超过 20 年的运营和数字转型经验，包括在 PTC 和麦肯锡公司的高级领导职位，以及早期在北美提高丰田生产性能的经验
每个新 AI 加速器都带有一个基准测试故事：峰值吞吐量、瓦特每秒的太运算、令人印象深刻的数字，这些数字承诺这款芯片将改变一切。然而，这些数字忽略了客户是否实际上可以在生产中使用芯片。这是 AI 硬件行业今天的真实故事。它面临着软件成熟度问题，大多数公司还没有准备好公开承认这一点。没有人谈论的差距硅开发周期为两到四年，而 AI 模型景观的演变周期以月为单位，趋势向周数发展。其背后是一个价值链问题：从车辆和工厂到医院和设备的最终用例正在功能上成熟，开始产生可衡量的利润和损失影响。这一成熟度驱动了对软件适应性的需求，而这反过来又需要硬件变化。每一层都以根本不同的速度运作，这种不匹配是市场上正在积累的摩擦的根源。用于运行大型语言模型推理的软件栈与早期机器学习工作负载所建造的软件栈根本不同。硬件开发时间表尚未压缩以匹配这一周期。今天发布新硅的公司将其交给客户，但软件无法充分解锁芯片的功能，产生了一个在整个市场上重复的模式：令人印象深刻的硅、不成熟的软件、缓慢的采用和错失的收入。芯片做了它被设计来做的事情。问题是客户无法轻松使用它。考虑一下发生在汽车行业的事情。汽车本身在 20 世纪中叶基本上已经解决了这个问题，但当软件成为区别时，具有最深制造传统的公司最难适应。福特和通用汽车知道如何制造发动机，但没有建立操作系统的肌肉记忆。AI 硬件行业现在正在经历同样的转变，这个类比令人感到不舒服。英伟达扮演着软件本地化破坏者的角色，而传统的半导体公司仍在努力弄清楚如何将开发者生态系统与硅一起出售。英伟达的主导地位几乎与拥有最好的芯片无关。CUDA（计算统一设备架构）已经有 20 年的历史，这意味着它有大量的技术债务，但英伟达实际上建立的是 AI 计算的操作系统：一个可预测、成熟的生态系统，开发人员和 OEM 可以在生产中依赖它。客户根据软件成熟度和集成风险选择平台，因此当新的加速器没有生产级别的软件栈时，商业对话在开始之前就结束了。到第一个模型的时间，定义为客户在给定的加速器上运行真正的 AI 工作负载的速度，是一个比峰值吞吐量更有意义的商业指标。这是大多数硬件公司最不准备讨论的对话。真正的市场是推理商业的本地语言是利润和损失表，每家部署 AI 的公司都需要回答同样的问题：钱在哪里，我怎么才能捕获到它？训练是一个必要的步骤，但商业 AI 生活在推理中，这个市场几乎还没有开始。这里的规模不对称很惊人。训练涵盖一个用例；推理涵盖无限多个用例。AI 在车辆、工厂、医院、电话或仓库中的每个应用都需要推理。运行在汽车中的安全系统的芯片不能使用数据中心的电力，在工厂车间中运行实时推理的设备不能容忍高延迟。边缘推理市场需要专门为功率效率、物理约束和部署它的行业的安全性和可靠性要求而设计的硅。谷歌最近决定将其第八代 TPU 分成两个不同的芯片，一個用于训练，另一个用于推理，值得我们深思。这一架构选择承认这两个工作负载已经分歧到足以在单个设计中优化它们，这意味着在两者中都表现出色。 当一个运行一些最大...
