Jeff Thramann, 首席执行官，麦卡锡·芬尼 Jeff Thramann 首席执行官，麦卡锡·芬尼

为什么人工智能基础设施的下一个阶段需要超越超大规模数据中心

人工智能进入了一个时期，基础设施策略与模型能力密不可分。多年来，超大规模数据中心推动了大规模训练的发展，实现了从数百万到数万亿参数的模型增长。但随着人工智能在企业、行业和实时系统中的应用加速，推理取代训练成为主导工作负载，推理具有根本不同的要求。下一代人工智能无法仅由超大规模设施支持。相反，正在出现一种混合模式，即用于训练的集中校园被用于推理的分布式、功率对齐、商业规模数据中心所补充。这种转变是由延迟约束、数据主权需求、能源现实和超大规模扩张的物理极限所驱动的。训练和推理的分歧训练仍然是一种集中活动。它需要大规模集群、高速数据管道和长时间的作业，这些作业可以从规模经济中受益。超大规模校园针对此进行了优化，具有密集的计算、专用网络结构和全球可用性。但是，推理的行为不同。它是短时间、高容量、延迟敏感的，并且通常与地理或企业边界相关。来自Akamai最近关于代理系统的工作的分析表明，大多数组织现在针对关键人工智能用例目标为500毫秒的端到端延迟，多代理工作流通常仅由于网络传输和CPU侧执行就超过该阈值。延迟不是一个抽象的指标。在机器人和自主系统中，控制回路通常以100到1,000赫兹的频率运行，每1到10毫秒。任何离板智能都必须尊重这些时间约束。到远程数据中心的50毫秒往返时间完全破坏了控制制度。在金融交易和欺诈检测中，毫秒决定了经济结果。在工业自动化中，延迟的推理可能会破坏过程或损害安全性。在交互式体验中，如游戏、增强现实/虚拟现实和实时副驾驶，响应性在100到150毫秒以上会显著降低。现代人工智能系统越来越多地依赖于由数十个顺序调用组成的多代理工作流。Akamai的分析表明，CPU侧执行可能占总延迟的大部分，每个网络往返都会增加额外的延迟。一个有50个顺序调用的工作流可能会在路由到远程超大规模区域时产生几秒钟的传输延迟。将同一个工作流放在同一校园或城市区域的超本地数据中心中，物理情况就会发生变化。局部推理可以提供1到5毫秒的往返延迟。一个在远程区域需要几秒钟的50步工作流可以在局部完成，延迟在50到250毫秒之间，仍然在企业延迟预算之内。数据主权和电网现实推动本地部署延迟只是故事的一部分。对于医疗保健、金融和公共部门等受监管的行业，数据主权往往是本地推理的主要驱动力。在企业防火墙后运行人工智能工作负载可以保留现有的安全周界，减少多租户暴露，简化合规性，并将敏感数据保留在共享云基础设施之外。超大规模提供商提供了强大的安全性，但攻击面和信任链本质上更广泛。企业越来越多地偏爱与其现有的安全态势相符的推理架构。除了对延迟和安全性的担忧，电力可用性也越来越成为一个重要的约束。超大规模校园通常由于传输约束和互联队列而面临多年的延迟。较小的商业规模部署，尤其是那些位于现有负载或分布式发电附近的部署，通常可以更快地实现电力供应。这很重要，因为人工智能需求正在与一个奇怪的悖论相碰撞。与运营商努力获得新的电网连接同时，巨大的可再生能源被浪费。全球范围内，可再生能源浪费量现在每年超过200太瓦时。在美国，浪费量估计为每年约20太瓦时。ERCOT仅在最近的一年内就浪费了超过9太瓦时的风能和太阳能发电。同时，CAISO在2024年浪费了3.4太瓦时的太阳能和风能，太阳能占浪费输出的93%。能源系统调查一致显示，太阳能和风能在发电量超过电网容量时经常面临浪费。太阳能浪费在中午峰值强烈的地区尤为常见，而风能浪费通常发生在非峰值小时或受限走廊中。位于发电附近的分布式数据中心，尤其是在太阳能丰富的地区，可以将浪费的能源转化为有用的推理容量。超大规模校园将仍然是训练的必要条件，但它们面临着日益增长的物理和经济限制。连接到传输电网可能是一个漫长的过程，需要新的变电站、传输升级、多机构许可和社区审查。这些过程通常需要数年时间。超大规模设施需要大片土地、显著的水分配和复杂的环境许可。社区越来越反对新的数据中心建设，因为噪音、用水和土地影响而日益增长。集中式校园集中风险，使得天气事件、电网中断或地缘政治破坏可能会影响大量的全球计算能力。分布式架构提供地理冗余和运营恢复力。未来是多层人工智能架构当谈到确保推理计算运行无缝时，效率可能与原始容量一样重要。推理持续消耗能量，行业分析师认为，推理可能最终代表人工智能相关能耗的大部分。来自本地可再生能源集成、减少传输损失、适当规模的部署、改进的热特性和更高的利用率的效率增益将成为满足全球人工智能需求的可持续方式的必要条件。分布式商业规模数据中心非常适合提供这些增益，因为它们可以位于能源丰富、廉价或利用不足的地区。人工智能基础设施的下一个阶段将是超大规模校园主导训练、分布式商业规模数据中心服务推理和边缘设备服务超本地工作负载的混合。这种多层架构反映了电力、延迟、安全性和规模的物理现实。随着人工智能被嵌入到各个行业的实时系统中，基础设施必须相应地演变，以便将推理更接近它所服务的世界。