私有人工智能需要能够随工作负载演进的基础设施

两年前，我接触过的几乎每家企业都认为，人工智能就是通过 API 调用前沿模型。这种观念正在逐渐瓦解。开放权重模型的能力已经足以胜任许多日常工作，而企业人工智能应用的价值通常来自企业自身的数据，而非其背后的模型。一旦企业认识到这一点，让模型贴近自身数据并由自己掌控，就是理所当然的选择。

这就是私有人工智能。企业在自己的环境中运行模型，使用自己的信息对模型进行调优，并决定模型在哪里运行、可以访问哪些内容。如果你经营的是银行或制药公司，本来就不可能放心地把专有研究资料或客户记录放在别人的租户环境中。对其他企业而言，推动它们采用私有人工智能的原因，是大规模推理带来的费用，以及不愿在一项日益成为业务运营核心的技术上依赖单一供应商。根据Linux Foundation 的研究，接受调查的企业中有 63% 正在使用开放式人工智能模型，这凸显了这类替代方案已经得到广泛采用。

人们容易低估的一点是，把模型迁入企业内部，也意味着要配套建设基础设施。电力、制冷、算力、设备的部署地点，以及它如何与其他系统连接，所有这些都要考虑。过去，这些问题由云服务提供商负责。现在则由你负责。大多数企业以前从未需要做出这些决策，而技术发展的速度比任何人浇筑混凝土都快。如果容量规划不当，企业就会背上与实际工作负载不匹配的闲置能力。必须从一开始就将灵活性纳入设计。改造现有基础设施（如果可行）可能代价高昂；有些提供商则根本无法改造，因为他们的设施从一开始就不是为这种密度设计的。

打好基础，峰值需求再租用

首先要认识到，并非每项工作都需要最大的模型。总结文档、对工单分类，以及利用自有知识库回答问题，这些任务都可以由开放权重模型在私有环境中运行，成本也可以预测。只有真正需要前沿模型的工作，才使用这类模型。

这就决定了基础设施应该采用什么样的架构。针对每周都能预见的稳定需求，建设私有算力；遇到需求激增，或繁重任务超出自有能力时，则从外部租用算力。企业长期以来一直采用这种方式运行计算任务，人工智能并未改变其中的逻辑；它只是提高了基础算力的密度，并扩大了峰值需求可能达到的范围。

挑战在于，既要准确规划基础算力，又要让私有环境和租用的环境像一个系统那样协同工作。两者都需要访问同一批数据，并遵循相同的控制规则，同时还不能要求企业每次将工作负载从一个环境迁移到另一个环境时，都重新构建整个流程。

基础设施应该部署在哪里？

事实证明，购买 GPU 是容易做出的决定。接下来，你必须为它们找到部署地点，提供电力和制冷，并将它们接入企业的其他基础设施。高密度人工智能硬件无法在不对供电和制冷系统进行重大改造的情况下，直接部署到标准企业数据中心；而且，也并非每个运营站点都适合部署这类硬件。在Uptime Institute 的《2025 年人工智能基础设施调查》中，37% 的受访者将电力供应情况列为影响人工智能推理工作负载部署地点的主要因素之一。

大多数企业最终会采用托管数据中心与云服务相结合的方案。通常起决定作用的是数据。数据已经分散在多个地点，迁移成本高昂；而在受监管行业，部分数据不能离开所在国家或特定环境。把所有数据都集中到 GPU 旁边的一栋楼里，听起来很简洁，但几乎从未真正实现。

因此，问题不只是算力部署在哪里，还包括算力如何安全地访问所需数据，同时避免堆叠起三年后会让你后悔的成本和复杂性。不妨把这视为第三次变革。第一次是互联网，连接问题由此得到解决。第二次是云，互联架构解决了连接问题，使软件定义互联成为可能，让企业能够从一个地点连接不同的服务提供商。人工智能是第三次变革，但仅靠互联架构无法解决问题。它还需要电力，而且需要大量电力，并且必须与互联架构部署在同一地点。能够成功部署私有人工智能的企业，将是那些把算力部署在电力与连接交汇之处，而不是把这两者当作两个独立项目分别采购的企业。

随着工作负载变化，连接私有人工智能

智能体式人工智能让连接问题变得更加迫切。传统应用接收提示，调用模型，再返回答案。智能体则始终处于持续运行的状态。它会调用多个模型、查询多个系统、从数据所在的任何位置提取数据，并把工作移交给其他智能体。每一次这样的跨越都会越过一道边界，带来延迟，也引出一个问题：谁有权访问什么？

现在，设想模型位于一处，数据位于另一处，同时还有规定要求部分数据必须留在特定国家或私有环境中。企业需要真正掌控这些数据流转路径：哪些系统可以访问哪些数据，工作负载迁移时会发生什么，以及如何接入新模型而不影响所有已经在运行的系统。

因此，基础设施必须具备可编程性。模型、数据和环境之间的连接，应当能够由你配置和更改，而不是每次都变成一个工程项目。越来越多时候，负责配置的将不再是人。模型上下文协议（Model Context Protocol，MCP）等标准，为智能体提供了与周围工具和系统通信的通用方式。需要连接新数据源或新模型的智能体，可以提出请求，就像调用任何其他服务一样，同时仍遵循相应的政策和控制措施。这就是可编程基础设施在实际中的意义。每隔几个月就会有新模型问世，新的应用也会需要当下尚不存在的数据通路。如果每次变更都意味着重建基础设施，你就失去了当初选择私有部署所追求的灵活性。

让经济效益切实可行

恰当地配置容量是成功的关键因素，而这不仅仅取决于总量。善于做好这件事的企业，清楚了解投入的电力与产出的词元之间的关系。电力与词元产出之间的关系，是私有 AI 的核心经济指标；如果你了解自身工作负载对应的这一指标，就能非常有把握地确定环境规模。另一个要点是预留余量。每个季度都有新能力进入市场，规划周全的企业总会为未来留出空间，而不是把建设规模卡在满足当前需求的极限上。最周全的计划会兼顾这两方面：彻底弄清电力与词元产出之间的经济关系，然后在此基础上预留合理的余量。

GPU 也只是成本的一部分。机房托管、冷却、供电，以及将 GPU 接入企业其余业务所需的费用，可能与硬件支出不相上下。除此之外，还有人员成本。大多数企业从未运营过高密度计算环境，而这种专业技能并非一个季度内就能招齐。

因此，基础容量和峰值容量都很重要。建设足以承载日常负载的私有容量，在需求超过容量时再租用额外资源，就能避免为一年中大部分时间闲置的硬件付费。这样一来，随着模型和应用的变化——它们确实会变——你也能保留调整方向的能力。

为未来做好规划

这一切背后都存在一个时间差问题。建设一座数据中心大约需要两年。在这两年里，企业希望运行的模型、硬件和应用都会与今天大不相同。你现在做出的任何承诺，最终都将用于运行一些目前无人能够完整描述的工作负载。

企业仍在摸索哪些工作负载适合放在私有环境中，以及何时需要外部容量；处于这种阶段是合理的。应当避免的是，在你尚未有机会做出决定之前，就作出会剥夺你选择权的基础设施承诺。要为不同模型、在需要时增加容量，以及迁移工作负载留出空间。

从长远来看，私有 AI 能否带来回报，与其说取决于你选择哪种模型，不如说取决于基础设施能否跟上不断明确的需求。按照当前的工作负载进行建设，保持连接的可编程性，并将计算资源部署在网络架构与电力交汇之处。