访谈
Sadeepa Wijesekara,HPE Private Cloud AI 副总裁——访谈系列

要点只有当试点扩展为生产、财务也参与讨论时,人工智能经济学才成为一门商业学科。
查看更多
- 只有当试点扩展为生产、财务也参与讨论时,人工智能经济学才成为一门商业学科。
- 每令牌成本衡量的是消耗,而每业务成果成本揭示的是投资是否真正合理。
- 即使推理价格持续下降,智能体工作流也可能大幅成倍增加令牌消耗。
Sadeepa Wijesekara是 Hewlett Packard Enterprise (HPE) 的 Private Cloud AI 副总裁,负责为私有云环境开发企业级 AI 软件和平台。他致力于帮助组织安全、大规模地部署 AI,并使基础设施决策与业务需求相契合。他从工程角度审视生产环境中 AI 的经济效益,关注工作负载管理、模型选择,以及如何承担成本,让日益自主的系统保持可靠。
Hewlett Packard Enterprise (HPE)提供涵盖 AI、云、网络、计算和存储的企业技术。其 Private Cloud AI 产品组合支持组织在自己掌控的基础设施上部署 AI 工作负载,同时结合混合云和外部服务。在这次访谈中,Wijesekara 谈到了为何应以业务成果衡量 AI 支出、智能体工作流如何改变资源消耗,以及影响模型、编排和基础设施决策的财务与运营因素。
HPE 已在超过 70,000 名员工中扩大 AI 的应用规模。这段经历让您认识到,AI 的经济效益何时不再只是 IT 部门关心的问题,而成为更广泛的业务议题?
当企业从试点转向生产部署时,AI 的经济效益就会成为更广泛的业务议题。试点可以验证 AI 能否完成某项任务,但由于用户数量较少,也可能掩盖低效问题。当用户从 10 人增加到 10,000 人时,企业必须考虑成本、延迟和可靠性,同时了解 AI 创造的价值。到了这一步,财务部门以及负责 AI 所支持业务流程的领导者也需要参与讨论。IT 部门可以衡量应用消耗的资源,但业务领导者需要判断成果是否足以证明这笔投资是合理的。
许多组织在评估生成式 AI 时,仍然十分关注每个令牌的成本等指标。您为何认为每项业务成果的成本是更有意义的衡量方式?企业在实践中应如何计算这一指标?
每个令牌的成本能告诉你消耗了多少 AI 资源,却无法说明这些消耗是否带来了有用的成果。企业应先明确业务成果,再计算实现该成果所需的总成本。模型只是成本的一部分,软件、存储、数据传输、治理和人员也都要计入其中。将这些成本与特定业务流程创造的价值进行比较,企业才能更准确地判断这项投资在经济上是否合理。
随着 AI 从个人副驾驶工具转向能够执行一连串任务的智能体系统和多智能体系统,即使推理的单位成本持续下降,资源消耗仍可能大幅增加吗?增幅可能有多大?
资源消耗可能迅速攀升,因为用户的一次请求可能会在后台触发大量工作。智能体在生成结果之前,可能需要检索信息、调用工具并完成多个步骤。在 HPE 的一项代表性对比中,基本的聊天机器人对话使用约 400 个令牌,而智能体 RAG 请求使用约 21,500 个令牌。即使令牌价格下降,随着 AI 承担更复杂的工作,总消耗仍可能大幅增加。
企业应如何评估某个 AI 应用场景是否真正创造了经济价值,而非仅仅提高了生产力指标或生成了令人印象深刻的演示?
在扩大规模之前,应用场景应当与明确关键绩效指标(KPI)的业务论证相结合。企业需要了解相关业务流程的成本,以及引入 AI 后成本会如何变化。企业还需区分某项活动的改善与业务成果的改善。节省时间只有在能够转化为解决更多客户问题、减少错误或完成以往未能完成的工作时,才更有意义。评估时还应考虑结果质量,以及所需的额外审核或返工。成功的演示只能证明某项能力;业务流程得到可衡量的改善,才能为扩大应用规模提供依据。在某些情况下,分析结果可能表明 AI 并非合适的解决方案。
模型路由和 AI 编排日益受到关注,被视为控制成本的方式。企业根据任务需要,在较小模型、前沿模型、专业模型和传统软件之间动态选择,能够释放多大价值?
将模型与任务相匹配,价值很大。我们看到,有些公司让差异很大的工作负载都使用同一个昂贵的前沿模型,因为它们最初的首要目标是尽快启动 AI 项目。用户数量较少时,这种做法或许还可以应付,但随着应用范围扩大,成本会迅速增加。复杂推理可能适合使用前沿模型,而常规任务用较小的模型或许就足够了。针对特定领域的任务,专用模型可能更合适;对于可预测、基于规则的任务,传统软件的处理效率可能更高。编排有助于在工作流中整合这些选择,并在任务需要时使用能力更强的模型。随着开放权重模型的能力不断增强,公司也有更多机会在自有基础设施上运行某些工作负载,而不必为外部模型付费。在企业规模下,这些路由决策能够显著影响成本,同时维持业务所要求的质量。
通过 API 或公有云租用算力,转向拥有或控制更多底层基础设施,AI 工作负载的运行成本会在什么情况下发生变化?企业做出这一决定时应考虑哪些因素?
我会把这看作租用与购买之间的选择。公司处于试验阶段,或需求波动很大时,租用可能是合理的。随着使用规模扩大、需求变得更可预测,拥有或控制更多基础设施就可能在经济上变得合算。拥有基础设施还能让公司在使用率较低的时期开展更多 AI 实验,更充分地利用已经投入的资金。公司需要考虑工作负载的特点,以及电力、管理和系统更新维护方面的成本。对于许多大型企业而言,合适的做法很可能是根据工作负载,同时使用私有基础设施和外部服务。
随着企业将更多工作负载投入生产,HPE 一直在扩展其私有 AI 基础设施。与完全通过公有云服务使用 AI 相比,您认为私有 AI 在哪些方面具有最显著的经济优势?
对于持续运行的工作负载,如果公司能够有效利用自有算力,私有 AI 可能具有显著的经济优势。根据 HPE 在特定工作负载假设下进行的一项分析,HPE Private Cloud AI 的估算成本约为每节点每小时 45 美元,而同等的租用云配置约为每节点每小时 102 美元。这些结果会因工作负载而异,应针对每种环境重新计算。私有 AI 也为公司提供了另一种财务模式,使基础设施成为能够为组织创造价值的资产。
AI 智能体带来的成本不止推理,还包括数据检索、工具调用、监控、安全和治理。组织在为大规模智能体式 AI 制定预算时,最可能低估哪些成本?
我认为,公司很可能会低估长期维持智能体可靠、安全且实用所需的工作量。除了推理之外,检索和准备数据、访问外部工具,以及在系统之间传递信息也会产生相关成本。反复调用工具或尝试失败,可能增加费用,却无法完成任务。公司还需要为结果评估、智能体行为监控、访问权限管理,以及安全与治理控制措施的维护编列预算。人工监督也应纳入计算,包括人们审查异常情况或纠正错误所花的时间。要了解成功完成一项任务的成本,就必须掌握整个工作流的情况。
您一直强调要将 AI 使用情况与具体业务案例对应起来。有效的内部衡量框架应是什么样的?组织应多久重新评估一次,判断某项 AI 应用是否仍然值得承担持续的算力和运营成本?
这一框架应将使用情况与业务案例直接关联起来。公司需要了解哪项应用正在消耗资源,以及它预期能产生什么结果。在 HPE,我们会跟踪每个用例的 KPI 和底层单位成本,以衡量其是否达到了预期效果。我也希望能在各个部门和业务流程的层面进行这样的衡量,让首席财务官了解某项流程目前的成本,以及采用 AI 后的成本。这应当是一项持续进行的工作,因为使用情况和应用的经济效益会随时间变化。如果模型、价格或工作流发生重大变化,公司也应重新评估,因为这些变化可能同时影响应用的成本和价值。
展望未来三到五年,随着 AI 融入大多数业务流程,您预计企业 AI 的经济效益将如何演变?管理 AI 使用量最终会不会像云 FinOps 这样的管理实践一样,还是组织需要采用全新的运营模式?
我认为,AI 经济学将建立在 FinOps 的实践之上,例如成本可见性、成本分摊和责任落实,同时还会拓展这些实践,用以衡量 AI 所完成工作的质量与价值。随着智能体承担业务流程中的更多步骤,企业需要了解成功完成整个流程的成本,包括重试、人工干预,以及结果是否达到规定标准。我预计,这将成为 IT、财务和业务运营部门共同承担的责任。目前,各组织和行业仍处于建立一致比较方法的早期阶段。长远来看,我希望能形成一套标准化指标,让企业了解自己运用 AI 的效率,并将其反映在损益表(P&L)中。
感谢您带来这场精彩的访谈。希望进一步了解私有云 AI、企业基础设施以及如何扩展 AI 工作负载的读者,请访问 HPE。












