企业中的AI:计算全部成本
AI已经超越了理论和新奇阶段。对许多组织而言,它现在与核心系统并列,成为基础设施的一部分。许多人仍然主要从公共LLM和聊天机器人的角度来思考它——一种你可以在浏览器中随意使用、用完即弃的东西。透过这个视角看待AI,可能会错失更广泛的模型和技术,这些模型和技术能以更低的风险更有效地改善成果。事实是,AI应该像任何其他重大基础设施投资一样进行评估——从一开始就明确考虑成本、收益和运营风险。使其达到可用状态意味着需要投资于高质量的数据管道、可观测性、治理以及那些确保其与期望业务成果保持一致的人员。在这些方面偷工减料,账单只会被转移到未来,并附带额外的利息。AI成本如何真正扩展可以理解的是,团队可能会认为AI成本呈直线增长:做两倍的工作,支付两倍的费用。实际上,努力、成本和成果可能以令人惊讶的方式彼此独立变化。要求AI一次性读取长文档,它必须考虑每个词与其他所有词的关系。对于大多数流行的LLM来说,这意味着所涉及的工作量以及成本,并非按人们通常预期的方式增长——输入翻倍,成本翻倍——而是大致与输入长度的平方成比例增长。了解这类基本原理,能对任何AI部署的盈亏底线产生真正的影响。如果一个每天处理大量文本的组织,例如监管机构,从一开始就围绕图搜索或检索管道进行设计,而不是将整个文档发送给模型,最终用户体验仍然是“提出问题,几秒钟内得到答案”,很像公共聊天机器人。这使得热衷于AI的高管对即时交互感到满意,而在表面之下,系统所做的非必要工作要少得多,计算账单也因此低得多。AI支出如何在组织内分摊技术选择只是故事的一部分,其余部分在于组织最初如何对待AI。在许多组织中,数据准备工作由工程部门负责。合规审查由法务部门负责。云支出由平台或基础设施团队管理。模型选择、配置和任何微调通常由少数专业操作人员负责。每个小组只看到自己负责的那部分工作和自己的预算项目。支出在这里显示为计算资源,在那里显示为承包商时间,而人员的时间则被吸收到多个团队的“日常业务”中。由于数字分散在各个成本中心,要了解单个AI计划的全部落地成本,可能在任何一处都无法清晰可见,并且很容易被低估。在这种环境下,AI成本可能会悄无声息地螺旋上升,仅仅因为没有人将全部数字集中在一个地方进行跟踪。AI成本管理的实用方法对组织而言,回避AI并非正确之举,但将AI视为万能技术也同样不可取。一个好的策略总是从期望的成果出发,逆向推导。并非每个案例都需要一个尖端、运行成本高昂的大型通用模型。许多任务可以由成熟的机器学习技术处理,这些技术属于AI范畴,并且可以在现有基础设施上运行。从小型试点项目开始,衡量总拥有成本,而不仅仅是模型使用成本。这意味着当然要看计算成本,但也要看集成工作、工程时间、变更管理和合规工作。目标是选择能提供可接受结果的最小、最简单的模型,而不是假设“更大的模型”意味着“更多的收益”。AI并非单一事物。它是技术和工具的组合,可以以不同的方式使用。这样看待它,可以打破围绕惊人结果的神秘感,让企业能够以更负责任和更有效的方式利用其力量。人员、时间与AI每一次AI部署实际上都是人员与软件之间的协作。无论这一点是否得到正式承认,工作就是这样完成的。当前向更具自主性的AI——能够串联步骤、调用其他系统、在较少提示下行动的工具——的转变并未改变这一点,事实上,它提高了正确处理工作流程中人员方面的重要性。这些工具很容易被过度信任。当一个系统流畅而自信地呈现答案时,人们自然会认为它通常是正确的。如果这类工具在没有适当培训、明确界限和合理检查的情况下被投入到工作流程中,它可能会悄无声息地产生一连串小错误。每一个错误都需要由人来发现、理解和修复。从纸面上看,AI看起来高效“快速行动,打破常规”这句口号是为处理人类规模系统的人类团队而写的:如果出现问题,你可以回滚、修补并继续前进。一旦人工智能被融入关于客户、员工或公民的决策中,同样的态度可能会产生传播更快、打击更猛、且更难以解决的问题。速度仍然重要,人工智能当然可以在这方面提供帮助,但这必须与对风险、成本和责任的清晰认识相匹配。完全消除成本或风险是不可能的。但依赖临时实验的组织与以审慎方式将人工智能融入运营、并能清晰追踪从支出到成功路径的组织之间,存在明显差异。面对组织遇到的各种问题和结果,没有单一的人工智能解决方案可以解决所有问题。在企业中有效使用人工智能,应始终是专业化、受监督且经过精心界定范围的。