思想领袖

为了降低AI成本,从云端支出开始

mm
将 Unite.AI 添加到您在 Google 上的首选来源

AI的所谓“混乱中间地带”可能已经陷入了最大的混乱。

随着全球硬件短缺与巨大的需求相碰撞,AI成本飞速上涨。在争夺更多计算资源的过程中,AI服务公司不得不提高价格和修改计费模式,这使得预算失衡,创新受到阻碍,就在许多组织刚刚开始取得进展的时候。

结果不仅仅是价格冲击:这是一个商业世界的生存危机。公司已经修改了他们的路线图,以适应AI的影响。团队已经重新安排了他们的工作流程,以适应AI的能力。AI使能已经成为组织的主要竞争优势。AI进入了这个领域,引发了巨大的转变,现在团队被要求在他们刚刚开始运用AI的时候就收缩。

Uber这样的公司已经因为对AI使用实施了激进的限制而登上了头条新闻,以减少成本。但是,虽然使用限制可以是一种有效的成本削减措施,它们并不是企业唯一可以减少计算支出的方式。

他们应该首先查看的是他们的云端账单。

这似乎违反直觉。虽然公式一直是更多的计算能力等于更多的AI影响,但这并不一定意味着它更高效。企业正在将他们的预算浪费在AI服务上,同时仍然依赖于过度膨胀和过度定价的基础设施;不断上涨的AI成本只是暴露了企业不能再忽视的深层次问题。

云端支出如何积累

IT基础设施支出通常是组织的第二大支出项,仅次于人员成本,平均占企业年收入的10%——这是一个在过去几年中因AI需求而大幅上涨的数字。但是,许多企业正在向已经过度膨胀的IT框架中添加更多的容量。

CTO和其他技术决策者被吸引到熟悉和可靠的东西。但是,这也是导致他们的云端账单激增的原因。通过接受传统的做法,他们被锁定在昂贵的通用解决方案中,向大型云服务提供商支付不产生价值的解决方案的费用。

随着时间的推移,他们发现自己正在为未使用或不活动的服务、未优化的硬件和空存储付费,而他们本可以将这些钱投资于AI创新。随着AI成本的不断上涨,他们将需要每一分钱。

为AI效率调整基础设施

控制云端支出需要短期行动和长期演变的结合。解决今天可以解决的问题为企业提供了喘息的机会,以便他们能够规划更大的调整。

转向新基础设施需要时间,组织需要现在的解决方案,以便他们的团队能够继续使用AI。以下是企业可以立即采取的三个步骤,以调节他们的云端支出:

1 – 分析CPU和内存使用情况

有时候,性能过高。IT团队应该对云服务使用情况进行彻底的诊断,然后降级超过性能要求的实例。深入了解云服务使用情况也有助于团队发现未使用的功能和基础设施;如果当前合同允许,他们可能能够取消这些服务或在合同剩余期限内协商较低的付款。否则,找出未使用的功能为重新配置云端方法提供了有价值的框架。

当企业调整基础设施策略时,他们将希望选择能够节约内存使用的云服务。例如,内存优化的基础设施和vCPU提供了比大型云服务提供商通常提供的基于Arm的优化更实惠的企业级支持。这减轻了IT团队的监控负担,同时降低了整体的云端支出。

2 – 设置严格的支出限制

支出和使用限制已经成为科技行业对AI价格上涨的反应,但重要的不仅仅是设置这些限制,而是如何定义、沟通和执行这些限制。

首先,支出限制应该是特定用途的。领导者应该能够将其用作项目规划和资源分配的指导方针,使他们能够围绕效率结构化预算、时间表和个人项目团队。

至于沟通,整个工作人员都必须了解限制背后的原因。我们习惯于将数字视为无限的,但是在这个AI繁荣的阶段,我们面临着物理定律。随着短缺和计费变化影响员工的日常工作流程,支出限制应该被定位为一种可持续的方式,以维持他们对AI驱动工具的新依赖,而不是限制。

3 – 执行标签协议

标签协议可以防止未经管理的IT使用,从而悄悄地增加计算成本。通过强大的标签代码,IT领导者可以更好地了解云服务流量,使团队能够针对过度使用的源头并做出战略调整以减少资源浪费的发生。同时,标签协议也可以显示出团队可能需要升级的领域。

随着现有的云合同到期,企业有机会以可组合的多云方式重构他们的计算生态系统。这并不一定意味着放弃他们长期的超大规模合作伙伴,但可以将合同缩小以适应堆栈中其他地方更高效的基础设施。替代云、边缘解决方案可以卸载基于GPU的基础设施的负担,以及开源软件解决方案,都构成了一个灵活的多供应商策略,这不仅可以节省成本,还可以通过最大化价格和性能比来增加每个AI计划的投资回报率,使企业能够将节省的资金重新投资于AI创新。

重塑效率思维

管理AI支出也是一个文化问题。AI使能的工作人员以其对效率的痴迷而闻名。他们正在构建代理,自动化他们的通信,并让AI执行繁重的工作,同时他们扩大了自己的创造力和创新能力。但是,AI工具的不负责任的使用产生了相反的效果。

“Tokenmaxxing”和其他鼓励浪费AI使用的趋势与效率偏见不相容。如果团队真正想要用更少的资源做更多的事情,他们与AI的交互应该反映出这一原则。

这需要同时转变文化和技术。鼓励使用更好的提示来减少推理负担,但也采用可以自动节约推理的基础设施。采用具有精确用例的较小AI模型。采用开源模型和软件以减少训练工作量。赋予开发人员高效解决问题的能力,并教育非技术AI用户。希望鼓励员工使用AI的公司必须以负责任的方式做到这一点。

尽管价格上涨,但我们并没有停止AI转型的步伐。在规模上运用AI始终是一项昂贵的努力,需要仔细的规划和战略性地分配资本以保持可持续性。我们现在所处的位置是一个瓶颈:IT领导者现在采取的行动将决定谁能够通过,谁会被落下。

当行业动员起来解决即将到来的计算危机时,企业需要找到方法来充分利用他们现有的资源。公司可以通过解决云解决方案上的过度支出、在分布式云中节约推理、以及投资促进真正投资回报率的基础设施来保护自己免受天文数字的AI支出的影响。

凯文是Vultr的首席营销官,是数字营销和数字体验领域的25年以上的先驱。凯文在1996年联合创立了他的第一家创业公司Interwoven。在Interwoven,凯文联合发明了Interwoven TeamSite,创造了Web内容管理(WCM)市场,并在1999年将Interwoven公开上市。在Interwoven之后,凯文在Alfresco推动了第一个开源企业内容管理(ECM)系统的创建,并推广了全球企业和公共部门组织采用和使用开源技术。作为Day Software的首席营销官,凯文推动了WCM向Web体验管理(WEM)的演变,将Day Software卖给了Adobe System,并推动了Adobe体验管理平台的全球采用和Adobe Marketing Cloud的创建。

过去几年,凯文继续推动体验管理领域的演变,进入了新的市场类别——数字体验平台(DXPs),并最近演变为基于MACH架构的可组合数字栈。在Vultr,凯文现在致力于建立Vultr作为独立云平台市场和可组合基础设施的全球品牌存在,服务于全球各地的组织。