昆纳尔·阿南德(Kunal Anand)是F5的首席产品官,在F5,他领导着应用交付、安全和AI基础设施的产品战略。
人工智能领域正在发生一场转变,大多数人都感觉到了,但还没有完全理解:我们已经从计数请求转变为计数令牌。在网络时代,我们以每秒请求数来衡量系统。这种方法简单、直观、基本准确。一个请求到来,一个响应发出,你可以根据这种模型扩展基础设施。这种抽象已经消失。在AI中,基本计量单位已从请求转向令牌,而令牌正是衡量模型工作量的基础。每个提示、每个响应和每个推理链都被分解为令牌,代表系统正在执行的工作、产生的成本和创造的价值。自然地,行业已经围...