杰夫·特拉曼(Jeff Thramann),医学博士,是一位拥有130多项专利的发明家和连续创业者,他创立并退出了六家公司。作为LT350的创始人和首席执行官,他是一位医务企业家和人工智能基础设施战略家,专注于分布式计算架构和下一代数据中心设计,利用现有基础设施以最小化数据中心的影响。
人工智能进入了一个时期,基础设施策略与模型能力密不可分。多年来,超大规模数据中心推动了大规模训练的发展,实现了从数百万到数万亿参数的模型增长。但随着人工智能在企业、行业和实时系统中的应用加速,推理取代训练成为主导工作负载,推理具有根本不同的要求。下一代人工智能无法仅由超大规模设施支持。相反,正在出现一种混合模式,即用于训练的集中校园被用于推理的分布式、功率对齐、商业规模数据中心所补充。这种转变是由延迟约束、数据主权需求、能源现实和...