ARIA 选用 Lumai 光学服务器开展机架级 AI 推理测试

Lumai正将其光学 AI 硬件带入新的评估环境：由英国高级研究与发明局（ARIA）资助的推理扩展实验室。该实验室计划部署 Lumai Iris 推理服务器，作为其首个光计算平台，让研究人员能够在商业数据中心环境中对这项架构进行机架级测试。

该实验室由CommonAI CIC运营，旨在弥合新兴 AI 硬件面临的一道难关：证明一种新型处理器可行是一回事；让它作为集成系统的一部分，在真实模型以及常规供电、散热和机架要求下正常运行，则是另一回事。

这项公告是在Iris Nova 于 4 月发布之后推出的。新进展是通过一个由公共资金支持的测试平台开展多节点评估，而不是发布一项已完成的独立基准测试来证明 Lumai 宣称的突出能效。

利用光进行矩阵运算

Lumai 是一家于 2021 年从牛津大学分拆成立的公司，致力于开发光学与数字技术相结合的混合架构。其光学引擎针对 AI 推理中使用的大规模数学运算，而电子元件则继续处理系统周边功能。

根据该公司的技术说明，信息会被编码进光束，并通过光学元件在三维空间中进行处理。其目标是借助光的传播并行执行大量数学运算，而不是通过切换晶体管来完成每一次计算。

这并不意味着整台服务器无需主动运行或完全不耗电。完整系统仍需要光源、数据转换、内存、数字处理和控制功能。真正需要关注的工程问题是：在实际运行有用模型时，计入这些周边环节的开销后，光学引擎还能保留多少能效优势。

Lumai 介绍了一种宽数据接口，旨在将转换开销分摊到大规模工作负载中；此外还采用了用于存储模型键值缓存的三级内存架构，以及面向硬件的量化技术。这些都是架构中的实用组成部分：数据传输、维持可用的数值精度，以及确保加速器持续获得待处理任务，都会影响实验室演示之外的实际性能。

Lumai 为何瞄准预填充阶段

大语言模型推理包含两个不同阶段。在预填充阶段，系统处理输入并构建生成回答所需的内部状态。在解码阶段，系统逐步生成输出词元，并反复访问模型权重和缓存的上下文。

预填充通常主要涉及大型矩阵运算，而解码则可能受内存带宽限制，在批次较小时尤其如此。模型大小、提示长度、批处理方式和服务配置都会改变两者之间的平衡。Lumai 的做法是专注优化计算密集型阶段，而不是试图用同一种处理器优化整个流程。

其Iris 产品文档将光学加速器定位为异构计算系统的一部分，包括将其作为预填充处理器，与针对解码优化的硬件协同使用。Lumai 表示，Iris Nova 支持参数量为 80 亿和 700 亿的 Llama 模型，并可用于数据中心评估。该产品系列面向标准机架基础设施和风冷环境设计。

Lumai 联合创始人兼首席执行官 Xianxin Guo 表示：“在商业数据中心运行多节点系统，才能检验新型计算架构是否已准备好投入实际部署。”ARIA 的这项工作将这一集成问题置于下一阶段的核心位置。

面向完整系统的测试平台

ARIA是英国一家公共研究与开发资助机构，支持有望带来社会效益的雄心勃勃的技术。其“计算扩展”计划探索成熟计算方法的替代方案，包括新的计算原语、网络技术和系统设计。

推理扩展实验室获得了 ARIA 提供的 5000 万英镑资助。ARIA 将其描述为一系列结构化的机架级试点项目，每个项目都将一项未经验证的技术集成到可部署的系统中，供终端用户运行模型。其目标是将完整系统的性能与商业替代方案进行比较，并快速迭代；计划每六个月部署一个新机架。

负责交付该实验室的非营利会员制组织 CommonAI 总部位于剑桥，汇集企业、公共机构和学术界参与者开展协作工程工作。其计划概要介绍了五个以上的机架级系统，并强调通过独立验证，帮助新兴硬件证明其在实际运行中的性能。

这种安排很重要，因为加速器在单项独立操作中表现出色，并不意味着将数据移动、调度、软件支持和服务流程的其他环节纳入考量后，仍能带来同样大的收益。共享测试环境有助于揭示其优势和瓶颈。

能效声明说明了什么——又没有说明什么

Lumai表示，该架构有望将数据中心的能耗降低最多90%，并将总体拥有成本降至传统GPU架构的约十分之一。其网站介绍了一项路线图，目标是实现高出50倍的性能。新闻稿还单独指出，光学预填充与基于硅的解码相结合时，每次推理的能效至少可提高16倍。

这些数字反映的是不同的比较，不应视为可以互换的衡量指标，也不应当作已由ARIA独立验证的结果。公告未提供统一的基准测试配置、模型质量比较，也没有公布机架级结果集来证明这些优势适用于各类商业工作负载。

因此，该实验室的评估才是实质性进展。有参考价值的测量指标包括每个已完成请求的能耗、首个令牌生成时间、持续输出吞吐量、模型准确率，以及运行完整系统的成本。要进行有意义的比较，必须采用相同的模型、上下文长度、批处理假设和服务要求。

对于英国而言，在电力预算有限的情况下扩展本土人工智能算力，是一项重要目标；成功的光学系统或可提供另一种计算选择。Lumai的部署是朝着在商业条件下验证这一可能性迈出的一步。其优势能否转化为规模化后的更低推理服务成本，将取决于评估所产生的完整系统证据。